Debuttò in patria nella squadra RK Velenje nel 2001. Nel 2005 decise di trasferirsi al THW Kiel nella Bundesliga tedesca. Vinse subito il campionato, segnando, in rapporto ai minuti giocati, una buona quantità di gol. A Kiel ha portato a casa altri due campionati tedeschi (2006 e 2007) e anche la EHF Champions League nel 2007, risultando l'uomo in più della squadra di Kiel nella finale di ritorno contro la compagine di Flensburg: il THW Kiel vinse con 2 gol di vantaggio e Kavtičnik ne aveva segnati 4 nel secondo tempo. A causa al pareggio dell'andata a Flensburg i 2 gol di vantaggio del match di ritorno fecero la differenza per dare al THW Kiel il titolo.
Dal 2009 al 2019 diviene bandiera del club francese del Montpellier. Vince tre campionati consecutivi dal 2009 al 2012, quattro coppe di Francia, cinque coppe di Lega e una Supercoppa, oltre alla Champions League nel 2017-18.
Nel 2019 passa al Pays d'Aix, nel 2020 al USAM Nimes Gard.
Con la nazionale slovena Kavtičnik ha segnato 543 gol in 197 partite. Si è classificato secondo agli Europei del 2004 in Slovenia, perdendo la finale contro la Germania. Nel 2017 ha sconfitto la Croazia nella finalina per il terzo posto ai Mondiali disputatisi in Francia.