Sırasıyla, Çorum-Bayat, Batman-Sason Erzurum Köprüköy Amasya-Taşova, Antalya - Gazipaşa ilçelerinde Kaymakam olarak görev yapmıştır. Kahramanmaraş, Aydın ve İstanbul illerinde Vali Yardımcısı olarak görev yaptı
1991 yılında bir yıl süre ile ABD`de dil eğitimi gördü. 2006-2008 yıllarında Malatya İl Özel İdaresi Genel Sekreterliği görevini yürüttü. 2011 yılı Milletvekili Genel Seçimlerinde AK Partiden Malatya Milletvekili aday adayı oldu.
2013 yılında atandığı Ankara Vali Yardımcılığı Görevinden ayrılarak 2014 Yerel Seçimlerinde Akçadağ Belediye Başkanı oldu.
31 Mart 2019 Yerel Seçimlerinde Bağımsız Belediye Başkanı olarak Aday oldu. Kazgan, seçimi tekrardan kazanarak Akçadağ Belediye Başkanlığı Görevine devam etmektedir..