Kamuda ve özel sektörde yaklaşık 20 yıl mühendis ve müşavir avukat olarak hizmet verdikten sonra 31.12.2002 tarihinde Denizcilik Müsteşarı olarak atandı.Türk Telekom Yönetim Kurulu Başkan Yardımcılığı görevini yürüttü.Türkiye Cumhuriyeti Anayasasının 114. maddesi uyarınca bağımsız olarak 08.05.2007 tarihinde Ulaştırma Bakanı oldu.01.11.2007 tarihinde Kültür ve Turizm Bakanlığı Müsteşarlığı görevine atandı.61′inci Hükümette Milli Savunma Bakanlığı görevini 07 Temmuz 2011 tarihinde üstlenmiştir.2015 yılına kadar Milli Savunma Bakanlığını yürüten Yılmaz, 25. dönemde TBMM Başkanlığına seçilmiştir.26. dönemde Sivas Milletvekili seçilen Yılmaz, 64. Hükümet'te tekrar Milli Savunma Bakanlığı'na getirilmiştir.Evli ve üç çocuk babası. İyi derecede İngilizce bilmektedir.