Kayhan Yıldızoğlu, 26 Aralık 1936 tarihinde İstanbul Yeşilköy'de doğmuştur. Babası Rahmi Bey Çerkez asıllı bir ziraat mühendisi, annesi Giritli bir öğretmendir. 1952'de babası bakanlıkta müsteşarlık için Ankara'ya tayin olur, ve Ankara'ya taşınırlar. Böylece liseyi Kavaklıdere'deki lisede okur. Liseden sonra ailesinin isteğiyle hukuk fakültesinde okur ama 3. sınıfa geldiğinde okulu bırakır.<br/><br/> Askerliğini 1957'de İstanbul'da yedek subay olarak yaptıktan sonra iz komiseri olur. Burada tanıştığı Türkan Suner ile evlenir. Bu evlilikten 2 kızı olur. Ama birkaç yıl sonra boşanır. Ayrılığın ardından Şener Şen'le birlikte Cihangir'de bir evde üç buçuk sene geçirir.