Kazdağı'nın ismiyle ilgili en önemli efsane ise Sarıkız Efsanesi. Efsaneye göre, Edremit'in Güre Köyü'nde Sarıkız adında çok güzel, iyi yürekli bir kız yaşarmış. Kendisini sevmeyenlerin iftiraları sonucu babası Sarıkız'ı 5-10 kazla birlikte İda Dağı'na bırakmış. Bir süre sonra kızını görmeye gelen baba, kızından su istemiş ve Sarıkız dağın tepesinden elini körfeze uzatarak tasını doldurunca kızının erdiğini anlamış. Sırrı anlaşılan Sarıkız orada, buna çok üzülen babası ise İda Dağı'nın başka bir tepesinde ölmüş. Bu efsaneye göre İda Dağı Kazdağı, dağın doruğu Sarıkız Tepesi, kızın babasının öldüğü yer de Babadağı olarak anılmaya başlar.