Yeniköy’deki Tahsin Bey Yalısı’nın yerinde önceden Sağır Ahmet Bey Yalısı varmış. Burası Abdülaziz döneminde Jön Türkler’in en önemli karargahlarından biriymiş. Ahmet Bey’in vefatından sonra yalı, oğlu Haydar Bey’e geçmiş. Eski eser meraklısı olan Haydar Bey’den de kızlarına intikal etmiş. Daha sonra yalı Tahsin Uzer’e satılmış.Tahsin Bey, yalıyı yıktırıp dönemin ünlü mimarlarından Sedat Hakkı Erdem’e orijinal mimarili bir bina yaptırmış. Son olarak Erol Aksoy’un sahibi olduğu yalı, Aksoy’un borçları yüzünden TMSF’ye devroldu. Sonra da 22 trilyon liraya Suzan Sabancı Dinçer-Haluk Dinçer çiftine satıldı
18’inci yüzyılın başlarında yaptırılan yalı, adını 1848’de yalının sahibi olan Zarif Mustafa Paşa’dan alır.
Yalıda, Balkan ve Birinci Dünya Savaşı’nda asker iskan ettirilmiş. Toplam 1.921 metrekare arsası bulunan yalının bugünkü sahibi ise Demsa’nın sahibi Demet Sabancı Çetindoğan
Yalıyı 2000 yılının kasım ayında satın alan Sabancı, restorasyon yaptırmış ve yalının değerine değer katmış.
Yalının bilinen ilk sahibi Dr. Rasim Ferit Talay’dır. Talay, İstanbul işgal altında iken Minber Gazetesi’ni çıkarmıştır
Talay ve Atatürk’ün dostlukları ömür boyu sürmüştür. Atatürk’ün, İstanbul’a geldiğinde kimi zaman Yeniköy’deki bu yalıda kaldığı bilinir
Yalı, Talay Ailesi’nden sonra 1960 yılında Mesadet Manioğlu’na geçmiş, 1981 yılında ise Özer Uçuran Çiller ve Tansu Çiller çifti tarafından 10 milyon liraya satın alınmıştır.