Ulusoy, 1968-1971 yılları arasında Samsunspor Kulübü’nün başkanlığını yaptı. Ulusoy, son olarak 18. Ekovitrin Yılın Starları Ödül Töreni’nde “İş Dünyası Onur Ödülü”nü almıştı. Serap Ulusoy ile evli olan Yılmaz Ulusoy, üç çocuk ve beş torun sahibiydi.
Ulusoy’un cenazesi, bugün Levent Barbaros Hayrettin Paşa Camii’nde kılınacak öğlen namazını müteakip Zincirlikuyu Mezarlığı’nda defnedilecek.
Yılmaz Ulusoy’un vefat tarihi olan 23 Şubat, ağabeyi Saffet Ulusoy’un da ölüm yıl dönümü olması nedeniyle ailede ayrı bir öneme sahipti. Saffet Ulusoy, Türkiye’de Ro-Ro taşımacılığının gelişimine büyük katkı sağlamış bir isim olarak biliniyordu.