Eski Devlet Bakanı Yusuf İzzet Akçal'ın yeğeni olan Yılmaz, o günlerde yaşadıklarını şu sözlerle anlattı:
"Biz aile olarak 27 Mayıs'ın mağdurlarından olan bir aileyiz. Amcam bir seneden az bir süre devlet bakanlığı yaptı ve Yassıada'da idama mahkum oldu. 7-8 sene tutuklu bulundu. O sürede büyük sıkıntı yaşadık. Bu bende ister istemez kalıcı izler bıraktı. Amcam örnek aldığım, siyasete girmeme verisle olan müstesna bir insandı. Bunun kötü muameleye mağruz kalması, adil olmayan yargılama sonunda mahkum olması beni çok rencide etmişti. Yassıada duruşmaları sırasında ortaokula başlamıştım. Babandan, amcamın avukatlığını üstlenmiş kızı ve oğlundan devamlı bilgi alıyordum. Yassıada'da ve harp okulunda devlete büyük hizmetler yapmış insaların kötü muamlaeye hatta zaman zaman aşağılık davranışlara mağruz kalması çocuk zihnimde derin izler bıraktı.