图：吴耀汉与现任妻子。

　　吴耀汉的父亲是九龙巴士及九龙殡仪馆的创办人之一吴海霖（吴锦铭）。吴锦铭（1902-1960），惠阳人，字东海，号海霖，生前任九龙殡仪馆董事长、旺角新雅大酒店董事兼监督、惠明洋行董事、同源公司及东成公司董事。

　　吴海霖生前与家人住在尖沙咀山林道3号，他共有4位夫人，11个儿子和5个女儿。作为二房幼子，吴耀汉在16名兄弟姊妹中排行第8，母亲于他9岁时离世。吴耀汉曾表示：“妈咪死后，我归大妈管，她根本不疼我，对我非常冷漠。”

　　吴耀汉在7岁时被送到寄宿家庭。即使周末可以回家，他也宁愿留在学校钓鱼。而他在15岁时被大妈送到英国的寄宿学校，一个人在异国他乡也同样遭受欺凌。他说，一个人离开香港到陌生环境真的很孤独，周围的人和事物都是挑战，从小就没有家庭的温暖。

　　吴耀汉的三女一子中，儿子吴嘉龙亦同为演员，曾参演不少电影。三位女儿鲜有公开露面，大女二女曾于2021年因涉大麻案被捕，对此吴耀汉在后来接受传媒访问时，唏嘘无奈表示：“无嘢担心，係咁㗎喇。唉！点讲呀？无嘢，根本上无嘢呀。一一接受，唯一办法。”