的父亲是林，出生于台湾彰化县北斗镇，祖籍福建省漳州市漳浦县。他是半导体工程师。
林书豪的母亲叫吴欣欣，是浙江嘉兴平湖人。她是一名计算机软件工程师。
林书豪的父母有三个儿子，林书豪排行第二。他在美国加利福尼亚州的帕洛阿尔托出生和长大。
的奶奶陈是浙江嘉兴的一名医生，热心公益事业。几十年来，她一直为家乡平湖中学捐款。林书豪的曾祖父是浙江著名记者陈伟建。他的哥哥林舒雅目前在纽约大学学习牙科。他的哥哥林书炜目前就读于纽约州汉密尔顿学院(Hamilton College)，该学院位列全美文理类大学前25名，也是篮球校队成员。