吴与弼高祖擅长诗赋，曾祖“博学、诗藻清丽”，父亲著有《古崖集》，吴与弼对文学、天文、律历、医卜均有所学

吴与弼的高祖吴景南，擅长诗赋，元代理学大儒吴澄曾为其诗集作序，曾祖吴审，“博学、诗藻清丽”，父亲吴溥著有《古崖集》
吴与弼的先祖吴兢为唐朝汴州人，唐睿宗时为朝廷议大夫。吴兢的七世孙吴宣，迁居抚州。吴与弼的高祖吴景南，擅长诗赋，元代理学大儒吴澄曾为其诗集作序。曾祖吴审，“博学、诗藻清丽”。祖父吴泾，迁居崇仁。父亲吴溥，官到国子监司业，著有《古崖集》。出生于这样的家庭，对吴与弼的教育成长有着重要的影响。

吴与弼对文学、天文、律历、医卜均有所学，曾拜明代“三杨”之一的冼马杨溥为师，专心攻读《四书》、《五经》和洛学、闽学的语录
吴与弼六岁入学，七岁学对句，八、九岁在乡学读书时，即已崭露头角，对文学、天文、律历、医卜均有所学。十六岁学诗赋，十八岁习以科举之业。业永乐已丑年，他年方十九，赴京侍奉时任国子监司业的父亲，得拜明代“三杨”之一的冼马杨溥为师。其时，在其父任所获读朱熹所编之《伊洛渊源录》，自谓“睹道统一脉之传”，“于是思自奋励，窃慕向焉，而尽焚当时举子文字，誓必至乎圣贤而后已”。谢绝与人交往，独处小楼二年，专心攻读《四书》、《五经》和洛学（以北宋哲学家、教育家程颢兄弟为首的学派）、闽学（以南宋哲学家、教育家朱熹为首的学派）两个学派的语录，无意进入仕途，决心以讲授理学，传播程、朱哲学思想为己任。