翁方纲以藏书富而闻名，最出名的是藏有《施顾注苏诗》与苏东坡《嵩阳帖》的“宝苏斋”

翁方纲藏书颇丰，有《施顾注苏诗》与苏东坡《嵩阳帖》

翁方纲以藏书富而闻名。所居京师前门外保安寺街，家中图书文籍，插架琳琅。藏书楼有“小蓬莱阁”、“赐书楼”，乾隆三十三年（1768）因购得苏东坡手迹《嵩阳帖》、宋嘉定六年淮东仓曹刻本《施顾注苏诗》，均来自河南宋氏藏书，遂将书楼改名“宝苏斋”。宝苏斋中因藏有《施顾注苏诗》与苏东坡《嵩阳帖》而建。

每年苏东坡生日，翁方纲请很多名士到家里共同祭奠苏东坡《嵩阳帖》

此后在每年十二月十九日苏东坡生日这一天，他都会请很多名士到家里共同祭奠这部书，在书上写跋语和题记。称为“祭苏会，一直延续到民国罗振玉还在祭奠。 ”另有“三万卷斋”、“三汉画斋”、“石墨楼”等，均是他收藏图书、文物之所。其《自题三万卷诗》云：“笑论插架邺侯签，已愧湖州目录兼。”“汉碑草草传洪迈，宋椠寥寥拜子瞻。”藏书印有“苏斋墨缘”、“苏斋真鉴”、“秘阁校理”、“内阁学士内阁侍读学士翰林侍读学士”、“石默书楼”、“三任广东学政”、“大兴翁氏石默书楼珍藏图书”、“恩加二品重宴琼林”、“小蓬莱阁”、“覃溪审定”、“子孙宝之”、“北平翁方纲审定真迹”等。金石学著作有《两汉金石记》，剖析毫芒，参以《说文》正义，考证精确。所作诗文，自诸经注疏，以及史传、考订、金石、文字，皆贯彻于诗文中。后人称他能“以学为师”。著有《苏诗补注》、《米元年谱》、《石洲诗话》、《汉石经残字考》、《兰亭考》、《粤东金石略》、《经义考补正》、《小石帆亭著录》、《复初斋全集》、《礼经目次》等。