百姓感念胡宗宪收胜归山，平息倭寇的种种战绩，在胜归山南麓山崖凿刻了胡宗宪像

胡宗宪的尚书府是古徽州迄今保存结构最为复杂的明代建筑群
龙川胡宗宪尚书府，坐落在安徽绩溪龙川村中央，从胡宗宪至胡氏“炳”字辈共12代人曾在此居住。尚书府是古徽州迄今保存结构最为复杂的明代建筑群。
阮仪三评价：从善堂“尚书府非常典型反映了徽州建筑的一个重要特点，也反映了当时具有浓厚文化底蕴的这种特殊家族，建筑做得很细节，细部做得很精致，可以左顾右盼，处处生景，是徽州保护最好的古建筑。

雕刻胡宗宪像的被称为“胡公岩”，胡公岩摩崖石刻为省级文物保护单位
清光绪《余姚县志》记载，胡宗宪平倭寇后，还复莅余姚受降。余姚百姓感念胡宗宪收胜归山、平息倭患等种种功绩，于嘉靖四十年在城内龙泉山上建“三锡祠”，世代祭祀不绝。又于胜归山南麓山崖雕凿胡宗宪像，上刻“胡公殿”三字，虽经数百年风风雨雨，石像仍栩栩如生。但见胡公头戴乌纱帽，身穿朝服，左手捋须，右手伏案，身子略微前倾，如在公堂上办公断案一般，民间称之“胡公岩”。
此后至民国时期，以胡公像为中心，周围又陆续雕凿了14尊佛教造型，石像附近的石壁上，又雕凿了许多先贤名句、文人诗词，字体、大小各异，蔚为壮观，使得胡公岩成为浙东地区摩崖石刻最为集中的地方。
1981年6月，余姚县人民政府公布胡公岩摩崖石刻为县级文物保护单位。2005年3月升级为省级文物保护单位。