史嵩之罢相后在东吴生活，理宗曾想起用史嵩之，都遭到大臣强烈反对

史嵩之祖父、父亲曾都居住在东吴，理宗三次想起用史嵩之都遭到强烈反对。
东吴以前称大白，史浩老祖母曾居住在此，史浩做宰相后，回来探望双目失明的老祖母，为了解决老祖母想去东吴而又无法成行的问题，他将当地的大白改称为东吴，并特为老祖母建了东吴大庙。史浩还亲自在庙内栽种了一棵银杏作为留念。后史嵩之的祖父史木，父亲史弥忠都曾相继居东吴。
史嵩之在东吴又建设了府第——少帅府，并在附近建云树壁、钓鱼台、三溪桥，一直闲居在此。期间理宗曾三次想恢复史嵩之的职务，一次是淳祐六年服丧期满，一次是淳祐十年，郑清之将不久于人世，另一次是宝祐四年，史嵩之表示晚岁愿守蜀，但每次都因遭遇强烈的反对而流产，致使史嵩之闲废十三年，终不得复出。
宝祐四年（1256年）春，授观文殿大学士。宝祐五年八月二十七日（1257年10月5日），史嵩之去世，朝廷赠少师、进封鲁国公，谥号“忠简”，因为家讳改谥“庄肃”。德祐（1275年—1276年）初年，因右正言徐直方进言，被夺谥。

史嵩之个人作品介绍
著有《野乐编》，已佚。《甬上宋元诗略》载其《雪後》诗云：“同云收万里，斜日已三竿。有鸟皆潜迹，无风尚送寒。晴稽如下雨，祐涧忽鸣湍。渐觉山河复，方知世界宽。”写雪融之景，视野开阔，描摹细微。《全宋诗》卷三一六一录其诗三首。文收入《全宋文》卷七六八四。