作者：羊祜
羊祜生病回朝，后病情更加严重不能入朝，上表请求伐吴。
同年冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。羊祜说：“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢?让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”使者也无法责问羊祜了。
咸宁四年（278年）八月，羊祜染病，请求入朝。返回洛阳正逢景献皇后羊徽瑜去世，羊祜十分悲痛，病情更加严重。司马炎下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。
后来羊祜病重不能入朝，晋武帝专门派中书令张华前去咨询方略，羊祜对张华说：“当今主上有受禅让的美名，但功德尚未著称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契，这是百代难逢的盛事。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗？”张华很赞赏羊祜的主张。羊祜又对张华说：“能实现我这个愿望的是你啊！”司马炎打算让羊祜卧病统领征吴诸将，羊祜说：“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊!关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”
羊祜在病逝前推荐杜预代替自己率军伐吴，羊祜去世后，司马炎很伤心，追赠其为侍中、太傅。
同年十一月羊祜病逝，享年五十八岁，并在临终前举荐杜预自代。
羊祜死后，举天皆哀。司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰，追赠羊祜为侍中、太傅，持节如故。
荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。
荆州人为了避羊祜的名讳，把房屋的“户”都改叫为“门” ，另把户曹也改为辞曹。
晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。
羊祜死后二年，杜预按羊祜生前的军事部署一举灭吴，完成了统一大业，当满朝文武欢聚庆贺的时候，司马炎手举酒杯，流着眼泪说：“这是羊太傅的功劳啊！”。
羊祜生前有很多著述，有名的有《晋书·羊祜传》记载的《老子传》和《请伐吴疏》，另外他还受命修撰《晋礼》、《晋律》，对晋朝典制创立多有贡献。
