清政府的压榨、五口通商的实行、第二次鸦片战争的爆发使得广东十三行彻底没落

清政府的不断压榨以及伍秉鉴的去世，使得伍家逐渐衰败
作为封建王朝没落时期的一名富商，伍秉鉴所积累的财富注定不会长久。就在他的跨国财团达到鼎盛时，一股暗流正悄然涌动。1840年6月，鸦片战争爆发。尽管伍秉鉴曾向朝廷捐巨款换得了三品顶戴，但这丝毫不能拯救他的事业。由于伍秉鉴包庇外商走私鸦片，他曾遭到林则徐多次训斥和惩戒，还不得不一次次向清政府献出巨额财富以求得短暂的安宁。《南京条约》签订后，清政府在1843年下令行商偿还300万银元的外商债务，而伍秉鉴一人就承担了100万银元。也就是在这一年，伍秉鉴病逝于广州。
伍秉鉴死后，曾经富甲天下的广东十三行开始逐渐没落。许多行商在清政府的榨取下纷纷破产。更致命的是，随着五口通商的实行，广东丧失了在外贸方面的优势，广东十三行所享有的特权也随之结束。第二次鸦片战争爆发后，又一场突如其来的大火降临到十三行街，终于使这些具有100多年历史的商馆彻底化为灰烬。

占增对于商行的打击以及清政府的压迫使得伍秉鉴逐渐心灰意冷
据伍秉鉴自己估算，在战争中，伍家损失了不下200万两白银。但这笔数字，对于这位号称拥有2600万两的世界首富来说，并不至于伤筋动骨。况且，深谋远虑的伍秉鉴早把生意拓展到了海外，行商生意已不是伍家唯一的生命线。然而，此时的伍秉鉴，却已是心灰意冷。
1842年12月23日，他写信给在马萨诸塞州的美国友人J·P·Cushing说，若不是年纪太大，经不起漂洋过海的折腾，他实在十分想移居美国，通篇怆然难禁之情。1843年9月，风烛残年的一代世界首富伍秉鉴，溘然长逝，终年74岁。