鲁僖公十五年（公元前645年），为成就齐国霸业而殚精竭虑一生的管仲走到了他人生的终点，听说管仲病重垂危，齐桓公不顾自己年事已高，亲自到管仲府上探望。一番寒暄慰问之后，齐桓公问管仲：“依你看来，谁可以接替你的相位？”
管仲十分谨慎地说：“知臣莫如君，您比较看好谁呢？”
齐桓公属意鲍叔牙，管仲诚恳地说：“鲍叔牙是君子，但他过于善恶分明，这样是不可以为相的。”
齐桓公就问：“易牙怎样？”这个易牙精擅烹饪，是齐桓公的宠臣，有一天齐桓公胃口不好，只说：“什么美味佳肴都吃腻了，就想尝尝蒸婴儿肉是什么滋味。”于是易牙就将自己的儿子杀了给齐桓公做菜。齐桓公事后知道了真相，十分感动，认为易牙对自己的忠心甚至超过了父子天伦之爱，从此对他更为宠信，因此在老臣鲍叔牙之后首推易牙为相。
管仲摇了摇头说：“这个易牙为了讨好国君，竟然不惜烹了自己的儿子，这样毫无人性之人，贪名逐利之徒，不宜为相。”
齐桓公又问：“开方如何？”开方是卫懿公的庶长子，当年齐桓公讨伐卫国，卫懿公便派他带上礼物到齐国去求和。开方见齐国国力鼎盛，便留在齐国做官，十五年没有回国。后来卫国被狄人所灭，卫懿公死无尸，连卫懿公远嫁许国的妹妹许穆夫人都匆匆赶回卫国为重建故国而奔走，开方却无动于衷，继续留在齐国侍奉齐桓公。齐桓公认为开方对自己的忠心超过了对故国之爱，因此也十分信任他。
管仲答道：“卫公子开方舍弃了卫国太子之位，屈奉国君十五年，连他的父亲去世都不回去奔丧，如此无情无义之人，不守忠孝之徒，如何能真心忠于国君？况且他放弃千乘之封地，俯就于国君，心中所求的必定过于千乘之封，国君决不能任其为相。”
齐桓公又问：“那么竖刁怎样？他宁愿自残身肢来侍奉寡人，这样的人难道还会对我不忠吗？”竖刁是齐桓公宠信的宦官，当初齐桓公四处寻找能人为自己管理后宫事务，竖刁听说以后就自行阉割，入宫服侍齐桓公。
管仲担忧地说：“不爱惜自己的身体是违反人情的，这样的人又怎么能真心忠于您呢？请国君务必疏远这三个人，宠信他们，国家必乱。”
二人谈了半天，也没能确定一个双方都满意的继任相国，齐桓公有些不满了。于是管仲只好退而求其次，将曾经与他一起到周去完成与戎人的和谈任务的隰朋推荐给了齐桓公，并说隰朋忠君爱国、为人厚道，而且勤奋好学、不耻下问，居家不忘公事，很有责任心。齐桓公想了想也觉得不错，就同意了任用隰朋为相。
不久以后，管仲因病去世，管仲在世时，时常以相国的身份对齐桓公进行劝谏。齐桓公作为一个国君，身上有很多缺点，他好大喜功、贪图享乐、沉湎女色，正是因为有了管仲的规劝，甚至是制衡，齐桓公才避免了诸多错误，走上了尊王攘夷的正确求霸之路，最终成就霸业。
管仲去世之后，齐桓公虽然十分哀痛，但也摆脱了这位少有的敢于约束自己的人。本来齐桓公在管仲去世后按照他临终前的嘱托驱逐了易牙、竖刁、开方等佞臣，但是此时的齐桓公已年过古稀，不复年少时的雄心壮志和进取精神，每天只是耽于逸乐，骤然失去了这几个弄臣只觉得自己每天都食不知味。于是齐桓公便认为管仲对他们的看法有误，于是很快就派人将他们召回来，从此逐渐迷失在了易牙等奸佞之臣的阿谀奉承、甜言蜜语之中。
鲁僖公十七年（公元前643年），年迈的齐桓公得了重病，他的五个儿子开始为夺取国君之位而公开斗争。易牙、竖刁见齐桓公已不久于人世，就堵塞宫门，假传君命，不许任何人进去，连食水都无人给送。有一个宫女偷偷翻墙进入齐桓公的住处，饿了几天的齐桓公见到她大喜过望，急切地索要食物饮水。宫女说：“我没有食物也没有水，如今易牙、竖刁作乱，堵塞了宫门，不许人出入，哪里还有食物呢？”
齐桓公听了慨然长叹，流下了悔恨的泪水：“我悔不听仲父之言，如果死者泉下有知，我有何面目去见他啊！”说罢，用衣袖遮住脸，竟活活饿死了，一代霸主就这样殒命于小人之手。在羞愧难当之下，抑郁而终。
更加悲惨的是，齐桓公去世之后，他的五个儿子忙着自相残杀，争夺国君之位，根本没有人有空去过问他的丧事，齐桓公的尸体在床上躺了两个多月都无人理睬。直到后来曾经在卫国被狄人所灭之后帮助卫人营建新都城的公子无亏取得了胜利，得到了国君之位，才有空为齐桓公准备棺椁、安排后事，此时齐桓公的尸体已经严重腐烂，尸虫都从宫殿的门窗中爬了出来。从此以后，“停尸不顾，束甲相攻”就成为了对一国之君安排继承人问题的最大警诫，两千多年后的清朝康熙皇帝还曾经因为继承人问题的困扰发出感慨，担心自己会步上齐桓公的后尘。
史书载：“桓公好内，多内宠，如夫人者六人。”齐桓公先后迎娶的三位嫡妻周王姬、徐嬴、蔡姬都没有为他生下嫡子，只有六位宠姬生下了几个庶子。其中公子无亏、公子元、公子昭、公子潘、公子商人都曾先后当过齐国的国君然后在短短数年内被自己的亲生兄弟杀死。在齐桓公去世后，齐国的乱局持续了四十多年，再不复当年九合诸侯的霸主景象。