执政时期，齐国并没有强盛起来，反而逐渐乱套，晏子很多时候就靠着一张嘴提提建议，务实的政策到没有几条，在这点上面，他是远远不如管仲的。不过在晏子春秋里，齐国衰退的责任都推给了齐国国君，说他们昏庸无能。
孔子的那套思想在齐国不受待见，有人还想弄死他，他找齐景公求救，齐景公借口推托：“我老了，管不动事了，你自己保重吧。”孔子只好逃回了鲁国。
自鲁三桓兴起，三桓瓜分了王室的军队，鲁国国君被架空，三桓中又属季孙氏最强势，而季孙氏家臣阳虎通过多年发展，成为了实际上的掌控者。阳虎劝孔子出来当官，孔子觉得“陪臣执国命”，违反了他“君君臣臣”的思想，就拒绝了阳虎。
赋闲在家的孔子带着弟子们到处学习，编撰了诗书礼乐。阳虎对孔子仍然念念不忘，但孔子就是不见他。有次双方在路上碰到了，阳虎又劝孔子出仕，孔子还是没有明确表态。后来阳虎就没来找孔子了，因为他自己要搞事情，为了加强对季孙氏的控制，他计划杀掉三桓季孙氏的嫡子，改立庶子做接班人。但计划没成功，后来三桓联合起来反攻阳虎，阳虎兵败逃到齐国去了。
三桓专权，鲁国国君鲁定公非常烦恼但也无可奈何，他想削弱三桓，孔子忠君的思想很对他的胃口，鲁定公于是启用孔子为小司空，小司空是负责国内土地管理建设的，放到现在来说，应该算是部长级别的。
公元前500年，齐鲁组织夹谷会盟，孔子给鲁定公打辅助，从齐国手里要回了汶阳之地，鲁定公因此更加信任孔子，提拔他为大司寇，负责国内治安、法治。大司寇相当于是国家级领导人了，这个岗位的权力很大，但鲁国的权力都集中在三桓手里，不在国君手里，孔子虽然当了大官，实际上还是无法推行自己的政治主张。于是孔子计划削弱三桓，加强君权，鲁定公作为国君自然是支持孔子的。
三桓势力如此强大，要如何削弱他们呢？孔子想到了个好主意，即堕三都。根据周朝的规定，诸侯贵族们的领地城墙不得超过18尺，而鲁三桓掌权后，各自建了气派的城池作为自己家族的“国都”，比鲁国国都还要大，城墙也远超18尺。孔子认为，要削弱三桓，要先削弱他们的城池，这样可以降低他们的防御能力，于是建议鲁定公，以周礼为由头，让三桓将各自的城墙恢复到18尺以内，高出的部分毁掉。这就是堕三都计划。
三桓这么强势，会答应这个要求吗？要放在以前，三桓肯定不答应。但从三桓专权以来，三桓