大臣把持国政，不断出兵攻打东边的侯国，楚灵王军队强大，也时常侵犯中原各国；齐是大国又靠近鲁国。鲁国既小又弱，归附楚国就惹怒晋国；归附晋国就招致楚国来讨伐；对于齐国如果奉事不周到，齐国的军队就侵犯鲁国。

鲁昭公二十年（前522），这时孔子大是三十岁了。齐景公带着婴来到鲁国，景公问孔子说：“从衣秦公国家小而又处于偏僻的地方，他能够称霸，这是什么原因呢？”孔子回答说：“秦国虽小，志向却很大；所处地方虽然偏僻，但施政却很恰当。秦穆公亲自拔用五张黑公羊皮赎来的百里奚，授给他大夫的官爵，把他从拘禁中一解救出来，就与他一连谈了三天的话，随后就把执政大权交给他了。用这种精神来治理国家，就是统治整个天下也是可以的，他当个霸主还算是小的呢。”景公听了很高兴。

孔子三十五岁的时候，季平子因为与郈昭伯斗鸡怨的事得罪了鲁昭公，昭公率军队攻打平了，平子和孟孙氏、叔孙氏三家联合攻打昭公，昭公的军队吃了败仗，逃奔到齐国，齐国把昭公安置在乾侯这个地方。其后过了不久，鲁国发生了变乱。孔子来到齐国，做了高昭子的家臣，想借高昭子的关系接近景公。他与齐国的乐官谈论音乐，听到了舜时的《韶》乐，就学习了起来，有三个月的时间竟尝不出肉的味道，齐国人都称赞他。

齐景公向孔子请教如何为政，孔子说：“国君要像国君的样子，臣子要像臣子的样子，父亲要像父亲的样子，儿子要像儿子的样子。”景公听了后说：“对极了！假如国君不像个国君，臣子不像个臣子，父亲不像个父亲，儿子不像个儿子，即使有很多的粮食，我怎么能吃得着呢！”改日景公又向孔子请教为政的道理，孔子说：“管理国家最重要的是节约开支，杜绝浪费。”景公听了很高兴，打算把尼谿的田地封赏给孔子。晏婴劝阻说：儒者这种人，能说会道，是不能用法来约束他们的；他们高傲任性自以为是，不能任为下臣使用；他们重视丧事，竭尽哀情，为了葬隆重而不惜倾家荡产，不能让这种做法形成风气；他们四处游说乞求官禄，不能用他们来治理国家。自从那些圣贤相继下世以后，周王室也随之衰微下去，礼崩乐坏已有好化时间了。现在孔子讲究仪容服饰，详定繁琐的上朝下朝礼节，刻意于快步行走的规矩，这些繁文缛节，就是几代人也学习不完，毕生也搞不清楚。您如果想用这套东西来改变齐国的风俗，恐怕这不是引导老百姓的好办法。”之后，齐景公虽然很有礼貌地接见孔子，可不再问起有关礼的问题了。有一天，景公慰留孔子说：“用给季氏那样高的待遇给您，我做不到。”所以就用上卿季孙氏、下卿孟孙氏之间的待遇给孔子。齐国的大夫中有人想害孔子，孔子听到了这个消息。景公对孔子说：“我已年老了，不能作用你了。”孔子于是就离开齐国，返回了鲁国。

孔子四十二岁那年，鲁昭公死在齐国的乾侯，鲁定公继位。定公继位的第五年夏天，季平子死了，季恒子继立为上卿。季桓子气掘井时掘得一个腹大口小的陶器，里面有个像羊的东西，告诉孔子时却谎称“得到一只狗”孔子说：“据我所知，那里面是羊。我听说，山林中的怪物是一种叫‘夔’的单足兽和会学人声的山精‘罔阆’，水中的怪物是神龙和叫‘罔象’的水怪，泥土中的怪物是一种雌雄未明的‘坟羊’。”

吴国攻打越国，把越国的国都会稽摧毁了，得到一节骨头，有一辆车长。吴国派使者来问孔子：“什么骨头最大？”孔子说：“大禹召集群神到会稽山，防风氏迟到，大禹就把他杀死并陈尸示众，他的骨头一节就有一车长，这就是最大的骨头了。”吴国的使者又问：“那神又是谁呢？”孔子说：“山川的神灵能兴云致雨足可造福天下，负责监守山川按时祭祀的就是神。守土地和谷物的就是公侯，他们都隶属于王者”吴使又问：“防风氏是监守什么的？”孔子说：“汪罔氏的君长监守封山和禺山一带的祭祀，是釐姓。在虞、夏、商三叫汪罔，在周叫长翟，现在叫做大人。”吴使问：“人的身高有多少？”孔子回答说：“僬侥氏身高三尺，是最矮的了；高的不过三丈，数得上是最高的了。”吴国使者听了之后说：“了不起呀圣人！”

季桓子有个宠臣叫仲梁怀，与阳虎有怨仇。阳虎想要驱逐仲梁怀，季氏家臣公山不狃阻止了他。这年秋天，仲梁怀更加骄横了，阳虎把捉了起来。季桓子对此很恼怒，阳虎就把季桓子也囚禁了起来，直到季桓认输订立了盟约才把他释放出来。阳虎从此以后更加看不起季氏。季氏办事也竟然凌驾于鲁君之上，鲁国出现了大臣专权的局面。因此鲁国自大夫以下都不守礼分，超越职权违背了正道。所以孔子不愿意再在鲁国做官了，退闲在家，专心研究整理《诗》、《书》、《礼》、《乐》这些典籍，学生们越来越多，有的甚至来自远方，无不虚心向孔子求教。

鲁定公八年（前502），公山不狃在季桓子手下感到不如意，就利用阳虎作乱，打算废掉季孙氏、孟孙氏、叔孙氏三家的嫡生嗣子，另立平日为阳虎所喜欢的庶子，于是就把季桓子抓了起来。桓子用计骗子他，才得以逃脱出来。鲁定公九年（前501），阳虎作乱失败，逃奔到了齐国。这时，孔子五十岁。