都已经避世隐居，何求先已去世，到这时何胤又隐居，当时人们称何点为大山，何胤为小山，又称做东山。

永元年间，朝廷征召皿皿为太常，太子詹事，都不赴任。高祖藩王府建立，选拔何胤任军谋祭酒。高祖写信给何胤说：“你在山林中尽情栖游，定能带来无穷的欢乐，希望你常常安适。内心既已断绝对名利的追慕，也就不会再有被外物役使的烦劳，用道来调养内心的和谐，一举一动也就不会违逆自己的心意。若邪山独占东部的美景，山川相连，前代人就已赞赏逭襄的美景，遣裹确实是一方乐土。我在官场辗转迁徙，束奔西劳，静下来想和老友促膝长谈，竟因相互离违，不能相见，我仰首束望，哪天不在想念你？从前我们欢乐相聚，一起在学校就读，我实在想在学校游学千年，遍读百子之书，一旦走上仕途，这种想法就无法实现。正逢世道衰颓，国家接二连三地陷入祸乱之中，幸亏有数千激扬奋发的勇士，才能够战胜凶徒清除祸患。我也想捧读书卷，随时咨询请教，寄情于古人古事之中，我也时常思念着你，但事与愿违。你胸襟坦荡，情怀恬淡，栖游山林，虽处人世之中，几乎和退隐相近。你获取高官之后，又挂冠辞职。有取舍不同之理，有崇尚随顺时势之义，能预见后事，识别祸端，实在算是先知先觉，能超然世外，独善其身，有识之人自会钦慕嗟叹。现在政治昌明，居于昌盛之邦，仍然处在贫贱之中，人人都会感到羞耻；皇上好仁，实行仁德就在于自己，希望你不要再犹豫迟疑。以前我去信全都说过，逭裹就不再全说。现在派专人等你的消息，我翘首期盼着你的回信，希望你能使我殷切期望之情得到安慰。”何胤不肯到王府任职。

高祖登上帝位，下诏任命何胤为特进、右光禄大夫。高祖亲自写手令给何胤说：“我正遇上好的机运，百姓乐于拥戴，我登上了帝位。祇不过我昏庸无知，不精通治国之道。即使是从早到晚，日夜劬劳，也想要帝业兴隆，天下升平。而先代圣王留下的典范，还衹是记载在典籍之中，施政的取舍、政令的废举，都和用人密切相关。再加上世道浇薄，奸诈蜂起，要改变风俗，实在不易。如果不能用儒雅君子弘益朝政，用高雅的标准规范政令，那么国家就会堕入急流，谁也不知道它将漂往何方。治理百姓和修养自身，独善其身和兼济天下，得失取舍，哪样功用更多？我虽然学问不多，但很爱广泛了解古事，想起那些脱离尘世的高士，每每赞叹不已。现在世务纷乱，我重任在肩，不得不请你放下隐居山林的打算，和我一起实现治世的美业。希望你一定要深深体察我们往日的情谊，不要因为怕尘世玷污而滞留不来。现在派领军司马王果宣谕我的旨意。希望近期就和你见面。”王果到何胤处，何胤穿着朝服但头戴隐士常用的鹿皮巾，手执经书，走下坐榻跪着接过韶书，然后回到坐榻上拜读诏书。何胤接着对王墨说：“从前我在蛮曲时就想陈奏两三件事，一是想要订正郊丘之礼，二是想要重新铸造九鼎，三是想要建立双阙。世人传说晋朝想要建阙，王丞相指着牛头山说：‘造就是天然的宫阙。，逭正是没有明了建立宫阙的意思。阙，又称之为象魏。把国家的法律条文悬挂在阙上面，过十天就把它收藏起来。象的意思是法；魏，是正处在路当中而高大的样子。造就是阙又称做象魏的原因。鼎是象征帝王威严的神器，有国家的人就要先有鼎，所以王孙满斥责楚子问鼎之轻重的举动，楚子顿时无言可对。在圜丘祭天和在南郊祭天，依照以前的典籍，遣两者有所不同。在南郊是祭五帝灵威仰之类神灵，在圜丘是祭天皇大帝、北极大星。以往朝代合称为郊丘，这是上代儒生的重大失误。现在梁朝的德政刚刚开始，不应当因袭前朝的谬误。你应当到宫廷中去陈奏。”王果说：“我地位鄙下，才能拙劣，岂敢随便议论国家的典章制度，这事要恭敬地等待像叔孙生那样的大儒来议论。”何胤说：“你为什么不派那传送诏书的官员回朝廷拜献表章，而你自己留下来和我一同栖游山林呢？”王果感到愕然，说：“古今都没听说这种先例。”何胤说：“《檀弓》两卷，谈的全是事物的起始。从你就可以首先这样做，为什么一定要有先例？”王果说：“现在你已经超然世外，还有出仕、为君献身的想法吗？”何胤说：“你衹要凭实际情况就可以推测到我会不会出仕。我已经五十七岁，每月连四斗米都吃不完，哪能还有精力出仕做官。从前承蒙圣王眷顾，现在又蒙圣王褒美，我很想赶往宫廷拜谢皇恩，但是近来腰腿都不灵便，这个心愿就无法实现了。”

王果回到京城，把何胤说的主要内容向高祖启奏，高祖下命令赐给何胤白衣尚书的封号，领取尚书俸禄，何胤坚决拒绝。高祖又命令从山阴库中每月供给何胤五万钱，何胤又不肯接受。高担于是下诏给坦腿说：“近来学问之道被废弃，儒术将要失传，世家大族，揞绅之家，都很少听说有喜爱读书的人。我常想大力鼓励儒学，但风气仍未改变，我在朝中祇有万分感叹。本想委屈你暂且出山，开导年轻后辈，以继承近于废弃的儒学。逭心愿未能实现，我延颈企望，画思夜想。朝廷的职位还虚席以待，我等到今年秋天，期望你惠然肯来，实现我素来的心愿。你的门生当中经学精通、德行善美的共有几人？我想要见见他们的堂堂仪表，把他们选拔到朝廷来做官。你即刻就可把他们的姓名呈报给我，希望你能满足我这个要求。”又说：“近年来学者非常少，实在是因为没有再聚集学生讲授经学，所以用明经射策取士的办法都废弃了，每次一想到遣一点，就万分感慨。你是儒学的宗师，再加上你德行修美，我将命有志儒学的年轻后辈，到你那儿去向你学习儒家的学问。希望你捆加斟酌，教诲诱导他们，使礼乐教化从此振兴。”高祖于是派何子朗、孔寿等六人到束山何胤处去学习。

太守衡阳王萧元简对何胤十分尊崇，以礼相待，每月都常常驾车去何胤家，和他整天谈论。何胤因为若邪山地势狭隘，容不下学生，于是迁往台望业。山上有瀑布，包腿在瀑布西边建造学校，山林就恰像学校的园篱，山岩正恰如学校的垣墙。何胤在学校裹专门造了座小阁，自己坐卧都在合内，亲自开关门户，没有一个僮仆能进入遣小阁。何胤又在山侧购置T-顷田，讲论闲暇他就带着学生去这地方游览。何胤刚刚迁来秦望山的时候，正准备造房子，忽然见到两个戴着黑帽子的人，容貌十分壮伟，他们问何胤：“你想要住在这地方吗？”于是指着一块地对何胤说：“遣块地很吉利。”忽然间二人都不见了。何胤照他们的话选定了房子的基址。不久山洪暴发。山石被冲走，树木被冲倒，衹有何胤住的房子岩然不动，依然完好。萧元简就命记室参军钟嵘撰写《瑞室颂》，并且刻在石上用以褒扬。萧元简要离开堕垦瞪的时候，进山与包胤辞别，包腿送芦亟个回城，一直送到离郡城三里的都赐埭，就告别说：“我自从弃绝世间之事，舆人的交游也就中断了，如果不是你屈尊降临山野，我又哪会再到离郡城这么近的地方来？在都赐埭上，从此以后再也见不到我的足迹了。”两人手拉着手，都流下了眼泪。

南渡过江之后，何家的人从晋司空何充开始，世代都埋葬在吴西山。何胤家几代人寿命都不长，祇有他祖父何尚之活到七十二岁。何胤年纪到了七十二岁时，就离开秦望山，迁移到吴，他作了一首《别山诗}，言辞十分凄怆哀伤。到之后，何胤在虚丘西寺讲论经学，学生们又都跟随他学习，东部地方长官往来途中经过吴，个个都要到寺中听何胤讲经。何胤常常禁止杀生，有个虞人追逐鹿，鹿一直跑向何胤，伏在他身旁一动不动。又有一种奇异的鸟，形状像鹤，红色，聚集在讲堂，乌儿驯服，和人亲近，如同家禽。