互相干扰。”殷芸才作罢。孝绪只和比部郎裴子野交往。子野把他推荐给尚书徐勉，说他十几岁跟随作湘州刺史的父亲，不用公家的纸写字，以保护父亲的为官清白。说他的志向品行和管宁差不多，辞采文章好似皇甫谧。

天监十二年(513)，武帝下诏让公卿举荐贤士，秘书监傅照上疏举荐孝绪。他和吴郡范元琰一起被征召，两人都未应征。陈郡袁峻对他说：“从前天地昏暗，贤人隐居，如今世道清明，而你还要出世，合适吗？”孝绪回答：“以前周朝虽然有道，但伯夷、叔齐却不食周粟，躲避到山中挖野菜吃。汉朝鼎盛时期，夏黄公、绮里季却不感觉山林里寂寞。行仁义各有自己的方式，和世道又有什么关系！何况我又不是先贤一类人呢。”起初，谢月出和伏日恒应召出任，天子便认为隐者都是图谋虚名，借此来求取显贵的声誉，所以就没有再理孝绪、何胤他们，二人崇尚的志向便得以成全。

后来孝绪在钟山听讲时，母亲王氏忽然得病，兄弟们要去叫他，母亲说：“孝绪淳厚性情与我暗通，一定会自己来的。”孝绪果然因为心惊返回家中，邻人不禁感叹惊异。给母亲配药必须用生人参，以前传说钟山出产，孝绪便进山亲历艰险，但好几天也没找到。忽然看到有只鹿在前边走，孝绪心里有感应便随后而行，走到一处鹿不见了踪影，走近一看，果然找到了这种药草。母亲得此药吃后病马上痊愈，当时人们都说是他的孝行感动了神灵所致。

有个善于卜筮的张有道对他说：“只见你隐遁形迹而内心难以看出，如不用龟甲耆草来卜一卦，便没有什么证据。”布卦时，卜了五爻，说：“这将会是‘咸’卦，依应感之法，不是嘉遁之兆。”孝绪说：“怎知下一爻不是上九？”结果下边果然成“。。卦”有道叹息说：“这就是所谓的‘肥。。无不利’，卦象应了你的所为，你的内心和行为是一致的。”孝绪说：“虽然卜得‘。。卦’，然而如果上九爻不出现的话，隐居之路，我恐怕要拜辞许由先生而走不得了。”于是著《高隐传》，上自炎皇，终于天监末年，斟酌人物，分为三等：言行超拔高逸，连姓名也没流传下来的，为上篇；一生不曾损害自己的修行，有姓名可录者，为中篇；辞官不干，一心隐居的，为下篇。湘东王著《忠臣传》，集佛教碑文、《丹阳尹录》、《研神记》，都先征询孝绪意见而后定稿。南平元襄王听说他的名声，写信邀请他，他不去，回信说：“不是我傲视富贵，只是生性畏惧官场，如果獐鹿可以驾车，那和良马还有什么区别呢。”

当初齐建武末年，青溪宫的东门无缘无故塌了，大风刮倒了东宫门外杨树，有人拿这事问孝绪，他说：“青溪宫是皇家旧宅，齐朝在五行中属木，东方是木位。如今东门自己塌坏，木怕是要衰亡了。”

梁武帝禁止收藏谶讳之书，此类书孝绪都有，有人劝他藏起来，他回答说：“从前刘德看重淮南王刘安的《秘要》，致使有刘向之祸，杜琼所谓不如不知道，这话说得好。”有客人向他要这些书，他回答说：“自己不想要，怎能嫁祸于人。”就把那些书都烧了。

鄱阳忠烈王妃，是孝绪的姐姐。鄱阳王曾乘车来想邀他一起去玩儿，孝绪从院墙上挖洞逃避了。始终不肯见他。鄱阳王只得怅然叹息。王的几个儿子重甥舅之情，逢年过节都要给他送些礼物，他什么也不要，也从来不与外甥们见面，竟然一直不认识。有人问他为什么，孝绪说：“我本是贱民百姓，不应作王侯的亲戚，如今不期而遇，并非我的本愿。”刘高欠曾送给他米，孝绪不收，刘高欠就也把米扔掉了。孝绪晚年素食断酒。他平时供奉的石像原先有些缺损，心想补一下，尽心敬奉，过了一夜忽然石像自己完整无缺了，众人都很惊异。

大同二年(536)正月，孝绪自己卜卦后说：“我的寿限和刘著作同年。”等刘杳死，孝绪说：“刘侯已经死了，我也活不了几天了。”那年十月去世，享年五十八岁。梁简文帝当时为太子，特降恩惠，赏赠优厚，他儿子阮恕按照他的遗愿辞谢不受。顾协认为这次对他的恩惠不同寻常，劝说他接受下来。门徒们追论孝绪的德行，送他谥号为“文贞处士”他所著的《七录》、《削繁》等一百八十一卷，都在世上流行。

当初，孝绪所撰的《高隐传》中篇收录了一百三十七人，刘高欠、刘讠于看了以后说：“从前嵇康所赞颂的人物，缺了一篇自赞，如今这四十的整数，是否要我们来凑足它呢。”孝绪回答说：“这就是所谓荀君虽少，后事当交付钟君。如若你二位一旦辞世，此书就以你二位为结尾。”后来刘高欠、刘讠于果然去世，于是孝绪就增补二传。等孝绪去世，刘讠于的哥哥刘薭把他的一些逸事记录下来编入篇尾，以成绝笔之意。

陶弘景字通明，丹阳秣陵人。祖父陶隆，作王府参军。父亲陶贞，作孝昌县令。