在李蛰被任为姚安知府之前，他已经享有思想家的声望，受到不少文人学者的崇拜。这些崇拜者之中有人后来飞黄腾达，或任尚书侍郎，或任总督巡抚。李蛰得到他们的接济，即使不算经常，但也决非绝

在整个社会没有为它的成员开放其他门径的时候，多数像李蛰一样的人，已经不加思考地接受了这生活方式。如果李蛰回泉州，他必定受到多少族人的期望和迫。然而当时的李蛰，已历经生活的折磨，同时又研究过佛家和家的思想。他在重新考虑生命的意义，重建人生观之余不能再墨守成规。也就是说，他不能把读书、官、买田这条生活路视为当然，也亟待摆脱由于血缘关系而产生的集观念。

我们的帝国不是一个纯粹的“关闭着的社会”——在那样的社会里，各职业基本上于世代相承。——然而它所给予人们选择职业的自由仍然是不多的。一个农民家如果企图生活稳定并且获得社会声望，惟一的路是读书官。然而这条路漫漫修远，很难只由一个人或一代人的努力就能达到目的。通常的方式是一家之内创业的祖先不断地劳作，自奉俭的，积殊累寸，首先巩固自己耕地的所有权，然后获得别人耕地的抵押权，由此而逐步上升为他主。这一过程常常需要几代的时间。经济条件初步备，孙就得到了受教育的机会。这其中，母亲和妻的自我牺牲，在多数情形之下也为必不可少。所以表面看来，考场内的笔墨，可以使一代清贫立即成为显达，其实幕后的惨淡经营则历时至久。这经过多年的奋斗而取得的荣誉，接受者只是一个人或至多几个人，但其基础则为全家。因此，荣誉的获得者必须对家负有义上的全责任，保持休戚与共的集观念。

李蛰的一意孤行，一定要和两千年来固的家族观念联系起来观察，才能使人理解。因为照当时的习惯，他一旦回到泉州，他所需要照顾的决不能仅止于自己的家。他是族中有名望的人，又过知府，那就一定会陷无数的邀劝纠缠之中而不可自。

使李蛰到不安的倒是他的妻。她是一位标准的贤妻良母，只要对丈夫的事业有利，她能够忍受一切乃至牺牲一切，但是她不能理解丈夫的神世界。他一心想要创造独立的思想和人格，离开了独立，他的内心就得不到满足。也是基于这神，在1580年姚安府任满以后他决定退休。当时他年方53岁，正值官运亨通，一帆风顺，这乎意外的决定对她也不能不是一打击。然而她依然是顺从，和丈夫一起迁到湖广黄安，寄居在耿氏兄弟家里。可是李赞后来又和耿定向闹翻，又决意搬到附近麻城的佛堂中去居住，她这才不得不独自回到离别了20年的故乡泉州。直到1587年，她临死以前，她曾多少破向他呼吁，要他回到泉州。当她的死讯传来，李蛰曾写了6首诗表达当时的伤。诗中称赞她的贤淑，说“慈心能割有，约已善治家”夫妻40年来未曾反目，只是由于不能理解“丈夫志四海”的宏献，在给女婿的信里，李蛰提到在听到噩耗以后，没有一夜不梦见她，文字的凄怆，令人不忍卒读。好几年以后，他还劝告朋友不要轻易削发为僧，尤其是有近亲的人更要三思而后行。这劝告，不妨看成这位充满矛盾的哲学家的一次自我忏悔。

李蛰所居住的僧院坐落在麻城城外的一座山上，称为“芝怫院’。它不是正式的寺庙而仅仅是私人的佛堂，但规模却颇为宏大。院中有正殿、左右厢房，还有和尚的宿舍和客人的招待所。李蛰自己居住的舍位于全院的最后山巅之，极目四望，光山尽收底。在芝佛院的鼎盛时期，全院有僧侣叙余人，统率众增的方丈则是李蛰的朋友。僧众中有人还带着徒弟、徒孙。

在于能够坦白承认这一目的，而不打去绝私、为国为民等等尚的幌。这就接到了一个更为本的问题：我们是否应该让每个人公开承认自己的私心也就是自己的个人打算，以免是心非而混淆？

芝佛院始终没有向政府登记，没有领到正式执照，因之也没有向政府纳税。它不属于任何宗派，也没有董事会的制。李蛰是全院唯一的长老及信托老。其创建和维持的经费，绝大分来自他一人向外界的捐募。他常常写信给朋友，要求得到“半俸”的援助，或者以“三品之禄，助我一年’。有的朋友，周济他的生活前后达20年。他过去没有经历过富裕的生活，但在创建佛院之后，却没有再现过穷困的迹象。

早在二三十年前，在丧父家居的时候，李蛰就已经有了这经验。当时倭寇犯境，城市中奇缺。他虽然只是一个最低级的文官，也不得不接受亲族的拥，负起了为30多人的大家寻找饮的义务。和他同时的何良俊，《四友斋丛说》的作者，就提到过他在南京为避难的亲族所包围，要求解决吃饭问题。另一位著名的散文家归有光则在信上向朋友诉苦，说他不能避难他迁。因为如果离开昆山，他必须随带“百余”的族人同行。

这集观念还不止限于一个小家的范围之内。一个人读书中举而后成为官员，如果认识到他的成功和几代祖先息息相关，他就不能对他家族中其他成员的福利完全漠视。何况这关心和帮助也不会全是无偿的支付，因为没有人能够预测自己的孙在今后不受他们的提携。这经济上的利害关系被象而升华为德。固然，这德观念并不能为全民众所奉行，从海瑞的文集中可以看到兄弟叔侄间争夺产业以至斗殴致死的事情所在多有。但这情形正好从反面说明了教养的重要，有教养的人则决不能以利害义。

对于这样背离传统的行为，他的亲族自然不能善罢甘休。但是亲族的压力越大，他的反抗也越烈。在给曾继泉的一封信里，李蛰说到他所以落发“则因家中闲杂人等时时望我归去，又时时不远千里来迫我，以俗事我，故我剃发以示不归，俗事亦决然不肯与理也”所谓闲杂人等，是他的弟兄还是叔侄；俗事，是买田还是建立宗调宗塾，或者竟是利用势力预词讼，虽然语焉不详，大上当不这些范畴。最有趣的是，他的家族不顾他的愿望，仍然指定一个侄作为他的继承人。这件事引起的反抗方式也同样有趣，他有一封遗书，题名为《豫约》，其中就提到他的这个侄“李四官若来，叫他匆假哭作好看，汝等亦决不可遣人报我死”这封遗书草于1596年，上去他削发为僧已有8年。

这对宗族的照顾，不是暂时的责任，也不仅是德上的义务，而有其刻的社会经济和历史的背景。