加重盘剥，以完成征收赋税的任务。无法忍受的农民走投无路，又只好把土地抵押甚至奉献给徐家，以换取保护。如此恶性循环，结果是：天怒人怨，民不聊生。

徐阶一家这种损公（国家)又损人(农民）的利己行为，使清廉、正直的海瑞十分震惊，而徐阶的形象，在他心目中也一落千丈。当然，上述不法行为，主要是徐阶的弟弟和子侄们干的，徐阶也曾有所劝阻，但劝阻并不得力，实际上睁眼闭眼，默许放纵，姑息养奸。海瑞眼里是揉不得沙子的，何况此事与他的原则抵触太大：既不符合他均贫富、一天下的社会理想，又不符合他廉洁奉公、遵纪守法的政治标准，当然不能容忍和姑息。

事情最后的结果是：徐阶的长子、次子和十多个豪奴被判充军，三子被革去官职，数千家奴被遣散十之八九，掠夺的民田至少退还了一半。

对徐家的这一处分究竟是出自何人之手，史家尚有不同说法。有人认为主要是高拱和蔡国熙所为，也有人认为应该归功于海瑞。

海瑞当时内心可能是希望徐阶能主动退田，民田一退，民愤便可平息。那时要帮徐阶一把，也就比较容易说话。可惜徐阶很不自觉，仅仅象征性地退了些许，便想敷衍了事，蒙混过关。海瑞是个认真的人，便去催。徐阶却推诿说这些田地都是儿子的，不好做主。海瑞只好再次去信催促，说最近查阅退田名册，得知阁下的盛德出人意表，可惜退数不多，希望再加清理。过去一些做儿子的，连父亲的错误都可以改正，现在阁老以父亲的身份，来改正儿子的过错，应该无所不可。同时，海瑞又给首辅李春芳写信，说徐阶为小人所蒙蔽，产业之多，令人骇异。如今“民风刁险”徐阶退田如不过半，只怕对他自己不利。可见海瑞还是想维护徐阶的，只是不肯牺牲原则而已。看来，退田一事，主要功在海瑞；而充军罢官的处分，则多半出自高、蔡二人之手，并且是在海瑞罢官之后。

不管海瑞如何用心良苦，力图在不牺牲原则的前提下保全徐阶，他都等于同徐阶翻了脸。官场中人依照他们以人划线的逻辑，都已派定海瑞是背叛了徐阶，变成了高拱同伙。因此这一回，海瑞已把徐阶集团的人得罪了个干净。

然而高拱集团也不领情。因为海瑞早就得罪了高拱。隆庆元年（公元1567年)时，徐、高二人勾心斗角。高拱的党羽齐康弹劾徐阶，说他的儿子和家人横行乡里为非作歹。这是事实，因此徐阶也就只好请求退休。这时，朝中负责监察的官员都是徐阶的亲信，便群起反攻。

闹得不可开交之际，海瑞说话了。他上了奏疏，说齐康之所以弹劾徐阶，目的是让高拱掌权。海瑞当时声望正隆，如日中天。他的奏疏，当时是对高拱的沉重打击。结果高拱辞职，齐康罢官。高拱东山再起后，当然要报复海瑞。他可不会因海瑞要徐阶退田就放过海瑞的。

海瑞这一回还把张居正也得罪了。张居正原本是徐阶一党。他能够成为阁臣，全因徐阶的引荐。入阁以后，也一直与徐阶站在一边。徐阶退休后，害怕高拱报复，也一直与张居正保持联系，这回当然也要拜托张居正从中斡旋。张居正认为这件事很简单：苏州知府虽然是蔡国熙，可应天巡抚是海瑞呀！徐阶于海瑞有恩，哪有不关照之理？顶多也就再打个招呼就行了。于是张居正给海瑞去了一封信，很滑头地要他兼顾一下“存老之体面，玄翁之美意”存老就是徐阶。徐阶字存斋，所以称他存老。玄翁就是高拱。高拱字中玄，所以称他玄翁。当时高拱是首辅，张居正是次辅。张居正要帮徐阶，又不想得罪高拱，所以这么说。他没有想到海瑞原则性极强而高拱报复心极重，结果不但徐阶的体面未能保存，自己的面子也扫了地，因此对海瑞极为不满。海瑞罢官后，历次有人保荐海瑞，均因张居正从中作梗，一直没能起复。