略山东，转而掠夺温州、台州、明州旁的渔民，还侵略福建的沿海郡县。

三年(1370)三月朝廷又派莱州府的同知赵秩前去责备日本国王，当他泛海渡舟到析木崖，进入日本境内，日本守关者拒绝接纳赵秩进关。赵秩将书信托人转交给良怀，良怀请赵秩进去。赵秩向他谕告中国的威德，诏书中还有责备他不行臣子之事的话语。良怀说“：我的国家虽然地处扶桑之东，未尝不仰慕中国。只是蒙古人与我们一样都是夷族，却想把我们变成臣妾。我国的先王不服，蒙古人便派一名姓赵的使臣拿好话来哄我们，可是他的话还没完，他们就把十万水兵排布在海岸上了。靠天之灵，忽发雷霆波涛，一时之间让其全军覆没。现今新的天子在中夏称帝，所派的使臣也姓赵，难道也是蒙古人的后裔吗？是不是也先拿好话骗我而后再袭击我。”说完之后拿眼睛看着左右想用兵器杀死赵秩。赵秩不为所动，慢慢地说：“我国大明天子神圣文武，非蒙古人可比，我也不是蒙古使者的后裔。要是你们想使用兵器杀我，那就杀好了。”良怀气沮，亲自下堂请赵秩，对他礼遇甚优。于是良怀派其僧人来中国奉表称臣，向朝廷贡献马匹和土产，并送还从明、台两个郡中掳掠去的七十余人。在四年(1371)十月到达京城。明太祖深为嘉赏，赐宴犒劳日本的使臣，心想日本的习俗是迷信佛教，可以西方的佛教来诱导他们，于是命令僧人祖阐、克勤等八人送日本使者回国，给日本国王良怀赏赐《大统历》和文绮、纱罗。该年他们又掳掠了温州。五年(1372)他们入侵海盐、澉浦和福建省的海上各郡。六年(1373)朝廷任命于显为总兵官，出海巡视倭人地区，倭人又入侵莱、登两个州。祖阐等人到了日本，即为日本国演示教义，其国人对祖阐等人颇为敬信。而日本国王则傲慢无礼，将祖阐等人拘留了二年，在七年(1374)五月才回到京城。此时倭人又入侵胶州。

当时良怀年纪尚轻，有个叫持明的人与他争王位，国内发生战乱。该年七月，良怀的大臣派僧人宣闻溪等持书到中书省，向朝廷贡献马和土产，但没有表文。皇帝命令拒绝他们的贡物，仍让他们的使者带回去。不久，良怀手下守卫别的岛屿的大臣氏久派僧人奉表前来献贡。皇帝以他们没有国王的任命，且又不遵奉夏历为由，也拒绝了他们的贡品，将它赏赐给使者，还命令礼部大臣移文牒给他们，责备他们不该越份私自献贡。又因他们频频入侵掠夺，皇帝命令中书省移文牒谴责他们。于是日本国于洪武九年(1376)四月，派僧人圭廷用等人前来朝贡，并表示谢罪。皇帝厌恶他们表文中的言词不诚实，降诏谕予以警戒，同时按惯例设宴招待使者。十二年(1379)日本国向朝廷献贡。十三年又来朝贡，没奉有表文，但其使者持有日本征夷将军源义满奉给丞相的文书，文书中的言辞又甚为傲慢。朝廷退还他们的贡品，派使者持皇帝的诏书前去谴责他们。十四年(1381)他们又来上贡，皇帝再次拒绝，命令礼部官员移文书谴责日本国王和该国的征夷将军，表示欲征讨他们。良怀于是上疏说：

我听说三皇立极，五帝禅宗，只有中华有君主，难道不允许夷狄之族有君长？乾坤浩荡，不能由一个君主独擅专权，宇宙宽宏，分成各个邦国以作守卫。天下者，是所有天下人的天下，而不是一个人的天下。我居住在又远又弱的倭人之地，是个又偏僻又弱小的国家，城池不满六十个，封土不足三千里，但我已存知足之心了。陛下您是中华的君主，是万乘之君王，拥有城池数千个，封土百万里，还存有不知足之心，常起灭绝异邦的意图。上天忽发杀机，便会移星换宿；大地忽发杀机，便会龙蛇走陆；而人忽发杀机，便会天地反覆。昔时尧、舜有德行，四海之人都来宾服。汤、武施行仁政，八方之人都奉贡献。

我听说贵朝廷有兴战之意，我们小国也有御敌之策。若论比文有孔、孟的道德文章，若论比武也有孙、吴的兵法韬略。又听说陛下您已挑选精兵强将，前来侵犯我们国境。我们的水泽之地，山海之洲，自然已有防备，岂肯跪在路途之中遵奉你们？顺你们之意未必一定能得到生存，违背你们也未必就是死路一条。如果相逢在贺兰山之前，玩玩搏斗之戏，我也毫无畏惧。倘若是您胜我败，且可满足贵国的意图。如果是我胜您败，您就蒙受小邦的羞辱。自古以来都是讲究以和为上策，以罢战为强计，免得生灵涂炭，把黎庶之民从艰辛中拯救出来。现特地派遣使臣，敬将此意奉告到您的宫殿之前，希望贵国考虑。

皇帝得到这个表文甚为愠怒，但鉴于元朝蒙古人的前辙，最终没有对日本出兵。

十六年(1383)，倭人又入侵金乡、平阳等地。十九年(1386)他们派使者来献贡品，被退了回去。第二年朝廷命令江夏侯周德兴前往福建的滨海四郡，视察形势。对于有的卫所的城墙不能保护要害的，将其移置；对于百姓每户中有三个男丁就抽取一个来充当戍卒，于是修筑了一十六座城墙，增设了四十五个巡检司，得到士卒一万五千多人。朝廷又命令信国公汤和出行巡视浙东、浙西的诸郡，整治海防，于是修筑城墙五十九座。他又规定每户有四个男丁的抽取一个充当戍卒，这样就得到五万八千七百多人，分别戍守各卫所，海防得到大力加强。闰六月，朝廷又命令福建准备海船一百艘，广东准备两百艘，在九月会同浙江一起搜捕倭人，不久这个命令停止执行。