少林寺最早建立于北魏太和十九年，是孝文帝为天竺僧跋陀修建的住锡之地，南朝刘宋末年，南天竺国秀玉王的儿菩提达放弃王位的继承权，师承古天竺禅宗二十七祖般若多罗，学习佛教禅宗之法，禅宗主张坐禅“观”面沉思，姑息众念，领悟禅理，后来他便成为禅宗二十八代传人。菩提达于北魏孝昌三年从天竺来到中原，他四云游四海，最后来到少室山下，见此群山苍翠，峰峦起伏竞秀，于是便在少室山半山腰的一个天然山里面十年，参禅悟理，终于参透了佛教的禅理，便在此修建寺庙，开山收徒，宏扬佛法，他也成为了少林派的开山祖师爷，少林寺也成了禅宗的祖。菩提达就成了少林派的达老祖，他参禅的山便叫达，他最初建立的寺庙后人便称为初祖庵。

达老祖最初收了四个弟，其中得他衣钵的弟叫彗可，又称禅宗二祖，彗可俗名叫姬光，他为了向达老祖求佛法，千里迢迢来到少室山拜师学艺，达老祖开始时并不理会他，彗可于是在大雪天立在外，经过了一天一夜，雪过膝盖，达老祖仍然不答应他的要求，于是彗可自断左臂，以表示学佛法的决心，达老祖见他心诚，便将他从天竺带来的袈裟和饭钵传授于他，赐名彗可。这就是后来“立雪传经”、“断臂求法”、“衣钵真传”三个典故的来历。

这慧能只是一名舂米劈柴的小僧，并没有读过佛经，也没有听过佛法，却能悟佛的真谛。弘忍大为称奇，于是偷偷为慧能传授《金刚经》，并把达佛祖的衣钵传给他，令他连夜走，到南方的国恩寺弘扬佛法。后来慧能便成了禅宗六祖，也成了禅宗南宗的创始人。慧能因为当年弘忍传衣钵给他，引起了许多纠纷和争斗，他死后，便不再传衣钵给弟，而是把佛祖的衣钵藏了起来，于是禅宗衣钵便只传了六代。

门派。少林派的武功威名远扬，嵩山少林寺称为北少林，在南方福建莆田的少林寺称为南少林，两寺虽然分据在南北，但仍然是连为一，莆田少林寺仍然奉嵩山少林寺的法旨。杨聪三人来到少室山下，只见少林寺三面临壑，背靠五峰，东临太室山，西是少室山上的万丈悬崖峭，前面的少溪河似一条玉带绕寺而过，远见香烟缭绕，梵音袅袅传来，真乃绝妙圣地。杨聪三人来到山下投递了名贴，便有僧人引三人上山，这上山之路也是戒备森严，每一险要之均有僧人把守。

彗可之后是三祖僧璨、四祖信、五祖弘忍，五祖以后禅宗分为南宗和北宗，当时禅宗五祖弘忍门下有弟一千多人。一天，弘忍召集门徒说：“佛门弟应以超脱生死为人生大事，你们谁能用偈语以世间之福把人们从人生苦海中解救来，我就把衣钵传给他。”他的弟们苦思冥想，也想不来，只有他的大弟神秀偷偷在墙上写了一首偈颂：“是菩提树，心如明镜台，时时勤拂拭，莫使有尘埃。”但此偈语还没悟到佛的本意，弘忍并不满意，叫他继续思考，但神秀苦思冥想，再也想不更好的来了。又过了几日，有人针对神秀这首偈颂写了一首新的偈颂：“菩提本无树，明镜亦非台，本来无一，何有尘埃！”这首偈颂才真正了佛的本意，弘忍大是赞赏，但不知是谁所，他经过几经周折，终于查是一位叫慧能僧人所。