傳說，達摩是天竺國香至王的第三個兒子，自幼拜釋迦牟尼的大弟子摩訶迦葉之後的第二十七代佛祖般若多羅為師。
有一天，達摩向他的師傅求教說："我得到佛法以後，應到何地傳化？"般若多羅說："你應該去震旦（即中國）"。又說："你到震旦以後，不要住在南方，那裡的君主喜好功業，不能領悟佛理"。
達摩遵照師父的囑咐，準備好行李，駕起一葉扁舟，乘風破浪，飄洋過海，用了三年時間，歷盡艱難曲折，來到了中國。達摩到中國以後，廣州刺史得知此事，急忙稟報金陵，梁武帝王將相衍立即派使臣把達摩接到南京，為其接風洗塵，賓客相待。
武帝是一個佛教信徒，主張自我解脫。達摩是禪宗大乘派，主張面壁靜坐，普渡眾生。由於他們的主張不同，每談論起佛事，二人總是不投機。這時達摩感到南京不是久留活動的地方，於是便告辭蕭衍，渡江北上。
中國有個高僧，名叫神光，是河南省滎陽縣人。當時神光在南京雨花臺講經說法，當地群眾稱："神光講經，委婉動聽，地生金蓮，頑石點頭"。圍觀聽講的人是裡三層，外三層，水洩不通，達摩離開梁武帝北上，路過雨花臺，見到神光在那裡講經說法，他就順便擠在人群中，側耳傾聽。達摩聽講，聽到有些地方點點頭，聽到有些地方搖搖頭。點頭表示贊同神光講的觀點，搖頭表示對神光講的觀點不贊同。神光在講解中，發現達摩搖頭，認為這是對自己的最大不尊，便問達摩："你為什麼搖頭？"對佛學的認識二人因有分歧意見，達摩便主動讓步，離開雨花臺渡江北上去了。
達摩去後，聽講的群眾有人對神光說："剛才那個人你知道他是誰？他就是印度高僧菩提達摩，精通佛法，學識淵博。"神光聽了以後，感到慚愧之極，師父到了跟前，剛才自己太沒禮貌了。於是他就趕快追達摩，賠禮道歉。達摩在前邊走，神光在後面緊追，一直追到長江岸。達摩急著過江，停立江岸，只見水域茫茫即沒有橋，也沒有船，連個人影也不見。這怎麼過江呢？達摩十分焦慮。誰知“天無絕人之路”。正在這無可奈何之際，達摩突然發現岸邊不遠的地方坐著一個老太太，身邊放了一捆葦草，看樣子好象也是在等船過江。達摩暗自盤算：這位若大的年紀，為何孤苦伶仃，無人護送照料？也罷！只好向她老人家求助了。於是他邁步走上前去，恭恭敬敬地向老人施了一禮，說道："老菩薩，我要過江，怎奈無船，請您老人家化棵蘆葦給我，以便代步。"
老人抬起頭來，仔細地端詳達摩。見他兩隻突鼓的眼睛炯炯有神，滿臉絡腮鬍子，捲曲盤旋，身材魁梧，舉止坦然，形象端壯，儀表非凡。老人暗自點頭稱許，隨順手抽出一根蘆葦與達摩。達摩雙手接過蘆葦，向老人告謝而去，及至江邊，他把蘆葦放在江面上，只見一朵蘆葦花，昂首高揚，五片蘆葉，平展伸開，達摩雙腳踏於蘆葦之上，飄飄然渡過了長江。
神光不顧疲勞，尾追達摩，及到江邊，看到達摩一葦渡江，就氣急敗壞地跑到老人面前不問青紅皂白，抱起老人身邊一捆蘆葦，撲通一聽，扔到水中，雙腳跳上蘆葦捆子，匆忙過江。誰知說也奇怪，這捆蘆葦不但不向前行進，反而很快沉入水中。神光見勢不妙，急忙涉水而出，險些溺入水中。神光帶著渾身泥水，衝向老人，輕聽責問："你給他一根蘆葦就渡過江，我拿你一捆蘆葦為什麼還過不去呢？"
老人不慌不忙從容不迫地答道："他是化我的蘆葦，助人有份；你是搶我的蘆葦，物各有緣，無緣無故，豈能相助？"老人說罷，轉瞬間悠然不見，浩瀚的江面上空無一人。 這時神光自知有失，慚嘆不已，呼天不靈，呼地不應，悲悽非常，懊悔而歸。
達摩過江以後，手持禪仗，信步而行，見山朝拜，遇寺坐禪，北魏孝昌三年（公元527年）到達了嵩山少林寺。達摩看到這裡群山環抱， 林茂密，山色秀麗，環境清幽，佛業興旺，談吐吻洽。心想，這真是一塊難得的佛門淨土。於是，他就把少林寺作為他落跡傳教的道場。廣集僧徒，首傳禪宗。自此以後，達摩便成為中國佛教禪宗的初祖，少林寺被稱為中國佛教禪宗祖庭。現在少林寺碑廊裡還有達摩一葦渡江影象碑。古人有詩讚日：
路行跨水復逢著，獨自悽悽暗渡江。
日下可憐雙象馬，二株嫩桂久昌昌。