据《传灯录》载： 南北朝时，有个和尚名叫达摩(也写作达磨)。他是南天竺(古印度)国香至王第三子。梁武帝普通元年(520年)，达摩渡海从广州来到当时南梁的首都建业(今南京)。梁武帝是忠实地信仰佛教的，但是达摩同他交谈后，见解有很多不同，于是离开建业，渡江北上，到了北魏，在嵩山的少林寺住下。达摩在少林寺，面对石壁而坐，不发一言，据说这叫做“壁观婆罗门”。就这样，达摩一直坚持了9年的时间，最后坐在石壁前而亡。中国禅宗尊他为创始人，民间俗称达摩老祖。

清人姚元之在《竹叶杂记》中对这个故事又作了些渲染。说在少林寺的石殿西边，有一供桌，供着一块大石壁，高二丈多，近看不过是一块粗石，没有什么特别的地方;但要是后退五六尺，却可以隐隐约约地看到石壁上有一个活达摩静坐在那里，腮边短须好像还在轻轻飘动。

面壁除形容“功夫深”以外，还形容清心寡欲、苦心钻研，不受外界干扰。