鞍馬山に入った遮那王こと牛若丸は、年に一度も山を降りぬという有様で学問に励み、将来は一山をになう名僧にと周囲の期待も大きかった。常盤御前もそうした評判を聞いて、牛若丸が山を降りて里心がつかぬようにと覚日に頼んでいる。それは子を思う母心であったか、あるいは、今日の財務大臣に当る大蔵卿の北の方となった身に牛若丸の存在がうとましかったのか。少なくとも、牛若丸は幼い時に母に捨てられたという思いを強く抱いていたに違いない。
『古活字本（こかつじぽん） 平治物語（ひじものがたり） 』 によれば、牛若丸は十一歳のとき、密かに諸家の系図を見て、自らが清和（せいわ） 天皇の十代の末裔（まつえい） 、源義朝の末子であると知って、平家を滅ぼし、父の本懐を遂げようと決心した。牛若丸に母恋しの念はなく、もっぱら武人として名高い父の姿に自らを重ねようとしているのである。その父の仇清盛の囲われ者になった母は、裏切り者に他ならない。これより、人目を欺くために昼は学問を事とし、夜は密かに僧正（そうじょう） ガ谷におもむいて天狗に兵法を習う毎日となる。
牛若丸が住んだ東光坊は、鞍馬寺の山門を入って山道をしばらく登ったところにあった。今は急斜面の林間に義経供養塔が立っているばかりであｒ。そこから九十九折（つづらおり） の坂を登って本殿前に出る。その先は険しい山道である。鬱蒼（うっそう） とした樹木の中を進み、 「義経息次ぎの水」 で喉の渇きをいやし、さらに険路を登って、ようやく 「背くらべ石」 のある峠に出る。一メートル余りの 「背くらべ石」 は、十六歳の牛若丸が奥州下りを前に名残を惜しんで背くらべをした石と伝えられている。峠から落ちる急坂を貴船の方にしばらく下って行くと、義経堂、僧正ガ谷不動堂、魔王殿と続いて、この辺りが鞍馬天狗の出没した土地である。東光坊から約二キロ、ここまで歩くだけでも足腰の充分な鍛錬になったであろう。
牛若丸が天狗に兵法を習ったとする伝説は、謡曲にとられて 『鞍馬天狗』 ちなり、義経伝説に欠かせぬものとなったのだが、室町時代に成ったとされる 『義経記（ぎけいき） 』 では 「ひとへに天狗の住家（すみか） となりて、夕日西にかたぶけば、物怪（もののけ） おめきさけぶ」 僧正ガ谷で、牛若丸が独り武芸に励んだことになっている。平家を宇宙倒そうと決意するいきさつも、鎌倉時代に成った 『平治物語』 とは違っていて、牛若丸が十五歳の時、義朝と共に討たれた鎌田正清の子正近（まさちか） 、法名を正門坊（しょうもんぼう） という法師が密かに鞍馬に来て、 「君は清和天皇十代の御末、左馬頭（さまのかみ） 殿の御子」 と牛若丸の出目を告げ、謀叛をすすめたことになっている。
後年、義経は源平合戦で、鵯越（ひよどりごえ） の坂落とし、屋島の奇襲戦など、前代未聞の軍事的天才を発揮する。その兵法を独習したとするのは、いくら義朝の忘れ形見とはいえ、後世の人々には納得し難い事であった。しかも 『平家物語』 では 「一艘（いっそう） 飛び」 であった壇ノ浦の逸話が、伝説の中でいつしか 「八艘飛び」 に膨らんでしまったのだから、もはや超人のわざで、あれは鞍馬に天狗に教わったに違いないと考え出す人があっても、不思議ではなかったのである。
鞍馬山の天狗から兵法を伝授されたとはいえ、牛若丸独りで強大な平家に立ち向うことは出来ない。そこへ現れたのが、金売（かねうり） 吉次（きちじ） である。豊富な金（きん） を背景にして奥州に覇（は） を唱える藤原秀衡（ひでひら） の密命を帯びて、吉次は十六歳の牛若丸を鞍馬山から連れ出す。この牛若丸奥州下りも京都に数多くの伝説を残している。