北条殿が、堀藤次を伴って院の御所に参上して、 「以前の勧修坊のような場合と違う。時政の計らいで探し出し、関東へ下向させよ」 とご下命になったので、北白川を探索した。結局は逃れることは出来ないとは知りつつも、一時の悲しみを免れるために、母は靜を法勝寺という所に隠しておいた。しかし世間にその噂が広がっていたので、すぐ探し出されて、母の禅師のもとに連れ戻され、やがて六波羅へ移された。堀藤次がその身柄を受け取って、鎌倉へ下ろうと支度をした。

磯禅師の心中は、痛ましい限りであった。靜と一緒に下ろうとすれば、眼前に娘の辛い有様を見るであろうとそれが悲しく思われ、また都にこのまま残ろうとすれば、娘をただ一人手放してはるばる遠国に下向させる事が、いかにもかわいそうでならない。人の子は、たとい五人十人もっていたとしても、その中のたった一人が欠けても嘆くのが人情だ。自分にとって静はたった一人もった子だから、このまま都に残ったとしても、とても我慢が出来そうにない。それに静は、どうして愚かな子であろうか。容姿は京都中に名高く、その芸の腕前は天下第一と謳われた美女である。それをたった一人で下向させることは悲しみに堪えない。そう思って、警護の武士の命令にも背き、跣 (ハダシ) のままで後について下った。幼少の頃から禅師の側に仕えていた催馬楽、其駒という二人の下女も、主人との別れを惜しんで、泣く泣く連れ立って下って行った。そこで堀藤次親家も、道中いろいろと労わりながら下ったのであった。