わけて、忘れ得ないのは、妻子であろうこともいうまでもない。
彼の妻であった人は、その後、天野（あまの） の女人高野に、尼となって余生を送っているという。よそながら、彼は風の便りに聞いていた。けれど、なお、その妻との仲には、子どもがあった。西行が出家当時、五つであった愛らしい娘があった。
「今はもうよい人妻の年ごろよ。ああ、あの日の、幼き泣き声が、耳の底から聞こえて来る・・・・」
いくたびか、立ち止まっては、また歩き出した。そしてついに、暗い虫の音の中に、立ち呆（ほ） けてしまった。
木も土も草も、道の辺の垣も、星までが、啼（な） きすだいている気がしてくる。そしてそれがことごとく、二十年前に、彼が出家を決意した日 ── 父の袂（たもと） にすがりついたわが娘（こ） の泣き声に ── 聞こえるのであった。
あのとき、彼は、 「ここで愛執（あいしゅう） のきずなに晦（くら） み、発心（ほっしん） の大事を止んでなろうか」 と、心を鬼にして、まだ五つでしかない娘を、縁から庭先へ蹴落（けおと） とした。そして狂気のように屋敷を出てしまったのである。 「求道心（ぐどうしん） のつよさよ」 「よくこそしたれ、さすがは西行ぞ」 などと人はいい称（たた） えたが、なんの、西行自身は、そんなよろこびなど、味わえる余裕もなかった。妻子に与えた深刻な嘆きは、その百倍千倍もの深傷（ふかで） となって、その後も、道ばたの童女や似た人を見ても、彼の心はすぐ傷（いた） んだ。
いかに彼がその傷魂のうずきに悩み、今もなお、惨心の影を肉体から別離しきれないでいる人か、それは、今夜の彼を見てもわかる。もう、人も通らない都の闇を、彼は一体、何をうろうろしているのか。
父の足で、縁から蹴落とされた幼い者の悲痛な絶叫は、その子の父が来てみれば、二十年後の今も、消えてはいない。そこの家が焼け、土が焼け、秋草の茂りとなっても、一度、地底に沁（し） み入った声は、父の影を見て、啾々（しゅうしゅう） と今も啼きすだいて止まなかった。
それは、彼の痩（や） せた影を吹き削（けず） り、心をふるえ哭（な） かしめた。決してただの虫の音といえるものではない。二十年前の幼いたましいの悲鳴の雨である。
「・・・・若かった。・・・・ああなんであのような行為が、正しい求道とか、一筋な道心などといえるものか。若い父の感傷に過ぎない。・・・・今となれば恥かしいことだ。狂気沙汰（ざた） だ。・・・・さてもその後は、どうして暮しているやら？」
彼は、無意識の人のように、ある家の籬（まがき） を、巡り歩いていた。
父の彼が世に捨てた娘は、その後、冷泉殿（れいぜいどの） の家従に養われ、数年前に、播磨（はりま） のなにがしという絵師に嫁（とつ） いでいると、さる人から聞いていた。
我をも忘れた姿で、いま、彼がさしのぞいている籬（まがき） の内こそ、その絵師の家なのであった。
萩（はぎ） 、すすきを透（とお） して、灯影（ほかげ） が見える。貧しいとも見えぬが、母屋（もや） 下屋（しもや） などもうかがわれる小世帯であった。良人であろう、若い男の声がする。妻であろう、やさしい女の声も聞こえる。いかにも、むつまじげである。橙色（だいだいいろ） の灯影は夫婦仲のよさを証（あか） し立てている。
「おお、幸福そうな・・・・」
彼は、頬（ほお） をくだる涙に、顔じゅうを濡れ紙のようにした。人知れぬ年来の心がかりも、まずは、ほっとした気持だった。そして 「よそながら、姿でも ── 影なりとも見たいものだ」 と籬の外に立ちしびれていた。だが、やがて戸は閉（た） てられてしまい、屋の内は、平和な眠りにはいったらしい。
「名乗らぬまでも、訪（おとず） れて、一夜の宿を乞（こ） うてにようか、柴折（しおり） を叩（たた） けば、紙燭をともして、今の女房が、顔を見せるであろうに」
かれは、迷いに迷った。だが、
「いや、待て」
と思い直したらしく、あわててそこから立ち去った。
去ること数十歩のうちに、彼は、あきらかな自分に返っていた。そして愕然（がくぜん） と、今夜の自分を疑った。いや、自分にあいそをつかして、さめざめとひとり泣いた。
「── 会えた義理か。足蹴にして、子を、捨て去った父が、その子へ」
大きく吐息をついて、秋の夜空へ、つぶやいた。
「おろかよ。何しに自分はここへ来たのか。亡者のように彷徨（さまよ） うたのか。・・・・もし今夜のような自分であることを、天野の尼院にある昔の妻が知ったなら、何ゆえ、妻に黒髪を切らさせ給えると恨むであろう。また、天龍で別れた西住がいたなら、この西行の表裏と欺瞞（ぎまん） をさげすみ嘲（わら） うにちがいない。ああ恥かしい。・・・・まだまだ、西住を叱（しか） れるような自分ではなかったのだ。おそらくは、人知れず、死ぬまで、こうした自分なのであろう。── あわれ浅ましい、似非（えせ） 出家（しゅっけ） よ」