こうして、一ノ谷、福原の戦いもよそに、頼盛はなに不自由なく、またなすこともない日を送っていたが、国府津は、海道の通路である。のべつ、都の使い、西上の将士が通る。── だが、彼の居館は、横目で見られ、そこへ訪ね寄る人もほとんどなかった。
なんとなく、彼の居心地もよくなかったことだろう。他国の客、他人の中を、感じないでいられない。
そこで、この五月に入って、彼は鎌倉へ来て、
「都も、平穏になった様子。帰洛（きらく） して、何かのおために尽くしたいと思うのですが」
と、頼朝へ諮（はか） ってみた。
「それはいい。お望みとならば、いつでも、御帰洛あるがよかろう」
頼朝は、引き止めなかった。
もう酬（むく） うべき情誼（じょうぎ） も尽くした。収むべき効果もあげた。頼朝とはそういう頭脳の人である。効果のないことは決してしない。
なおまた、頼盛が帰るさいに、頼朝は、官没となっている大納言家の旧領地を、
「それも、報恩の一端、御返上申しあげよう」
と、約束した。
池家の旧領は、全国飛び飛びに、三十四箇所もあった。そのすべてを、彼に返してやり、同時に、勅勘（ちょっかん） を解いて、元の大納言の待遇に復していただきたいという旨も、あわせて頼朝から、院へ奏請の手続きをとった。
まことに、至れり尽くせりである。頼朝の聞こえはよかった。けれどこの夏、鎌倉方のこうした庇護（ひご） やら温情を身に重いばかり受けて、元の都へ帰って来た頼盛は、いっこう、浮かない容子だった。
彼の帰洛をみた都の人びとは、何かわり切れない表情だったらしい。あらわな悪評の立てないが、蔭では “返り帰りの亜相（あしょう） ” などと綽名（あだな） したりした。
亜相とは、大納言の別称である。寝返りやら、鎌倉帰りやら、という諷言（ふうげん） から出たのであろう。とにかく、都は彼を冷淡に迎えた。
その底冷たさは頼盛自身の心にもある影といえなくはない。 「── 一門を裏切った行為」 の非難は、たれが責めないでも、彼自身がつねに己を責めている。頼朝の厚遇が厚ければ厚いほど、彼の自責は重苦しい。
「都も以前の都ではなかった。帰ってみれば、ここの住み心地も・・・・」
と、おそらく、頼盛も今は覚（さと） っていることであろう。
── と、友時の聞き書は、以上の月日のところで終わっており、もちろん、それから先のことについては記述がない。
だが、事のついでに、大納言頼盛の以後の生涯をここで言ってしまうならば ── 。
彼は、頼朝のとりなしで、せっかく復任した大納言の職も、同年十二月には、辞任している。そして、隠居の身になってしまった。
次いで、翌年五月には、出家して、法名を重蓮と称（とな） え、まもなく五十五歳で死んだのである。
鎌倉からは、水尾谷（やおのや） 藤七（とうしち） が、頼朝の代参として、香華をあげに来たが、平家はもちろんことごとく亡び去った後だし、その会葬はわびしいものであった。彼のわずか二、三年の余生も、結局は、少しも愉（たの） しむ日のないものだったろう。そして、死んで初めて、その居心地を得えたことかも知れなかった。