道中も、輿舁きどもに向かって腹を立てて、怒ることはひと通りではない。さまざまの悪事をした。ある時には、 「おのれらも聞け。流罪に処せられると、皆嘆くが、為朝にとっては悦びよ。帝王のようにもれなされて輿に乗り、兵士が付き添い、宿毎に食事などが準備されて配所へ送られること、面目をほどここすことではないか。これ以上の栄華があろうか」 と、上機嫌でたわぶれる時があるかと思えば、ある時にはまた、 「ああ、朝威とは恐ろしいものよ。為朝ほどの者が、まるで凡夫のように生け捕りにされてしまう。もうなったらもう何も出来まい、不自由な体になってしまったのだからと思っているのだろう。しかし、ちょっとゆすってみるだけで、これほどの輿は問題にならない」 と、少しゆすったところ、あれほどきつく打ち付けてあった籠輿が、みしみし音を立てて砕け破れなどしたので、輿舁どもは恐れおののいて逃げ去る時もあった。また、ある時は、 「えいや」 と叫んで輿に力を入れて座り込んだので、少しも動かすことの出来ないこともあった。 「えいや」 とかけ声かけて、体をふるわせて、二十人余りの輿舁どもが、いっぺんに振り倒される時もあった。また、 「腕の筋を抜かれたからといって、為朝はちっともこたえていない。弓を引く勢いが少しは弱くなっても、それだけ矢束を長く引けば、物を射貫くことはかえって強くなるというものよ」 などさんざんに勝手なことを言い放ちながら、街道を下った。伊豆に到着しても、横柄な態度は相変わらずで、思う存分勝手放題に振舞ったので、伊豆国大介狩野工藤茂光が引き受け人であったが、どうにももてあつかいに困り、どうしたものか困り果てていた。