なぜか、その日の夕ごろから、平家方では、動揺を見せていた。
昼間、陣中へ捕えて来た草刈（くさかり） たちが訴えたと言うのである。
百姓たちの証言を綜合すると。
（木曾方は密々に、こよいの夜襲を計っている。木立林の祠（ほこら） に火をかけ、それが合図になるだろう。すでに、昨日以来、平岡野の陣地から山寄りの方角へ、数千騎の兵馬が、続々出て行った。おそらく、平栗（ひらぐり） などの山地を経て、平家方の後ろへまわって出る支度かと思われる）
というのである。
動揺はそれからのことらしい。
しきりに、物見が出入りし、伝令が駈け交（か） ううちに、形相のすごい夜空となった。今にも大雨を持って来そうな風模様である。そくそくと、人の心にも、不吉が暗示され、妄想（もうそう） が呼び起こされた。
「たしかに、木曾のz\陣気は、常ではない。一点の火気も見せず、余りに鳴りをひそめておる」
「やがて来そうな暴風雨（あらし） を見越し、暗夜に乗じて襲（よ） せんとするのであろう」
「もし、三方を衝（つ） かれたら、われわれの後ろには、大河、小河、無数の沼地ばかりだし」
「季節も、雨期」
こうした意見が、帷幕（いばく） の意見としてでなく、陣地の随所で、思い思いに、言い交された。
すぐ、帷幕のうちからは、確たる方針が下されでもしていたら、あるいはこの不安も、最小限に止められたことであろう。しかし、維盛以下、諸将の考えも、そこでは一致せず、また速断を欠いていた。
とこうするまに、士卒の心理は、恐怖的な妄言（もうげんく） にくるまれ、怯気（きょうき） が怯気を呼ぶ状態になってしまった。そして下からのそれが、逆に、帷幕の首脳たちを、狼狽（ろうばい） させた。
「万が一にも、ここで敗れたら、全軍、おぼれ死のうもしれぬ。自体、大河や沼を後ろにもっての長陣も大きな不利。ともあれ、敵の襲（よ） せぬまに、ここは退（ひ） いて、安宅ノ関に拠（よ） ろうぞ。安宅へ退こう」
維盛の主張だった。最初からの彼の主張である。今はそれに反対を唱える者もいない。それほど、人馬の海は、揺れ騒ぎ、軍自体が、浮き腰になっていた。
「── 安宅へ」
と、令が下ると、われがちに、やみ夜をなだれはじめた。幻覚の敵に追われ出したのである。そのころもう雨は降り出していて、夜はいよいよ暗かった。秩序も令も行われず、ただ、先ばかり急ぎあった。
この対陣を知るやな、義仲は、機を外（はず） さず、自軍を進めたものなのである。彼に夜襲の計画などはなく、単に細作（さいさく） (まわし者) を用いて、流言を行ったまでのことだった。それが、あくも奇功を奏そうとは、義仲自身すら意外なほどあったろう。
しかし、平家方の殿軍（しんがり） は、木曾勢の前進に、
「果たして」
とばかり、驚きを新たにして、これを中軍に伝令したので、維盛以下、幕僚もおおいにあわて、もちろん、全軍の部将や卒は、いよいよ、逃げるに急な混乱ぶりを捲き起こした。
そのため、手取川の支流幾すじもの川や沼に足を取られて、われからおぼれ死す者千余人と古記にはいわれている。
かつての富士川、墨俣（すのまた） 、宇治川などの例を見ても、当時の軍行動にとって、河川や沼ほど、難渋（なんじゅう） なものはなかったであろうと思われる。
そしてまた、河川そのものの相（すがた） も、決して今日のようではなかった。手取川は、後の名である。むかしは、比楽川（ひらがわ） といわれていた。そのほか、石川郡の山奥から加賀平野へ落ちて来る水は、気ままに、暴れ放題に、大小幾つもの河川をえがいて、押し流れていたにちがいない。
そういう地的条件のうえで、そのころの安宅は、北陸道での、唯一の関所であり、駅路（うまやじ） の町であった。ほかに旅人の通路とてなかったのである。── で、平家の残軍三万余騎は、西へ渡りこえて、船橋を断ち、河舟を引き揚げ、安宅、篠原（しのはら） にわたる地帯に楯（たて） をつらねて、蝸牛（かたつむり） のような守りを堅くとってしまった。