これまで順調に進んで来た明るい光源氏の運命に、突然暗い翳（かげ） りが生じ、思いがけない人生の落とし穴に投げ込まれる。光源氏もすでに二十六歳になっている。異母兄である朱雀（すざく） 帝の最愛の朧月夜（おぼろづきよ） の尚侍（ないしのかみ） との密通現場が、朧月夜の父右大臣に押えられた事件から、源氏の身辺は不穏になってくる。政権も移って、源氏の舅（しゅうと） で後見者である左大臣家の勢力が落ち、源氏を憎む右大臣家がみるみる権力を握ってしまう。それまで源氏に追従（ついしょう） していた人々も右大臣や弘徽殿（こきでん） の大后（おおきさき） を怖れて、源氏に背を向けてしまう。右大臣側は、朧月夜との不倫を利用して、源氏が任されている東宮（実は源氏と藤壺の子） を帝位につけようと、朱雀帝に謀反をたくらんでいるという大罪にフレームアップしようと企む。源氏は官位を剥奪される。次に待つのは流罪である。それを察して、源氏はそんな恥をみるより、自分から進んで都落ちしようと、須磨へ落ちて行く。これは日本の物語にある貴種流離譚（きしゅりゅうりたん）のパターンである。源氏が自分から流謫（るたく） していくというのは、そうすることによって、東宮の安全を守るという、源氏の意志が込められていたのだ。前に藤壺が、自分の出家によって、東宮と、あわせて源氏の身を守ろうとしたのと同じ考えである。
出発前、源氏は愛する女たちと別れを惜しむ。紫の上には全財産を与え、二条の院の女房たちも預けていく。
別れに泣き崩れる紫の上を残し、三月下旬わずかばかりの供を連れて出発する。須磨の閑居のわびしさは、想像以上で、訪ねる人もない。京からの女君たちの便りだけが唯一の慰めだが、それも日数がかかる。
文字通り島流しにあったようなわびしい月日が過ぎていく。
須磨に近い明石には、明石の入道という変わり者が住んでいた。もとは都の人で、父は大臣まで上り、父方の叔父の娘が、あの桐壺の更衣という関係だった。つまり、桐壺の更衣従兄弟にあたることになる。
性質が非常に狷介（けんかい） で偏屈 なので、都では暮しにくく、地方の受領（ずりょう） になって赴いたまま、もう都には帰らず、明石に住みついてしまったのである。娘が一人いたが、入道はこの娘だけは田舎で朽ちさせるにはしのびず、何とかして都の高貴の人と結婚させたいと望んでいた。そこへ源氏が流謫してきたので、これこそ前世の因縁だと喜び、源氏と娘を逢わせたいと考えていた。
須磨のわび住いもいつのまにか一年をすごし、源氏は二十七歳になっていた。
三月のはじめ、突然須磨に暴風雨が訪れ、源氏の住居は、大被害を蒙り、その上雷まで落ち、命さえ危険にさらされる。