この頃、源氏は六条に住む高貴の女性に通っていた。
この帖では素性が明かされないが、六条の御息所（みやすどころ）で源氏より七歳年上であった。先の皇太子の未亡人で、皇太子の忘れ形見の姫君がいる。
源氏はある日、六条の御息所を訪ねる途中に、五条の乳母の家へ寄る。乳母の家は五条のごみごみ小さな家の建てこんだ界隈にあった。乳母は病気が重く、頭を丸めて尼になっている。当時は病気が重くなると、出家すれば、病気が軽くなったり、死をまぬがれると信じられていた。
その日、叔母の家の外で門を開くのを待っている間に、源氏は隣家の小家の垣根に咲く白い夕顔の花に惹かれた。
その花が取り持ち、源氏はその家の女を知り通うようになる。女と寝ている壁ごしに、隣家の碓（からうす） の音や、話し声がつつ抜けに枕元に聞こえて来る。そんな経験は初めての源氏はすべてが珍しい。女は素性を明かさないまま、源氏に心身を預けきって、ついてくる。源氏もいつも覆面をしたままで名乗らずに女と逢いつづける。
八月十五日の夜、源氏は女を奪うようにして、人の住まない廃院に連れ出す。次の日初めてそこで覆面を取り、源氏は女に打ちとけるが、女はやはり名を明かさない。
その夜、女は何かに襲われるように頓死する。乳母の子で乳兄弟の腹心惟光（これみつ） が、女の死体を東山に持って行き、葬式一切を執り行う。源氏は悲嘆の余り落馬して、茫然自失のあげく、女を葬った後、病気で寝込んでしまう。女と一緒に連れて出た女房の右近を、源氏は引き取り側近く置いて使う。右近の口から、やはり女は頭の中将が話していた女と同一人物だと判明する。
夕顔の花の歌から、この女を夕顔と呼ぶ。
空蝉も夫に従って伊予に去ってしまう。
この帖の終わりに、こうしたごたごたした恋愛事件を、源氏は秘密にしておいたのだけれど、いくら帝の子といっても、知っている人まで、源氏に欠点がないようにほめるのと、話せば作り話のように受け取る人があるので、すっかり話してしまったといい、あまり慎みのないお喋りの罪は、免れたいとする作者の言葉で結ばれている。
これが帚木の冒頭の地の文と照応しているのを見ても、 「帚木」 「空蝉」 「夕顔」 の三帖は、源氏十七歳の旺盛なラブハントを書いた点で一つのまとまった筋立てになっていることが分かる。