仁安（にんあん） 三年 (1168) 後白河院の代七皇子憲仁（のりひと） 親王が即位して、高倉天皇となられた。母は清盛の妻時子（ときこ） の妹に当る建春門院滋子（けんしゅんもんいんしげこ） であった。この即位に先立って、清盛が大病を得て出家するという事態になったために、院政の混乱を恐れた後白河院は清盛が生きているうちに憲仁親王の即位を実現しようと急に思い着かれたらしい。幸い、清盛の病は回復し、出家はしたものの 「入道（にゅうどう） 大相国（だいしょうこく） 」 を称して、いっそう権勢を強めていった。高倉天王即位以降、平家にあらずんば人に非ずといった一門の繁栄であったが、清盛はさらに我が娘を後宮（こうきゅう） に入れようと計った。承安（じょうあん） 元年 (1171) 、妻時子がなした徳子（とくこ） (のちの建礼門院（けんれいもんいん） ) の入内がなる。この時徳子は十七歳であった。高倉天王はわずか十一歳の少年であったから、すぐさま正常な夫婦関係が持てたとも思われず、ようやく徳子が言仁（ときひと） 親王 (後の安徳（あんとく） 天皇) の懐妊をみたのは、七年後のことであった。
その頃から、天皇は姉さん女房の徳子から他の女に目を移すようになる。徳子に仕えていた女官の召使に葵（あおい） の前という少女がいた。思いがけなくお側（そば） に使えることがあって以来、天皇はしばしば葵の前を召し出されたが、やがてそれが人々の噂に上るようになると、世間体を憚られた天皇は心ならずも葵の前を遠ざけられて近臣の大納言（だいなごん） 藤原隆房（たかふさ） (妻は清盛の娘) を通じ、平兼盛（かねもり） の古歌を葵の前に賜った。

隠していても私の恋心は顔色に出てしまいました。物思いでもしているのですかと人が問いかけるほどに。この歌に身分違いの恋に悩まれる天皇の胸中を察した葵の前は、宮中を出て実家に戻ったが、数日床に就いたいるうちにはかなく死んでしまった。
恋慕の悲しみに沈み込んでおられる天皇を心配した徳子は、宮中一の美人、琴の名手として聞こえていた小督（こごう） を天子にすすめた。小督は中納言藤原成範（しげのり） の娘で、平治（へいじ） の乱で殺された 「黒衣（こくえ） の宰相」 信西（しんぜい） の孫に当る。若い天皇は、たちまち小督に夢中になられた。
ところが、小督には恋人がいたのである。誰あろう、大納言藤原隆房で、隆房が少将の頃三年想い続けて、ついに思いを遂（と） げたのが小督であった。しかし、ひとたび天皇に召された小督は隆房と言葉を交わすことさえ拒否した。こうしたかたくなさ、非情さは、祖父信西ゆずりであろうか。隆房は人を介して小督に気持を伝える事さえ出来ない。思い余って小督にいる御簾（みす） の中に歌を詠んで投げ入れてみたが、それさえ手にも取らずに外へ投げ出される始末である。
この事態を聞き及んだ清盛は、小督に二人の婿（むこ） を奪われたと激怒した。高倉天皇も藤原隆房も、清盛には娘婿に当るのだ。清盛の怒りを伝え聞いた小督は、わが身の事はともかく、天皇に御迷惑をおかけしてはと案じて、ある暮れ方、ひそかに宮中を脱け出して、いずこへともなく身を隠してしまった。