『源平盛衰記』 には次の様な逸話も採られている。十二歳で左衛門尉（さえもんのじょう） 、十八歳で四位の兵衛佐になるという清盛の異常な昇進を、人々がいぶかった。こうした例は華族にしかなかったからであるが、人々の噂を聞かれた鳥羽院（とばいん） は 「清盛が華族であることは人に劣らない」 と言われたという。清盛が白河院の御子ならば、鳥羽院には叔父に当るわけで、鳥羽院もそのことをご存じであったという。また、天智（てんじ） 天皇が懐妊した寵妃（ちょうひ） を藤原鎌足（かまたり） に賜い、 「女子が生まれたら朕の子に、男子なら汝（なんじ） の子にせよ」 と言われた。それで生まれた子が鎌足の長男定惠（じょうえ） でるという逸話も紹介し、清盛のことはこの先例に違（たが） わぬと強調している。その一方で、 『源平盛衰記』 は 「ある説にいはく」 として、忠盛が祇園女御にお仕えしていた女房のもとに密かに通っていたとも伝えている。
平治（へいじ） の乱 (1195) に勝利した清盛は翌年に参議（さんぎ） となり、武士として初めて公卿（くぎょう） に列する。さらに仁安（にんあん） 二年 (1167) 、ついに太政大臣（だじょうだいじん） となって位人臣（くらいじんしん） をきわめる。この異例の出世は、人に優れた清盛の才能はもちろんだが、忠盛・清盛父子に対する白河院の格別な配慮があったればこそであり、それが当時の人々に清盛落胤説をかきたてたことは充分に考えられる。
しかし、史料を付き合せてみると、祇園女御は忠盛より二十歳以上も年上であったらしい。これではいくら何でもと、明治になって歴史学者から清盛落胤説に異論が出た。やはり単なる伝説かと思われるところへ、滋賀県多賀町の胡宮（このみや） 神社から御落胤説を証拠立てる文書が発見されたのである。その 「仏舎利相承（ぶっしゃりそうじょう）系図」 によれば、祇園女御には妹があって、白河院はこれにも手を付けられたらしい。清盛はこの妹が産んだ御落胤だというのである。
おそらく姉妹の間に白河院をめぐって葛藤（かっとう） もあったのだろう。妹の方は懐妊の後、忠盛に下された。生まれた子は男子だったので忠盛の長男とされたが、保安（ほうあん） 元年 (1120) 、清盛が三歳の時母が急死したので、姉の祇園女御が引き取って養育したのであろう。こう考えれば、 『源平盛衰記』 の 「ある説」 に見えている 「祇園女御に使えていた女房」 が祇園女御の妹であってもおかしくない。これなら清盛の実父は忠盛ということになる。おそらく、このあたりに真実があるのであろう。実母が早く亡くなって、清盛が祇園女御に育てられたことから、清盛の母を祇園女御とする伝説が生み出され、清盛落胤説が生まれたことになる。