広瀬武夫は生涯独身だった。上陸すると柔道ばかりしていて、呉や佐世保あたりで芸者遊びをしたというような形跡も無い。ひょうっとすると、三十七年の生涯でついに婦人を知ることはなかったようでもある。
「広瀬は明るくて豪快な男で、しかも部下が可愛くてしかたがないという男でしたから、彼が乗る艦はみな晴れやかな空気になり、成績もおおいにあがるというふうでした」
と、彼と兵学校の同期生の竹下勇次郎 （のち勇・大将） はそのように広瀬を語っている。かれ自身、その信条から婦人にちかづかなかったにせよ、婦人から見ればよほど好感の持てる男だったらしい。
彼の露都駐在時代、彼の出入りした社交界で彼ほど婦人たちからさわだれた日本人もいない。大げさにいえば、明治後今日にいたるまで、広瀬ほどヨーロッパ婦人のあいだでいわゆるもてた男もいなかったかもしれない。
とくに広瀬を一家のもっとも親しい友人として遇してくれた海軍少将コヴァレフスキー伯爵の娘でアリアズナ・ウラジーミロヴァナという美少女が広瀬をはげしく慕った。アリアズナは文学的教養の高い娘で、その知性と美しさはロシア海軍の独身士官のあいだでの評判であったが、広瀬の五年ちかい滞在のあいだ、やがて彼女は広瀬以外の男性を考えることができなくなった。
広瀬もついにはただならぬ気持ちになったことは、彼女との往復書簡でもうかがえる。彼女がロシア語で詩を書いて送り、広瀬がそれに対し、漢詩で返事をし、ロシア語の訳をつけたりした。この万葉の相聞歌のような往復書簡を比較文学の対象として研究されたのが前東京大学教授島田謹二氏で、 「ロシアにおける広瀬武夫」 という名著がある。
アリアズナとの恋は、広瀬の帰国で終わったが、広瀬は閉塞船報国丸で敵地におもむく日、その前昼、その船長室で彼女に対する最後の手紙を書いている。手紙は通信艇にさえわたせば、中立国を通していずれはペテルブルグへ届くのである。
さらに露都での広瀬は、フォン・パヴロフ博士とその家族から愛されていたが、そのパヴロフ家に出入りしていたポリス・ヴィルキツキーという海軍兵学校を卒業したばかりの少尉候補生がいた。ヴィルキツキーは広瀬を兄のように慕い、
「タケニイサン」
という日本語をつかってつきまとっていたが、広瀬がｙｔりよいよ帰国するというとき、パヴロフ家の送別会の席上で、彼はこの青年と以下のような約束をした。 「ロシアと日本の上に、将来砲火を交えるような不幸がくるかもしれない。
そのときは互いの祖国の為に全力をあげて戦いぬきたいものだが、しかし我々の友情は友情として生涯大事にしたい。戦争になっても互いの居場所をなんとか知らせあおう」
というものであった。