広瀬武夫は、生涯独身だった。上陸すると柔道ばかりしていて、呉（くれ） や佐世保辺りで芸者遊びをしたといういうような形跡もない。ひょっとすると、三十七年の生涯でついに婦人を知ることはなかったようである。
「広瀬は明るくて豪快な男で、しかも部下が可愛くてしかたがないとう男でしたから、彼が乗る艦はみな晴れやかな空気になり、成績も大いにあがるというふうでした」
と、彼と兵学校の同期生の竹下勇次郎 (のち勇・大将) はそのように広瀬を語っている。彼自身、その信条から婦人たちに近づかなかったにせよ、婦人から見ればよほど好感の持てる男だったらしい。
彼の露都駐在時代、彼の出入りした社交界で彼ほど婦人たちから騒がれた日本人もいない。大げさに言えば、明治後今日に至るまで、広瀬ほどヨーロッパ婦人の間でいわゆるもてた男もいないかも知れない。
とくに広瀬を一家のもっとも親しい友人として遇してくれた海軍少将コヴァレフスキー伯爵の娘でアリアズナ・コヴァレフスカヤという美少女が広瀬をはげしく慕った。
アリアズナは文学的教養の高い娘で、その知性と美しさはロシア海軍の独身士官のあいだでの評判であったが、広瀬の五年近い滞在の間、やがて彼女は広瀬以外の男性を考える事が出来なくなった。広瀬もついにはただならぬ気持になったことは、彼女との往復書簡でもうかがえる。彼女がロシア語で詩を書いて送り、広瀬がそれに対し、漢詩で返事をし、ロシア語の訳をつけたりした。この万葉の相聞歌（そうもんか） のような往復書簡を比較文学の対象として研究されたのが前東京大学教授島田謹二氏で、 「ロシアにおける広瀬武夫」 という名著がある。
アリアズナとの恋は、広瀬の帰国で終わったが、広瀬は閉塞船報国丸で旅順の敵地におもむく日、その昼前、その船長室で彼女に対する最後の手紙を書いている。手紙は通信艇にさえ渡せば、中立国を通していずれはペテルブルグへ届くのである。
さらに露都での広瀬は、フォン・パヴロフ博士とその家族から愛されていたが、そのパヴロフ家に出入りしていたボリス・ヴィルキツキーという海軍兵学校を卒業したばかりの少尉候補生がいた。ヴィルキツキーは広瀬を兄の様に慕い、
「タケニイサン」
という日本語を使ってつきまとっていたが、広瀬がいよいよ帰国するというとき、パヴロフ家の送別会の席上で、彼はこの青年と以下のような約束をした。
「ロシアと日本の上に、将来砲火を交えるような不幸が来るかも知れない。その時は互いの祖国の為に全力をあげて戦い抜きたいものだが、しかしわれわれの友情は友情として生涯大事にしたい。戦争になっても互いの居場所をなんとか知らせ合おう」
というものであった。