廣瀬家は、楠木（くすのき） 正成（まさしげ） から 「後醍醐天皇に一命を賭した忠臣第一の人」 と称賛された肥後の菊池武時（たけとき） の流れを汲む家系であった。廣瀬武夫の父廣瀬重武 (1836〜1901) は小河（おごう） 一敏（かずとし） (1813〜86) をリーダーとする勤皇倒幕派の有力メンバーであった。元来中川家は外様大名であったが、十一代藩主の中川久教（ひさより） は養子で大老井伊（いい） 直弼（なおすけ） の実兄、十二代藩主久昭も養子で藤堂（とうどう） 高虎（たかとら） を藩祖とする伊勢の津藩主藤堂高兌（たかさわ） の次男であった。いずれも譜代の大名家からの養子であり、藩主及び藩の首脳部は親幕派であった。従って小河一敏や廣瀬重武の言動は弾圧され、幽閉・蟄居（ちっきょ） させられたこともあった。しかし明治維新と共に活躍の舞台に躍り出、小河一敏は慶応四年に堺県 (現大阪府) 知事になり、後には宮内省御用掛（ごようがかり） を命じられた。
廣瀬重武は小河が知事になった堺県の小参事（しょうさんじ） 、武田に帰って岡県の権大属（ごんのだいぞく） 、そして熊谷（くまがや） ・足柄（あしがら） ・韮山（にらやま） ・神奈川・松本で判事を務めた。岐阜県高山では裁判所長に任ぜられ、信念を曲げず、豊でなくとも凛（りん） として生きた父親の背は、無言のうちに武夫を教育してくれた。
母は登久子（とくこ） であるが、武夫がまだ満七歳にならない明治八年 (1875) 四月十八日に病で亡くなった。享年三十三歳四ヶ月の若さの死であった。従って彼は祖母の智満子（ちまこ） に育てられた。智満子は典型的な武士の妻で、彼女の躾（しつけ） 教育は厳格で、武田の士族の家では娘が年頃になると智満子に預けて礼儀作法や裁縫を学ばせたほどである。
廣瀬武夫は、危地一族の血を引くサムライとして徹底的に教育してくれた祖母智満子を敬愛すること尋常ではなく、明治二十九年 (1986) 五月には祖母傘寿（さんじゅ） (八十歳) の祝いに褌一つの写真を撮って海軍大尉正装の写真と共に贈った。
褌一つの写真の裏面には、 「吾（われ） ヲ生ムハ父母、吾ヲ育（はぐく） ムは祖母。祖母八十ノ賀（が） 、特ニ赤條々（せきじょうじょう） 、五尺六寸ノ一男児ヲ写出シテ膝下（しっか） ノ一笑ニ供ス。頑孫（がんそん） 武夫、明治二十九年五月　満二十八年」 と記した。 「鋼（はがね） のように全身筋肉の自分の体は、お祖母様のお陰です」 との感謝の言葉であった。
正装の写真の裏面には 「祖母公八十ノ寿宴（じゅえん） 　頑孫武夫外ニ在リ、茲（ここ） ニ撮影ヲ呈シ、身自ラ奉祝スルニ代フ。明治二十九年五月写ス」 と記した。祖母智満子は明治三十年 (1897) 十二月十一日、享年八十一歳で亡くなったが、武夫は十日十夜泣き明かし悲嘆にくれた。