文久二 (1862) 年三月、重武は小河らと共に脱藩出国。薩摩藩邸で同志と合流した。
が、その翌月に寺田屋事件が起こる。有馬新七ら薩摩藩士が、島津久光の命で襲撃され、薩摩藩の勤皇派は一気に勢いを失った。重武はやむなく、伏見や京を転々としながら態勢の挽回を待ったが、ついに国元から帰国命令を受け、処分を受けた。廣瀬が生まれた年はまた、重武が三年ぶりに罪を許され、広瀬家の家運が上り始めた年でもあった。
岡藩における廣瀬家の家格は決して高くなかった。中川家の入封後に召し抱えられた為に、先手足軽という処遇だったという。しかし、、家系そのものｊは、南北朝時代に宮方に立って奮戦した肥後 (熊本) ・菊池氏に連なる。足利氏に最後まで抗戦し、南朝に忠節を尽くした武士として、歴史に名をとどめる一族である。
「お前たちの父上はのう、御一新の前にゃ、菊池の子孫らしゅう、見事な働きをしたもんじゃ」 廣瀬をはじめとする子供たちに、広瀬家の系譜と誇りを教えたのは専ら、祖母の智満子だった。
父、重武は大坂裁判所取締役に任じられて以来、関東地方や中部地方の裁判所で転任を繰り返していた。神奈川から松本、そして飛騨・高山へと三回も転勤した年もある。その間、広瀬家の人々は廣瀬の生家、豊後直入郡竹田町 (現大分県竹田市) の茶店の辻に住み続けた。智満子が郷里を離れる事を嫌がったからだという。
明治八年四月、廣瀬の母、登久子が病で死去。三十三歳だった。廣瀬はまだ六歳である。父は遠く任地にあり、幼くして母を失った。廣瀬が教育の大半を、智満子に受けた理由はこうした事情による。
智満子は典型的な武士の妻だったという、立ち居振る舞いは厳格を極め、竹田の武家では娘が年頃になると、しつけ教育のために競って智満子に預けた。智満子は彼女等に行儀作法と裁縫を教えた。
武家の男児である廣瀬にも厳しく、とりわけ立ち居振る舞いにうるさかった。少しでも行儀が悪いと、竹の物差しで容赦なく手を叩いた。後に 「海のサムライ」 と称される廣瀬の性格と立ち居振る舞いは、この祖母によって涵養されたのである。
単身赴任を続ける父、重武の事情にも触れておきたい。明治維新と共に家名を復興し、官職に就いたのは、幕末からの命がけの尊王運動が評価されたからである。佐幕派のように没落士族の悲哀を味わう事はなかった。
しかし、薩長土肥と言われる倒幕の主流に比べれば、岡藩の働きはほとんどないに等しい。岡藩尊皇派の首領とも言うべき小河一敏にしても、一時は政府参与に登用されたが、その後大久保利通と衝突した事もあって、不遇のまま終わった。こうした事情の中で重武が淡々と、司法畑で職務に精励したのは、王政復古の実現に満足して多量の出世欲などがなかったためだと言われる。これこそ菊池一族の本領かもしれない。