江戸時代、商家・農家は屋号を武家は家名を重んじて子供に対しては厳しい家庭教育を行っていた。特に武家では自分の家の 「先祖」 「家系」 を大事にして 「家名」 に恥じぬ行動に命を掛けてこれを守り通すという先祖代々の遺風が強くあった。
豊後の国、岡藩は七万石と小さいながらも、武家は文武両道を尊び文化度の高い生活を営んでいた。中佐はこんな中、慶応四年 (1868) に岡藩の下級武家の二男として生を受け、厳格な父重武の教育を受けて幼年期を山紫水明の竹田で過ごしている。重武は 「廣瀬の家は菊池の子孫であり、勤皇を旗印に働き勤皇に殉じた。したがって我々も子孫も同様勤皇に終始するものである」 と、中佐の兄勝比古とともに事あるごとにこれを廣瀬家の遺風として戒めた。
重武は慶応四年 (1868) 一月三日の王政復古後は裁判官として単身で関東地方から中部地方の裁判所を転勤している。中佐の母親は中佐が七歳の時 (1875) 病死したため、実際に廣瀬家の家庭教育は祖母智満子（ちまこ） が竹田で留守を守りながら重武に意を汲んで、厳しく、温かく当ったと記録されている。
竹田は明治十年 (1877) の西南戦争で、薩軍と官軍の激戦地となり、竹田の町は廣瀬家も含み兵火で焼失した。この時重武は飛騨高山の裁判所長であったが、竹田に廣瀬家の家族を迎え帰り、祖母と中佐を含む子供たちは飛騨高山に移転することとなる。中佐の精神的、肉体的な成長に厳しくとも温かい家庭での躾（しつけ） があったことは間違いないが、さらに幼年期から少年期を過ごした竹田と高山という山・河の大自然の中で育ったことがもう一つの大きな柱であったことは想像できる。
重武が遺風として中佐に植え付けた 「菊池の子孫としての誇り」 と、 「国の為に命を賭けてでも尽くす」 という勤皇精神を、さらに強いものへと作り上げた師匠に、重武と勤皇の同志として活躍した元岡藩士の山縣（やまがた） 小太郎（こたろう） がいた。中佐は明治十五年 (1882) 十月に上京し、攻玉社（こうぎょくしゃ） に通う時に山縣に家に住んでその薫陶を受ける事になる。山縣は中佐に対し、頼山陽の 『日本外史』 を教えながら、楠木（くすのき） 正成（まさしげ） の 「七生（しちしょう） 報国（ほうこく） 」 の 「精神」 を深く強く刻み付けた。中佐はこの頃から嘉納（かのう） 治五郎（ぞごろう） が始めた講道館に通い、柔道の修行に励みながら海軍兵学校への入校を目指すのである。