兄勝比古（かつひこ） の海軍兵学校入学と同時に、廣瀬は念願の上京を許された。
寄宿先は兄と同じ本所（ほんじょ） の山縣（やまがた） 家だった。山縣小太郎 (1830〜95) は竹田出身の官吏で父親の盟友だったから、父は兄弟の教育を安心して山縣に託したのであろう。
山縣の家から芝の攻玉社（こうぎょくしゃ） (東京の三大私塾の一つ) に通ったが、あるとき、山縣から教育者の嘉納（かのう） 治五郎（じごろう） (1860〜1938) を紹介され、講道館に入門した。講道館の草創期であり、この時より柔道漬けの生活が始まった。この意味で、廣瀬は嘉納治五郎の高弟として、日本柔道の基礎を築いた人といってもよい。廣瀬が 「柔道家」 といわれるゆえんはこのにある。
のちに 「柔道バカ」 と異名を取るほど柔道に熱中した廣瀬は、上司の八代（やしろ） 六郎（ろくろう） (1860〜1930) や友人財部（たからべ） 彪（たけし） (1867〜1949) とともに、海軍兵学校の正課に柔道を取り入れるように働きかけ、ついにそれを実現している。
兵学校を卒業してからも、乗艦勤務の休暇には講道館に通い詰め、めきめきと腕をあげた。
あるとき、講道館恒例の紅白試合が行われ、並みいる強豪をたてつづけに五人破り、嘉納艦長から異例にも、即日、二段の免許を与えられた。
このことがよほど嬉しかったのだろう。廣瀬は試合の模様を父親宛の手紙にくわしく伝えている。そして末尾に、 「愉絶（ゆぜつ） 快絶（かいぜつ） 、講道館万歳（ばんざい） 、嘉納先生万歳」 としたためた。