おおむね十歳から十七歳の多感な時期を、廣瀬は岐阜県の高山で過ごした。高山は廣瀬にとって第二の故郷である。
生まれ故郷の竹田にある岡城は、別名臥牛（がぎゅう） 城と呼ばれていた。廣瀬にとっての岡城は、町のシンボルのみならず、サムライの子としての心の拠り所だった。
転居先の高山には、偶然にも臥牛山という小高い山があったから、廣瀬はこの山を岡城と思い定め、自己修養の場とした。
地元の煥章（かんしょう） 学校に学んだ廣瀬は、成績優秀であったため特級し、十五歳のときそもまま代用教員として迎えられた。廣瀬は子供好きであったから、廣瀬の周りにはいつも子供たちがまとわりついていたと言う。
海軍に入ってからの廣瀬は、なぜか女嫌いで有名だが、高山時代には人並みに初恋も経験しているようだ。料亭 「洲崎（すさき） 」 筋のしとやかなお嬢さんに、密かに恋心を抱いていたというが、確かな事はわからない。