竹田が戦火に焼けた年の十月、広瀬家の人々は重武の任地、飛騨・高山に移住した。故郷を離れたがらなかった智満子もこの時ばかりは従わざるを得なかった。智満子六十歳の時である。廣瀬は九歳にして初めて、生まれ育った故郷を離れた。
この時の旅は大阪まで船旅だった。その後は京都経由で岐阜まで向かい、そこからさらに高山まで二泊三日を要したという。陸路の移動はまだ、江戸時代と変わりはなかった。その際の逸話がある。廣瀬たち幼い子供三人は駕籠に乗せてもらったが、嬉しさのあまり騒いでいると、一台の駕籠の底が抜けた。やむなく最年長の廣瀬を歩かせたところ、辛さに泣き出し、つられて他の二人も泣き出す騒ぎになった。軍神・廣瀬武夫もまだ、ほんの子供だったのである。
一家が移住した高山で雇われ、その後三十年間も広瀬家で働いた勝（かつ） という女性の廣瀬評が残っている。
(大変涙もろい方で、大きな声で叱られるとすぐに涙ぐむ子供だった。そのくせ非常に元気で、力が強く、体格も立派で、相撲や雪滑り、雪合戦で誰にも負けなかった)
高山に移っても父・重武は忙しかった。時には幾日も帰宅しない日があったから、広瀬家の家政、特に廣瀬の教育は智満子が担っていた。
智満子が教えたのは、誠が人の道ということである。その上で八ヶ条の教えを課した。