日清戦争の前、権兵衛がやった最大の仕事は、海軍省の老朽、無能幹部の大量首切りだった。
「大整理をして有能者をそれぞれの重職につける以外にいくさ（・・・） に勝つ道はありません」
と、西郷従道に献言した。
そのころの海軍の将官や佐官はひどい連中が多く、薩摩の海軍といわれるように藩の維新における功績により、単に薩摩人であるというだけで将官や佐官の階級をもらっている者が多く、その連中は軍艦の運用どころか構造も知らぬのに高給食（は） んでしかも重要な職についていたりする。
また老朽者の中には旧幕府海軍の系統の者がいる。維新早々は、新政府に海軍技術の持ち主が少なかったため彼らが重宝された一時期があったが、その後の世界の海軍の進歩についてゆけず、いまだにオランダ流の帆船の操法しか知らない将官や、その後に出現した水雷艇などの肉薄兵器についての知識を全く欠いている佐官などが多い。
権兵衛にとってはすべて上官もしくは先輩たちである。彼はこれらのリストを作った。なんと将官と佐官とをあわせて九十六名という人数にのぼった。それを主管大臣の西郷従道にみせると、
「さて、山本サン」
と、さすが大腹（たいふく） なこの男も、たじろいだ。なるほどこの連中は技能こそないかもしれないが、維新草創の功労者であることはまちがいない。
「功労者は、勲章をやればいいのです。実務につけると、百害を生じます」
と、権兵衛はゆずらない。権兵衛の計画では、これらが去ったあとの空白に、正規の兵学校教育を受けた若い士官を充当し、実力海軍をつくりあげるつもりだった。
「恨まれますぞ」
「むろん彼らは恨むでしょう。しかし国家がつぶれてしまえば、なにもかもしまいせす」
西郷は、ゆるした。
権兵衛は、この首切り仕事を西郷には押しつけず、みずからやった。該当者を海軍省の副官室に呼び、彼みずから宣告した。このとき権兵衛は一大佐であったにすぎない。
とくに薩摩出身の先輩はうるさく、
「小僧（にせ） 、おはん、僭上（せんじょう） 越権ではないか。一大佐の身で中将少将の首を切ってよいのか。国家の秩序もなにもあったものではない」
と、卓をたたいて怒号する者もあったが、権兵衛は屈しなかった。懐中に短刀を忍ばせ、たださえ凄味（すごみ） にある目つきを、豹（ひょう） のように光らせて容赦なく宣告した。 「薩の海軍」 は、薩人の山本権兵衛の手で事実上葬られたといっていいであろう。
後年、ロシアのバルチック艦隊が東洋に回航されるにさいし、艦隊幹部のなかには、風帆船の操法しか知らない老朽士官が多かったといわれているが、日本海軍はすでに日清戦争の直前、明治二十六年にそれらは一掃されてしまっていた。