布引滝への登り口を左折し、妙見堂から頂上へ出る道をたどると、所々に削平地があり、断続して苔むした積石の跡があるところが城址である。
築造年代ははっきりしないが、赤松円心以前であることは文献に見えている。
しかしその後なんの記録もなく、再び現れるのは弘治二年 (1556) である。当時は三好長慶の家臣松永弾正久秀がこの城におり、長慶を招いて、観世太夫の猿楽を催し、千句の連歌を詠んでいることが 『応仁広記』 に見えている。
久秀は学問も相当なもので 『孔安国伝』 などをここで講じている。このように戦国武士の中にも文事に秀でていた者がいたことを伝えているのは、この城として注意されてよい。
のち久秀は三好三人衆との間が不和となり、永禄九年 (1566) 二月泉州堺で戦い、滝山城からも援兵を出したが、その留守に乗じ三人衆は、淡路十人衆と組んで、この城を襲ったが落ちなかった。さらに六月中ごろ足利義昭の命を受けて篠原長房が、城を攻め落としてここにいた。永禄十一年 (1568) 十一月織田信長が摂津に進んで、滝山城に迫ろうとしてので、長房は敵し難いとみて城を捨てて阿波に落ち、城は信長の手に帰した。
それ以後、滝山城は記録に現れないから永久に雑草に埋もれたのであろう。
一時城主であった久秀は信長にそむいて大和の信貴山で滅んだ。
滝山城は山すその滝寺も利用されていたのではないかと思われる。