家は代々徳川家の家臣で松平正綱、本田忠勝とも親戚に当る武勇の誉れ高い家柄で、丈山は天正十一年 (1583) 十月すなわち秀吉が賤岳 (シズガダケ) で柴田勝家を破った年、三河国碧海郡泉村 (現愛知県安城市) に生まれ、名は凹 (ヘコ) 、通称を嘉右衛門重之 (カエモンシゲユキ) と云った。父信定 (ノブサダ) より武人としての教育を厳しく受けると共に儒者藤原惺窩 (フジワラセイカ) について朱子学を修めた。少年時代は家康の近侍として仕え、又度重なる戦には他を凌ぐ武功をたてて有名を馳せた。
然し、慶長二十年 (1615) 丈山三十二歳の時起こった大阪夏の陣は丈山の生涯の方向をも変えるころとなった。すなわち、徳川方苦戦の中で功にはやった丈山の行動は厳しい軍令に触れ家康から謹慎処分に付された。
彼はこの時を機に徳川家を去って十年ほど芸州 (広島県) 浅野家に客分として仕えていたが、母の死後此処も辞して京比叡山麓 (現京都市左京区) 一乗寺村に移り住み、詩と書を友として清貧を楽しむ悠悠自適の生活が始められた。
京都郊外での彼の生活中交渉のあった人と云えば、年来の親友林羅山 (ｊハヤシラザン) 、堀杏庵 (ホリキョウアン) 、野士包 (ノシツツミ) 、僧元政 (ソウゲンセイ) 、それに中国の人陳元因 (チンゲンイン) くらいに限られ、後水尾 (ミズノオ) 天皇より前後四回に亘って召されたのをはじめ諸大名より、学者として或は、武人として、それぞれ高禄にて招かれたが固辞して受けなかった。
寛永十八年 (1641) には多年の夢であった詩仙堂 (詩僊堂) が完成した。丈山が詩歌を詠じ筆を揮い書に親しんだ此の庵には中国漢代以後、宋迄の代表的詩人三十六人の画像が嘉納探幽 (守信) の手に依って描かれ、又それぞれの代表的詩を丈山の筆で書かれている。
丈山は寛文十二年 (1672) 五月二十三日、八十九歳の高齢で没するまで隠遁的生活がおくられるがその間に、 「詩仙詩」 「朝鮮筆語集」 「本朝詩註」 「正続覆醤集」 「東渓翁隷法」 「祝寿長篇」 、等の書を著わした。丈山と同時代の儒学者荻生徂来は彼を唐代の大詩人と比較し、また朝鮮の詩人達も日本の杜甫、李白だと評したという。
後世、丈山について語る人の中には 『丈山が誰にも仕えなかったのは徳川家に、遠慮してのことだ』 、又 『詩仙堂の構造から考えて、たえず徳川家の追手を意識していたか、或いは徳川方の隠密的役割を果たしていたのではないか』 、そして又 『いや、度々の戦いに臨み、自分が生きる為には敵を殺さねばならない武士の生活が厭になって地位も名誉も捨てたのさ』 と様々である。