現在的寺廟是由源賴朝（1147-1199）的表親寬傳建造的，源賴朝是鎌倉幕府的開創者，是一位名留史冊的武士。賴朝的頭髮和牙齒被供奉在觀音塑像的子宮內，觀音的高度也按照賴朝的身高修造。瀧山寺還被指定為國家重要文化財產，它代表了鎌倉時代寺廟的建造模範。
令人印象深刻的三門建於1267年，由木匠和貴族藤原光延設計建造。在門的兩邊有兩個十五世紀早期雕刻的高287cm的木製仁王守護雕像。傳說藤原光延在門前自殺之後長出一株茶花樹，年年開出美麗的茶花卻從不結果。現在三門西北部設有藤原的墳墓。

瀧山寺的鬼節

在瀧山寺的正殿之上，還有一座色彩艷麗的瀧山東照宮。這個神社建於1646年，由家康的孫子、第三代將軍德川家光建造，是排在久能山東照宮和日光東照宮之後的第三大東照宮。瀧山東照宮的主殿、禮拜殿、鳥居都是國家指定的重要文化財產。由岡崎各領主捐獻的50座石燈籠彰顯了當時幕府的權威和影響力。
這裡最有名的祭典是二月節，又叫鬼節，是佛教衍生出的節日。這節日時，在主殿舉行為42歲、25歲和12歲的男性祈福的儀式。在祭典中，一位老爺爺、一位老奶奶和一個年輕男孩頭戴魔鬼面具，約30名出生在同一黃道吉日的男子燃燒火把，以此迎接春天的到來。