柴门是中轴线上的第四重建筑，匾额上的“柴门”二字，是我国现代国画大师潘天寿先生所题。杜甫《野老》诗中曾有“野老篱边江岸回，柴门不正逐江开”的诗句，称自家的院门为柴门。明代弘治十三年草堂重建时，这里被称为“浣花深处”。清代嘉庆十六年重建被称为“药栏花径”。二十世纪六十年代，取杜诗《野老》原句称作“柴门”。

走过柴门，踩在这凹凸的石板上，大家也不难感受到“千年艳慕犹劳车马驻江干”的盛况。两侧墙壁镶嵌的七通石碑，大多是清代文人墨客或地方官吏来草堂凭吊时所题诗作，这也无不体现出他们对诗圣杜甫的崇敬之情。