功成名就之后，姚广孝辞官不做，而到京西的潭柘寺隐居修行，逐日里与自己的老友-----潭柘寺方丈------日本僧人无初德始禅师磋商佛理。其间，明成祖朱棣曾到潭柘寺看望过他。
传说夺得了皇位的明成祖朱棣在南京做了天子之后，一贯念念不忘自己的发祥之地燕京，就想迁都燕京。他命姚广孝为设计师，要建造出一座全球无双，壮丽辉煌的京城来。当时姚广孝正在潭柘寺修行，他参考了长安城、汴梁城、南京城等几座皇城的图样，但是都不满意。他苦思冥想多日，也没有构思出来北京城的样式来。
有一天姚广孝出外闲步，只见山坡上坐着一个樵夫正在唉声叹气地发愁，便走过去问他由于什么发愁。
樵夫说："我砍柴斧子的木把坏了，想砍一根木头做斧子把，但是又不知道斧子把是什么样子的，因而发愁。"
姚广孝说："斧子把不就在你的手里吗？便是这个样子的啊！
"
樵夫说："对啊！
我是着事则迷了，感激师父。"忽然之间樵夫不见了，一道祥光涌如今潭柘寺的上空。姚广孝这时才明白，原来是佛祖在点化自己啊！
看来自己也是着事则迷了，壮丽辉煌的潭柘寺不便是一个很好的样板吗。
于是他对潭柘寺进行了仔细地稽核，从潭柘寺的建筑和布局中得到了不少灵感，终于画出了自己满意的北京城设计图。
北京城的许多地方都是依照潭柘寺的样子建筑的。潭柘寺有"九门九关"，便是一共有九座山门，分别都有武僧把守，因而又称为"九关"。这九座山门分别是正面的"三法门"；大殿两侧的东配门和西配门；东侧的东便门【通往东不雅观音洞】和西侧的西便门【通往西不雅观音洞。过去寺里的僧人圆寂之后，都从西侧门抬出去，取"西方正路"之意，以是西侧门又叫"鬼门"】；寺院北边的两座后门，这样一共是九座门。
北京的内城在建筑时，仿照潭柘寺，也建筑了九座城门。虽然现在这九座城门撤除正阳门和德胜门外，都已经不存在了，但是地名还在。这九座门分别是：正阳门、崇文门、宣武门、阜成门、西直门、德胜门、安定门、东直门、朝阳门。"九"是个极数，在建筑中是皇家所专用的，潭柘寺敢建筑九座门，可见其地位之高，与皇家关系之密切了。
后来姚广孝离开了潭柘寺，但其在潭柘寺隐居修行时的住所少师静室，至今犹存。
【袁树森·搜集】
