直到元世祖中统二年，汪世显拓东地入城后，才将威远楼迁于今址。迁移后的威远楼，其位置在靠近北宋古渭砦城的中心，并没有靠近汪世显拓展东城后所组成的大城中心。元惠宗至正年间，于威远楼上设“铜壶滴漏”，并“夜击更鼓”，此时人称“鼓楼”。明太祖洪武年间重修，再取名“雄镇楼”。清顺治十五年，巩昌知府刘芳声在明址上重修。康熙五十五年，知府陈廷纶再次扩建，于是定形了本日我们看到的威远楼构造。咸丰期间邑人杨朝栋书“声闻四达”匾额。清道光十六年知府唐树义重新修葺，邑人杜重书写“巩昌雄镇”匾额。唐树义还将北宋时“崇宁铜钟”移置于上，令人击钟报时，此时又叫做“钟鼓楼”。
根据《重修威远楼碑》记载，清康熙五十五年(17I6年)，在吏部文选司出守巩昌府事陈廷纶倡导下，由木匠莫敢康掌尺扩建为五楹三层楼。后虽多次修葺，但主体未变。由此可知威远楼是由小楼扩成大楼的。现在人们所看到的威远楼是一座砖基高11米的三层木楼，楼高15米，通高26米。在过去普遍以平房为主的时期，人们常说：“陇西有个钟鼓楼，一头戳在天里头”，可见当时人们的自满生理。
如今，古城墙只剩不多几段残垣，古城门已不在。但千年以来，威远楼不但是陇西县的地标性建筑，更是精神地标。由于威远楼的存在，陇西人走到哪里，都可以自满地谈起陇西过去辉煌的历史：历代郡、州、府治所在地，曾一度为甘肃省最初的省会。虽然现在的陇西不过是个小县城，但提及“渭州”、“巩昌”等词儿，陇西人的自满感还是油然而生。近年来，陇西城市培植日月牙异，有人乃至提出再树“巩昌雄风”，让“巩昌雄镇”更“雄”。虽然一度渴求的“撤县建市”尚未有任何结果，但陇西人的不雅观念里还是存在“大陇西”的。多年以来，由于陇西的经济发展、教诲质量远超周边的通渭、武山、漳县等县，这些县有好大一部分人在陇西卖了屋子居住，并千方百计将孩子转到陇西的学校里读书。提及这些，陇西人总会说：“陇西是有文脉的”。这不，威远楼上的对联，就充分地解释了这一点。
明末清初书法大师王了望曾撰联于此。联云：
人从方外无非雅；兴到楼头总是高。
大清光绪期间巩昌知府周景曾撰联云：
此地是渭州旧治；其民有唐俗遗风。
清末进士、著名文士刘文炳撰联云：
有象垂尺，七曲文光高北斗；潜形化物，三空佛界兆西方。
……
陇西历代文人辈出、文运长兴，与历代重修、扩建威远楼不无关系。
微美甘肃甘肃以至中国西部文化、美食探究、互换。投稿邮箱zgb6868@163.com或QQ邮箱534906033@qq.com，投稿时注明“投稿微美甘肃”。感激光临。
