南安寺塔位于南门西侧南安寺院内。据史料记载，该塔建于蔚州城未有之前，而蔚州城建于北周大象二年（580年），由此推论，南安寺塔应建于北魏年间，推测距离今天已经至少有一千五百多年的历史。但据现存塔之风格、特点分析当为辽代遗物。明初，蔚州卫指挥使扩建蔚州城时，城墙穿南安寺，寺被拆迁，仅存古塔。清康熙年间，对塔座进行了包砌，并增建了观音殿、碑楼、禅房等设施。

南安寺塔为八角十三级实心密檐砖塔,高32.1米,由塔基、塔座、塔身和塔刹四部分组成。塔基为石质，高2.5米，由石条叠砌;塔座四正面中间各饰一砖雕兽头，四侧面正中各置一雕花砖饰之，上有砖檐,再上围莲瓣一遭，塔身置于莲座中，十分美观。首层塔身较高，各角浮雕塔柱，四正面置拱形假隔扇门，另四面饰花棂盲窗。塔身上置横额上置四铺作仿木斗拱，斗拱以上出仿木椽飞及瓦檐。以上各层为叠色出檐、布瓦收顶,每层正面中部均置铜镜一枚，各角悬风铎。塔用一仰莲承托覆钵、相轮和圆光宝珠。

该塔体比例匀称，挺拔壮观，是典型的辽塔风格。因此，在2001年，南安寺塔作为辽代古建筑，被国务院批准列为第五批全国重点文物保护单位！

南安寺塔以南安寺取名。南安寺曾为燕云名刹，历史悠久，相传创建于汉代，疑为北魏所建。塔位于寺院中央，供人参拜，北魏至辽代该寺香火旺盛。580年（北周大象二年）建蔚州城时，南安寺已具有规模。所以，蔚县历来有“先有南安寺，后有蔚州城”的传说。

南安寺塔整体造型优美，塔身高竣，拔地而起，气派威严！规格严谨的须弥座，雕刻精美的塔身，紧密相叠的十三层密檐，巨大精美的塔刹，相互间构成了轻重、长短、疏密相间有序的艺术形象，在建筑艺术上达到了浑然一体，又清秀挺拔的艺术效果。该塔历经千余年的栉风沐雨，经历了多次地震，却无丝毫倾斜，依然保存完好，巍然屹立，堪称是我国古代建筑艺术上的魁宝。

南安寺塔的塔下地宫曾经埋藏着许多珍贵文物，并引发了一起跨省大案。塔下地宫在2011年被盗，珍贵文物被洗劫一空。案发后，国家文物局立即向公安部五局通报案情，成了专案组，经过6个月的努力，横跨北京、山西、山东等9省，最终抓获主要犯罪嫌疑人12名，追回被盗文物109件！被盗文物数量之多，珍贵程度和历史研究价值之高均十分罕见。追缴回文物中包括金器、银器、青铜器、木器、瓷器、金塔、银塔、彩绘木塔、彩绘木雕四大天王像等文物，工艺皆是十分精湛，是国内难得一见的文物珍品，对研究辽代社会的政治经济文化具有极其重要价值。