瑞光塔位于富川瑶族自治县县城南郊约500米富江西畔的急转弯处。因塔内曾供有阴刻雕观音像，俗称观音塔、观音阁。塔为7层楼阁式六角形砖塔，高28米，塔基埋深4.8米，塔尖有重达400公斤的铜刹盖顶。各层皆有一门，依次顺时针变化门向。顶层六面有窗。塔内有螺旋式砖梯78级，可直达顶层。登塔远眺，可观“富川八景”中的“三景”：“富水奔涛”、“层峦耸翠”和“山泉飞瀑”。塔下林木成荫，玉泉清冽，环境十分幽雅。

瑞光塔建于何年，尚未见到具体史料。据《光绪富川县志》卷十二《杂记》篇载：“明嘉靖三十四年(1555年)春，雷击瑞光塔砌面”，说明它早在那时就已存在。清咸丰五年(1855年)毁于兵火，同治十一年(1872年)重修。从明朝至今400多年来，瑞光塔历经洪涝、地震和雷击等灾难，依旧安然无恙。民国初年，瑞光塔所在地曾辟为中山公园。1980年和1988年，县人民政府两次拨款维修，加固塔基。

瑞光塔旁有慈云寺，也称镇江慈云寺，总面积为598平方米。该寺始建于清康熙十六年(1677年)，康熙五十六年(1717年)、乾隆十一年(1746年)重修。咸丰五年(1855年)毁于战火，同治六年(1867年)重建。民国4年(1915年)，陆荣廷带兵由桂平到富川，游慈云寺时，倡议修一条花街路，接慈云寺至回犀桥。后经有关方面努力，终于修成。民国期间曾将寺改为“中山纪念堂”。

内有佛殿二进，东西两侧有厢房，殿间天井用卵石铺成，每座殿堂皆由六柱抬梁构架组成。后殿有圆月门，直通瑞光塔。1980年，瑞光塔、慈云寺均被列为县级重点文物保护单位。慈云寺现是县文物管理所驻地，内辟两个展览厅，一个展览革命文物，一个展览古代文物。