‍

明末清初，中國大陸沿海居民大量渡海來台開墾。為求神明庇佑，先民自祖籍福建泉州迎請關聖帝君神像來台奉祀。最初僅供奉於民家之中，隨著神威顯赫、香火鼎盛，地方鄉民遂於現今廟址合議建廟，構建一座坐北朝南的茅草廟宇。

當時廟前為漢人聚落，廟後則為平埔族麻豆社聚居地。至今文衡殿北側仍留有「番仔巷」之地名，見證當年族群共處的歷史。因創建年代久遠，文衡殿素有「麻豆地區古蹟廟宇第一」之稱。

‍

清雍正年間（1734 年）：首次建廟

1734 年（清雍正十二年），該角國學生吳仕光感於廟貌簡陋，遂發起重建之議，地方鄉民紛紛響應。在眾人齊心協力下，終於完成建廟工程。當時廟前地區交通繁盛，鄰近水堀頭，為麻豆最熱鬧的街區之一，堪稱「車水馬龍、盛極一時」。

‍

清乾隆年間：地震、重修與族群協議

• 1768 年（乾隆三十二年），一場大地震導致廟宇幾近傾毀，因社會經濟困難，修復工程進展緩慢。
• 1774 年（乾隆三十九年），地方士紳黃清芳、吳時舉、吳時興、陳志光、柯睿哲等人倡議重修，原住民亦共同參與。歷時五個月，文衡殿煥然一新。1778 年立「重新虞朝莊關帝廟碑」以誌其事。嘉慶與道光年間亦曾多次進行小規模整修。
• 1777 年，漢人與原住民因田產納香燈與納番餉一事發生爭議，後由臺灣府北路理番同知朱景英出面調解，立「貼納武廟香燈漢番和睦示告碑」作為族群和睦共祀之見證。

‍

清同治年間（1868 年）：全面重建

至 1868 年（同治七年），原廟建物歷久失修，頹損嚴重。時任董事陳春華等人發起全面重建，信眾熱烈響應，慷慨捐資，並將廟體坐向由原本「坐北朝南」改為「坐西朝東」，重建為一座典雅莊嚴的華南式廟宇「文衡殿」。

‍

日治時期至戰後：陸續擴建與整修

• 1926 年（大正十五年），信徒捐資增設銅鐘、大鼓與木魚等法器。
• 1934 年（昭和九年），廟方購入周邊土地建立後殿與庭園，並數次整修至 1964 年。
• 1976 年（民國六十五年），地方善信樂捐興建氣勢磅礡的「凌霄寶殿」，主祀玉皇上帝、三官大帝、南斗星君、北斗星君及三恩主（文衡聖帝、倉頡夫子、孚佑帝君），翌年落成。
• 1990 年（民國七十九年），經由管委會提議與信眾響應，完成前後兩座宏偉牌樓，壯麗廟貌至此初具規模。

‍

民國 81 年（1992 年）：發起再度重建

雖屢經修建，但因年代久遠，廟貌老舊，香火興旺亦造成空間擁擠。信眾認為無法彰顯關聖帝君神威，遂於 1992 年成立「重修委員會」，動土啟建，歷時三年餘完成現今廟貌。