織金原先是土司地區，清康熙三年（1664年）改土歸流，設立平遠府，以后降為平遠州，屬大定府。從清初到清末不過兩百余年，社會進步很快。中原文化源源傳入，凝結成為眾多的古建筑群。僅織金城內就有70多處，著名的有“四庵、四閣、四寺、四祠、八大廟”，觀音庵、紫竹庵、白衣庵、回龍庵合稱“四庵”，玉皇閣、斗姆閣、文昌閣、文騰閣合稱“四閣”，“四寺”有隆興寺、地藏寺、壽福寺、東山寺，“四祠”為武侯祠、忠烈祠、雹神祠、丁公祠等祠堂，還有文廟、關帝廟、財神廟、炎帝廟、城隍廟、黑神廟、龍王廟和馬王廟，現保存完好的古建筑有27處。文物眾多，保存完好，致使織金城成為貴州歷史文化名鎮。在城市現代化迅速推進的今天，能保存這樣多的物質文化遺產，全國也不多見。更何況，許多古建筑精妙絕倫，令人驚訝。1985年，織金財神廟、文昌閣、東山古建筑、魚山古建筑同時列入貴州省文物保護單位，1999年又將織金保安寺定為省級文物。2006年，將這些古建筑合在一起申報，專家們一致叫好，經國務院批準為全國重點文物保護單位。
織金財神廟的結構、造型，令人叫絕。它始建于清初，由正殿、兩廂、山門及石圍墻組成一個院落。正殿為四層四檐歇山頂木結構建筑，凈高13.98米。它的第一層有72根落地柱，構成整個建筑的基本框架；往內四列的柱子，由底層直通二層，作為二層的檐柱；再往內的四列金柱，由底層直通三層，既是二層的金柱又是三層的檐柱；三層的金柱直通屋頂，作為第四層的檐柱。逐層內收，層層出檐，屋面重重疊疊，顯得巍峨、厚重。屋頂富于變化，二、三層的正脊與三、四層的博脊直角相交，構成“丁”字形；從側面看，二、三、四層的山尖構成了3個重疊的三角形。18個翼角，54條脊，使財神廟的造型獨特而優美。
城東的文昌閣，始建于康熙二十七年（1688年），是一座三層三檐八角攢尖頂的閣樓。它的獨特之處，在于三層的平面和屋頂均不相同。底層的平面為長方形，面寬13.45米，進深8.81米，四面帶廊，上為歇山頂。二層居中而建，平面變為六角形，正面裝四扇花窗，其余五面花窗均為圓形“壽”字圖，屋頂六個翼角飛翹。第三層的平面又變為八角形，八面的方形花窗又不同于二層的圓形花窗，8根挑檐枋上有垂蓮柱，8個翼角下吊著風鈴，頗有“八面玲瓏”之感。
保安寺、觀音閣、地母廟僧房組成一個建筑群，占地800平方米。它是山地建筑的典型，將建筑物與山巖融為一體，被譽為“云洞天開”，是織金八景之一。整個建筑依山形走勢修建，形成三級臺階。保安寺建于慈云洞前，它是一座兩重檐的懸山頂木構建筑，平面呈長方形，四面都有走廊。有石階通入天然的慈云洞。拾級而上，別有洞天，上有一個平臺，左為觀音閣，右為僧房。觀音閣是一座兩層兩檐的六角攢尖頂閣樓，依慈云洞口而建，后部屋架依巖搭建，檐靠巖壁而無翹角，前方露出二層，底層有8個門洞，二層翼角翹起，一面有走廊。在觀音閣的右上方為第三層，臺上有地母廟，是一座長方形的懸山頂木結構建筑。
東山在織金城東半公里處，山勢挺拔，林木蒼翠，三面是懸崖峭壁，只有一條石徑可以登山。半山腰上有東山寺，初建于康熙八年（1669年），光緒五年（1878年）重修。原有山門、正殿、前樓和鐘鼓樓，昔日鐘聲嘹亮，名為“東寺晚鐘”。正殿題為“梵帝宮”，是一座面闊五間的單檐懸山頂建筑，前樓亦寬五間、有樓，鐘鼓樓今已不存。寺后有一條長58米的石徑，共108級，外沿為蜿蜒而上的石龍欄桿，頭在觀音閣，尾在東山寺，其間有108個石雕。觀音閣在一溶洞中，因洞內鐘乳石形似觀音而得名。
城東北隅的魚山，形似木魚，三面絕壁，僅一線直達山頂。山上有黑神廟、濟賑亭、藏書樓、且住亭等建筑。黑神廟有著名書法家嚴寅亮所題“惠此南國”匾額，對廳題為“碧琉璃精舍”，側邊有藏書樓。濟賑亭立于魚山之巔，它是為紀念賑濟織金大饑荒而建。且住亭在山門外，是一座六角攢尖頂的亭子，五邊設有吳王靠，游人至此“且住”觀景。
