王氏家庭从道光后逐渐衰落，族人中，有的不再以耕读为本，有的不持续以商发展，有的满足于一官半职，有的安乐于锦衣玉食，不少人既无承继先业之志，亦无固本守成之心，以有的竟成为盗贼、乞丐或不惜卖儿卖女之“莠民”.于是红门堡内便有一家先将祖院出卖。出卖后，异姓新主人不满于堡门楼上“合堡同宗”之匾，执意要取，王家不得已改一字为“合堡同德”暂存。到光绪十七年(1891年)，建筑豪华，包括院落26座，房屋218间、面积达11728平方米的高家崖堡，仅以964两纹银，又易主他姓。再后来，当年合族引以为荣、奉旨为王梦鹏修建的大型石雕孝义坊和面积为428平方米的孝义祠，也只以20__吊铜钱卖出。1937年，芦沟桥事变前后，王氏家族中当时资财还比较雄厚的二十一世王饮让，匆匆地将其在静升本土和晋南、晋中、石家庄、保定及京津一带的商号全部变卖处理，尔后举家南迁。自此，作为一方望族的王家，历经600多年的奋发与辉煌，终于销声匿迹，仅仅成为一方土地上的历史话题了。1950年土地改革后，王家大院已属于贫下中农所有。贫下中农居住期间，许多主体建筑，非但未遭破坏，且大部分还保持了原有风貌。