1488年—1505年（明朝弘治年间），常家庄园始建于明朝末年。常氏繁衍到第五六代时，正值明末清初，晋中商人崛起。清康熙年间开始，随着人口的不断增多，常氏各户又陆续修建了一些房屋。
1681年（康熙二十年）左右，八世常威北上张家口，经营绸布生意，渐次发达，由行商到坐商，开设了“常布铺”，为常家商业的发展奠定了基础。随后，常威的长子常万圮、次子常万旺、三子常万达相继随同前往。除常万旺不善经商，留居落户张家口菜园村务农外，常万圮、常万达均继承父业。到乾隆朝及其后，两兄弟的产业得到长足发展，跻身于巨商大贾行列，在故乡榆次车辋村开始了大规模的宅院建设，首先建成“世德堂”老院。
1768年（乾隆三十三年），常万王圮、常万达分家析产，常家庄园开始大规模建设。常万圮留在村南祖居“世德堂”老院，称为“南常”。常万达在村北重新购地，填平废渠，建起了“世荣堂”，称为“北常”。从此，逐步形成“南常”和“北常”两大宅院建筑群。
历经乾隆、嘉庆、道光、咸丰、同治、光绪六朝，近150年连年不断修筑，常家庄园形成了房屋5000余间、楼房50余座、园林7处、占地达60万平方米的宏大规模，其建筑面积占到车辋村的一半，在清代晋商大院中首屈一指。民间以此与祁县乔家大院对比，有“乔家一个院，常家两条街”之说。另外，常家在太原清徐县的姚家堡还拥有相当规模的宅院和地产。
因篇幅问题不能全部显示，请点此查看更多更全内容