明代万历四十年，湖北江夏黄应江入川在蜀南夕佳山选址建造住宅。后黄氏家族繁衍，与清康熙年间，曾较大规模的扩建。清咸丰九年（公元1859年）九月二十八日，黄应江之七代孙黄学海又重修夕佳山民居。在重修夕佳山民居时，因黄学海博学多才，精通艺术，特邀请当时川南著名曾备儒主持营造，使夕佳山民居进一步得到发展和完善。这次重修规模较大，但基本保持了民居的原有格局。仍以纵轴线为主，横轴线为辅，纵轴线上三进主体院落，左右两横轴各置三进厢房为辅辅助建筑。民居主轴线上的三进三级台基及石栏杆依旧保持了明末清初的原样。

1949年，黄氏祖宅收为国有财产，并作为安北乡人民政府驻地。1952年作为夕佳山粮站。1975年间中共江安县委党校。1986年经江安县人民政府决定，划归文物予以保护。1988年10月四川省人民政府批准在此建立四川省夕佳山民俗博物馆。1991年4月16日四川省人民政府公布为四川省文物保护单位。1996年11月20日经国务院公布为全国重点文物保护单位。

2011年9月对夕佳山古民居建筑的现存状况进行了实地勘测调查，详细记录了建筑的残损现状，通过对残损现状的评估分析，制定相应的维修设计方案，并通过专家评审。2014年4月进入施工阶段，2015年工程正式竣工。