柴家山行政区划上隶属于岳阳楼区，岳阳楼区隶属于岳阳市，柴家山的下属街道自然村居委会及其地理管辖范围内的企业事业单位也属于岳阳市。