秦时其地属恒山郡（一名常山郡）。汉景帝三年（前154年），分常山郡东部置中山国，封皇子刘胜为中山王。治所在卢奴县（今河北省定州市）。汉武帝时，以推恩令分封十九个侯国入邻郡。昭帝、宣帝时又分出三个侯国。宣帝五凤三年（前55年），国除为中山郡。元帝永光三年（前41年），徙清河王为中山王，复置中山国。成帝建始二年（前31年），中山国除为郡。阳朔二年（前23年），徙信都王为中山王，复置国。绥和元年（前8年），以涿郡五县益封中山国。王莽时国除。

光武帝建武元年（25年）封刘茂为中山王，复置中山国。建武十三年（37年）国除为郡，十七年封刘辅为中山王，复置国，领中山、常山两郡。二十六年，徙中山王辅为沛王，中山国除为郡。三十年（55年），封刘焉为中山王，复置国。桓帝延熹元年（158年），分中山、河间、安平数县置博陵郡。灵帝熹平三年（174年），中山王绝嗣，国除为郡。魏、晋皆置中山国。十六国后燕定都于中山。北魏置中山郡，为定州州治。隋开皇中废。大业中，以其地置博陵郡。