《竹书纪年》：‘幽王十三年，鲁季孙会晋侯于楚丘，取葭密，遂城之。’”据此，其为城年代仅次于成阳县城（今菏泽市东北胡集镇），是今菏泽市境内有文字记载的最早出现的城邑之一。

远在3000年前，这里已是一座居民聚集之邑。汉初，在此置葭密县，后废，省入句阳县。

清咸丰年间，国村筑寨，遂名葭密寨。清光绪十一年《菏泽县志》转载《史记》云：“齐威王以田忌为将，破魏师于葭密。”这是齐魏间的一次较重要的战争。

1865年（清同治四年），捻军杀死清亲王僧格林沁的曹州之役也发生在这里。