隋朝统一后,兖州改为鲁郡,辖、任城、邹、曲阜、平阳、泗水、宫丘、、博、赢10郡。
唐朝并无大变,但五代的周于第二年(952年)设济州,割云州巨野、运城,兖州任城,单州金乡归其管辖。这一时期境内其他郡多为兖州。
宋正和八年(1118年),兖州一度升为攻庆府,原宪、泗水、丘福、邹县均属其管辖。
金天德二年(1150年),济州从巨野迁至任城,统领任城、嘉祥、运城、金乡四郡。
元八年(1271年)济州升为集宁府,元十六年(1279年)改为集宁道。此后,境内历代为地方二级政权机关驻地,行政区划如下。
元朝时至元十六年(1279年),境内修筑集宁路,任城辖济州、陕州、兖州、任城、巨野、运城、肥城、金乡、砀山、奉贤等三州七县。
明朝洪武元年(1368年),集宁道改为集宁府,辖3州12县。即:兖州、东平、益州、任城、金乡、巨野、运城、嘉祥、曹、丹、定陶、成武、鱼台、滕、歙县。吴鸿十八年(1385),集宁府改为州,只带三县。即:嘉祥、巨野、运城。
清朝雍正二年(1724年),集宁府升为直隶府,仍领嘉祥、巨野、运城三县。乾隆四十一年(1776年),济宁直隶州领三县。即:嘉祥、鱼台、汶上。乾隆五十四年(1789年),济宁直隶州领三县。即:嘉祥、鱼台、金乡。
民国时期,民国三年(1914年)六月设集宁路,辖25县。即:济宁、资阳、曲阜、宁阳、邹、滕、泗水、汶上、沂、金乡、嘉祥、鱼台、蓝山(后改名临沂)、郯城、费、蒙阳、应、沂水、菏泽、曹、丹、成武、定陶。
民国二十二年(1933年)在境内设立第一个山东省行政督察署,下辖11个县。即:济宁、资阳、汶上、宁阳、曲阜、邹、滕、东平、嘉祥、金乡、鱼台县。
民国二十四年(1935年)七月,改为集宁实验区总督府,辖十四县。即:济宁、嘉祥、巨野、运城、寿章、鄄城、定陶、成武、曹、丹、金乡、鱼台、东平、汶上县。
民国二十四年(1935年)冬改为山东省第一区行政督察专员公署,下辖10县。即:济宁、资阳、东平、汶上、邹、滕、宁阳、曲阜、嘉祥、鱼台县。
民国三十五年(1946年)九月,在境内设立山东省第二行政督察署,下辖七县。即:济宁、嘉祥、运城、巨野、寿章、东平、汶上县。
1950年5月,济宁为藤县专区。下辖济宁及藤县、华山、临城、邹县、浮山、通北、平邑、资阳、丰县、歙县、曲阜、白彦、沛县等16个县市。
1953年7月,藤县区和湖西区合并为集宁区,专站由藤县迁至集宁。辖济宁市、济宁县、紫阳县、曲阜县、邹县、浮山县、藤县、歙县、薛城县、微山县、鱼台县、金乡县、嘉祥县、汶上县。
1956年2月,泰安专区泗水县划归集宁专区。同时,版图的划分也进行了调整,撤销鱼台县,并入金乡县;浮山县、薛城县被撤销。此时的济宁特派员公署主管济宁市、济宁县、紫阳县、曲阜县、泗水县、邹县、藤县、歙县、巍山县、金乡县、嘉祥县、汶上县。
1958年12月,经国务院批准,撤销菏泽特区,各县划归济宁专署;撤销济宁县,分别划归济宁市和运城、巨野、金乡县;紫阳县撤销,划归曲阜县。此时,济宁特派员公署主管济宁市、曲阜县、泗水县、邹县、藤县、陵县、微山县、金乡县、汶上县、荷泽县、曹西安县、单县、成武县、鄄城县、巨野县、郓城县、梁山县。
1959年7月,菏泽专区恢复,济宁专署辖济宁市、曲阜县、泗水县、邹县、藤县、歙县、巍山县、金乡县、汶上县。
1960年1月,歙县撤销,划归新建的枣庄市。此时,济宁专署掌管济宁市、枣庄市、曲阜县、泗水县、邹县、藤县、微山县、金乡县、汶上县。
1961年9月,枣庄市脱离集宁区。十月,恢复嘉祥郡;撤销紫阳县,新设兖州县。至此,济宁专署辖济宁市、兖州县、曲阜县、泗水县、邹县、藤县、微山县、金乡县、嘉祥县、汶上县。
19年7月,恢复鱼台县;1965年4月,恢复集宁县;属于济宁地区。
1967年,济宁专区改称济宁专区。
1979年1月,藤县划归枣庄市。此时济宁有1市10县。即济宁市、济宁县、兖州县、曲阜县、泗水县、邹县、金乡县、嘉祥县、鱼台县、汶上县、巍山县。
1983年10月5日,济宁市中区成立,以原济宁市辖区为辖区;设置济宁市郊区,以原济宁县辖区为辖地。调整后,济宁市人民政府辖市区、郊区、兖州、曲阜、邹县、巍山、鱼台、金乡、嘉祥2区7县。
1985年3月,汶上县、泗水县划入济宁市。1986年6月,曲阜县改为曲阜市,由济宁市管理。1989年12月,原菏泽地区梁山县划归济宁市。
19年兖州县、邹县撤县设市。
1993年12月,郊区改称任城区。济宁下辖两区三市七县,分别是市中区、任城区、曲阜市、兖州市、邹城市、巍山县、鱼台县、金乡县、嘉祥县、汶上县、泗水县市、梁山县。
2013年11月,济宁部分行政区划调整:撤销市中区、任城区,设立新的任城区,原市中区、任城区为任城区新的行政区域;撤销兖州市,设立济宁市兖州区,以原兖州市行政区域为兖州区行政区域。