秦始皇二十六年（前221），置歙县，属鄣郡。
汉高祖五年（前202）属楚国；武帝元狩二年（前121）属丹阳郡;汉末建安十三年（208），属新都郡；晋太康元年（280），改新都郡为新安郡，歙县属之；南朝梁承圣二年（553），划出新安郡歙、黟、海宁三县，置新宁郡；陈天嘉三年（562），撤销新宁郡，仍属新安郡。
隋文帝开皇九年（589），新安郡并入东阳郡，歙县并入海宁县，属婺州；十一年（591）置歙州，复设歙县；隋炀帝大业三年（607）撤歙州恢复新安郡；肃宋乾元元年（758）新安郡改为歙州，歙县皆为郡、州第一县。
北宋徽宗宋宣和三年（1121）歙州改名徽州。
元世祖至元十四年（1277），徽州改为徽州路。
顺帝至正十七年（1357），徽州路改为兴安府；二十七年（1367），兴安府改为徽州府辖歙县至清末。
1912年，撤销徽州府，保留歙县直属安徽省。
1940年3月，属皖南行署；抗日战争胜利后，撤销皖南行署，属安徽省第七行政督察区。
1949年歙县属徽州行政督察专员公署（简称徽州专署），治所歙县。
1952年8月，恢复乡镇。
1956年1月，属芜湖专区。
1988年4月，撤地建市。