徽州地区历史悠久,源远流长。据1955年与1981年在绩溪县发现的两处新石器时代遗址考证,早在六千年前,翚岭(即徽岭)南北就有人类活动,《山海经》载有"三天子都"旧名,亦即今徽地之属。传说公元前二十一世纪以前,本区尚属海滨之地,东南即大海,境内为异族共工氏占据。公元前二十一世纪以后,西周以前,据《禹贡》天下分九州本区属扬州,即所谓"蛮夷"所属之地。
春秋时,公元前473年以前属吴;公元前473年以后,吴亡属越;公元前306年以后,越亡属楚。实际上当时吴、越、楚三国并存,战争频繁,本区被作为拉锯战争之地辖属时有变动。
公元前222年秦始皇一统六国,分全国为三十六郡。本区设黟、歙二县,属会稽郡(治山阴,即今浙江绍兴)。楚汉之际属鄣郡(治故鄣,今浙江长兴)此时之歙县包括今歙、休宁、婺源、绩溪、淳安、遂安等地;黟县包括今黟县、祁门、石台等地。楚汉战争之际,本区一度为项羽所占,作为其功臣梅鋗之封邑,不久为汉将陈婴所占,属汉。
汉高祖六年(前201年)黟、歙属荆国(治今淮南)。十二年(前195年),黟、歙属吴国(治今江苏沛县)。汉景帝前元三年(前154年),黟、歙属江都国(治今江苏扬州)。汉武帝元狩二年(前121年),置丹阳郡(治宛陵,今安徽宣城),设十七城,歙、黟为其二城。元狩六年(前117年),立武帝子刘胥为广陵王,歙、黟属广陵国(治广陵,今扬州),汉宣帝五凤四年(前54年),刘胥获罪自杀,国除,复为丹阳郡之属。汉成帝鸿嘉二年(前19年),立原中山靖王刘胜之裔刘云客为广德王(治广德,今安徽广德),黟县属丹阳郡;歙县仍属丹阳郡。永始元年(前16年),刘云客死,无子,国除,黟县复属丹阳郡。汉平帝元始二年(公元2年),立广川王刘越之裔刘愈为广德王,黟县复属广德国。王莽篡汉,始建国元年(公元9年),贬汉广德王为公,改黟县为愬虏。东汉光武帝建武六年(公元30年),复名为黟县,仍属丹阳郡。
汉献帝建安十三年(208年)十二月,孙权派部将贺齐出兵消灭歙地所谓"山贼"(实际是对抗孙权的山越、水越和汉人混居而成)金奇、毛甘和黟地陈仆等,将原歙地一分为五,即:歙、休阳县(划原歙以西之地新立)、黎阳县(划原歙以西另一地新立)、新定(划原歙以南之地新立,今浙江遂安)和始新(划原歙以东一地新立,今浙江淳安),加上黟共六县一并从丹阳郡分出,建立新都郡,治始新(今浙江淳安)。三国吴永安元年(258年)休阳县因讳吴主孙休改为海阳县。
晋太康元年(280年),晋灭吴,新都郡更名为新安郡,仍属扬州。所属新定县改为遂安县,海阳县改为海宁县,加上原属之始新、黎阳、歙、黟,仍领六县。
南朝宋孝武帝大明八年(464年),并黎阳于海宁,当时新安郡领五县,即:歙、黟、海宁、遂安和始新。南朝梁武帝普通三年(522年),将原属吴郡管辖的寿昌县(即浙江寿昌县,今并于浙江建德市),划归新安郡,新安郡从此复领六县,即海宁、始新、遂安、寿昌、歙和黟。梁武帝大同元年(535年),析歙县华阳镇,置良安县(一作梁安),郡领县七,不久,废良安县,郡仍领县六。梁武帝承圣二年(553年),将原新安郡一分为二,遂安、始新、寿昌三县仍属新安郡;将原并于海宁的黎阳重新划出,复为二县,加上歙、黟共四县,由新建之新宁郡管辖(即今本区的基本区域),治海宁,与原新安郡并属扬州,此时之新安郡非今之"徽州",但时仅九年。南朝陈文帝天嘉三年(562年),再次将黎阳县并入海宁县,复将新宁郡并入新安郡,领歙、黟、海宁、始新、遂安和寿昌共六县,隶属东扬州。
隋文帝开皇九年(589年),改郡为州,以州统县,将歙、黟二县并入海宁为歙州,州治设海宁;又将始新县改为新安县,原遂安、寿昌并入新安县,划归婺州(今浙江金华)管辖。歙州辖地仅有原新安郡的一半,即今徽州的基本地域。此后近二十年称"新安"的又非今日之"徽州"。隋文帝开皇十一年(591年)恢复原歙县,并将早先属海宁的篁墩划归歙县管辖,恢复原黟县,并将州治设在黟县,州领歙、黟、海宁三县。开皇十八年(598年),改海宁为休宁,划归婺州(今浙江金华)管辖,不久,复将休宁划归歙州。隋炀帝大业三年(607年),全国改州为郡,更歙州为新安郡,仍领休宁、歙、黟三县,郡治在歙。不久战乱起,歙县登源〔后属绩溪县〕人汪华起兵,占郡地及附近州郡,自称吴王。大业十二年(616年),汪华迁郡治于休宁,次年(617年),汪华再还郡治于歙。
唐高祖武德四年(621年),改新安郡为歙州。州治歙县,仍领歙、黟、休宁三县。同年汪华归唐,封越国公,并授以歙州刺史,以歙州为总管府,使持节总管歙、宣、杭、睦、婺(今浙江金华)和饶(今江西上饶)六军诸军事。武德七年(624年),改歙州总管为歙州都督。贞观元年(627年),罢都督府,歙州属江南道。唐高宗永徽五年(654年),划歙地一部分新建北野县。歙州领县四:歙、黟、休宁、北野。
开元二十一年(733年),歙州改属江南东道。唐玄宗开元二十八年(740年),又析休宁县回玉乡和邻县乐平(一说鄱阳)的怀金乡,新建婺源县,属歙州辖。歙州领歙、黟、休宁、北野和婺源五县。天宝元年(742年),改歙州为新安郡,治所仍在歙。天宝六年(747年),改黟山为黄山。唐肃宗乾元元年(758年),全国敦郡复州,复改新安郡为歙州,隶属浙江西道节度使,并隶宣、歙、饶观察使。乾元二年(759年),罢浙江西道节度使及宣、歙、饶观察使,以歙州隶之。
唐代宗永泰二年(766年),划歙、休宁二县各一部分设归德县;划原黟县的赤山镇和饶州浮梁县一地设祁门县;划原黟县一部分设石埭县(即石台),并将石埭县划归池州管辖;又析歙县华阳镇设绩溪县。歙州领八县:歙、黟、休宁、婺源、北野、绩溪、归德、祁门。歙州改属宣、歙、池观察使。大历四年(769年),废北野县。大历五年(770年),废归德县,其地并入休宁,歙州领六县,奠定了此后一千余年的"一府六县"建制基础。大历十四年(779年),废宣、歙、池观察使,歙州隶浙江东西道观察使。唐德宗建中元年(780年),分浙江东西为二道,歙州隶浙江西道观察使。建中二年(781年)复合浙江东西二道观察使,设节度使,赐号"镇海军节度使",歙州属之。贞元三年(787年),又设宣、歙、池观察使,歙州隶之。唐宪宗元和六年(811年),改隶宣州观察使。唐昭宗大顺元年(890年),歙州属宁国军节度使。昭宗天复三年(903年),废宁国军节度使,复宣州观察使。
五代十国时期(907年),唐亡,淮南节度使杨渥仍称唐哀宗天佑年号,歙州附之。919年,歙州隶吴。937年,吴亡,隶南唐。