墨与笔砚的出现几乎同时发端于新石器时代的晚期。作为一种消耗品，在人工制墨发明之前，一般都利用天然墨或半天然墨作为书写材料。据《述古书法纂》记载："邢夷始制墨，字从黑土，煤烟所成，土之类也。"也就是说人工墨的历史起始于周宣王。邢夷制墨也就是人工墨的开始，人工墨的出现，无论是从它的质量、使用价值，还是审美观等方面都大大超过了天然墨，天然墨因此被渐渐淘汰。至汉代，墨之原料开始取自松烟，其次是漆烟和桐烟。最初是用手捏合而成，十分松散，后来改用模制，经过入胶、和剂、蒸杵等工序制成墨锭，才使墨质坚实耐用。

徽墨，作为“徽州所产之墨”的统称，起始于北宋宣和年间（1119—1125年），而此前则誉为“新安香墨”。徽州制墨历史，不晚于唐朝末年，名声鹤起，则在南唐后主李煜执政之时。

从现有史料来看，徽墨生产可追溯到唐代末期，由于安史之乱，大量北方墨工纷纷南迁，导致制墨中心南移。易州墨工奚超父子奚超、奚廷一家由河北易水南迁至徽州，为黄山白岳之奇和练溪、新安之妙所吸引，遂定居歙州。奚氏父子本是制墨能工，此时得皖南的古松为原料，又改进了捣松、和胶等技术，终于创制出“丰肌腻理，光泽如漆”，经久不褪，香味浓郁的佳墨。南唐后主李煜，雅爱书法绘事，将召奚廷担任墨务官，井赐给“国姓”的奖励。于是，奚氏全家一变而为李氏。李廷成为古今墨家的宗师。宋宣和年间，就出现了“黄金易得，李墨难求”的局面。奚廷成为古今墨家的宗师，新安（徽州）之墨名声倍增。这样又招未了易水另一位名墨工张遇。张遇利用徽州的优质松烟、（桐）油烟制墨，将徽墨由单纯的松烟墨；推向了与油烟墨并举发展的新时期。全国制墨中心也南移到了歙州。制墨高手纷纷涌现，如耿氏、张遇、潘谷、吴滋、戴彦衡等，徽州墨业进入第一个鼎盛期。