瑷珲这个地名源自于满语中的“可畏”，也被称为艾浑、爱呼或者艾浒。这个名字与境内的艾虎河（又称为鼎河，如今在苏联境内的藏嘎河）有关。而黑河则是以河水得名。

这座城市的建立较晚，于1980年11月由爱珲县的部分行政区域析置而成。1983年4月经国务院批准，爱珲县撤销，合入黑河市。

瑷珲地区在周代之前就是肃慎地；汉至三国时期为挹娄地；晋时入寇漫汗；后魏、北齐属豆莫娄国；隋时分属靺鞨黑水及北室韦地；唐同之；五代至辽属五国部；金为扶余路的辖境；元时为斡赤斤分地，后属开元路；明时在此设置考郎兀、忽里吉山、巴忽鲁等卫。清康熙22年（1683年），为抗击沙皇俄国的入侵，在黑龙江左岸（今苏联境内的维笑勒依村）设置镇守黑龙江等处的将军，筑城驻兵，任命抗俄名将萨布素为第一任黑龙江将军。康熙24年（1685年），黑龙江将军移驻江右岸的达呼尔族城堡一托尔加城（今爱珲公社），并称此地为新爱珲城，又名黑龙江城，将军及副都统均移驻新爱珲城。而江左岸的城堡称旧爱珲，设城守尉镇守，康熙29年（1690年）根据将军萨布素关于墨尔根“首尾易制”的奏请，黑龙江将军驻地移至墨尔根城，黑龙江城由城守尉驻守。庚子事变后，暧珲、黑河及黑龙江右岸的各都市均为俄军占领。光绪32年（1906年），归还后，清政府复设瑷珲副都统，同时又设置了兴东道，二者以逊河为界。同年在黑河设交涉局，光绪34年（1908年）撤消交涉局，并于此地设置黑河副部统府，黑河副都统府设立后的第二年，即宣统元年（1909年）撤消瑷珲副部统府，以兵备道代之，道台驻瑷珲，与此同时设置瑷珲厅。民国元年（1912年）黑河副都统府撤消，所管事务均移交瑷珲厅及兵备道管理，同年改兵备道为观察使，并移驻黑河。民国2年（1913年）改接泽厅为瑷珲县，此后观察使改为道尹，称之为黑河道尹，瑷珲县为黑河道所辖。民国18年（1929年）东北政务委员会成立，废道制，县归省直辖，本县直隶黑龙江省为一等县。伪满大同2年（1933年）县公署由瑷珲移驻大黑河。康德元年（1934年）12月1日，伪满洲国改行帝制，实行地方行政机构改革，成立黑河管公署，此地为黑河省省会所在地。民国34年（1945年）东北光复，民国36年（1947年），将伪北安、黑河二省合并为黑龙江省，本县划归黑龙江省所辖。