黑水城始建于公元11世纪初，是西夏王朝设在北部边境的一座重要的军事城堡。尽管城市规模较小，但因它是河西走廓通往漠北的必经之路和交通枢纽，所以战略地位极为重要。
在西夏建国以前，黑水城一带就已有大量居民在这里耕耘牧猎、繁衍生息。西夏建国后，为防东面辽国和漠北蒙古的侵入，曾先后调集两个统军司来驻守黑水城及整个居延地区，并将大批人口迁到黑水城一带定居。让他们在当地屯垦造田、生产粮食，以满足大批军民的生活需要。到西夏鼎盛时期时，黑水城逐渐变成一座经济、文化都较为发达的繁荣城市。官署、民居、店铺、驿站、佛教寺院以及印制佛经、制作工具的各种作坊布满了城区，一派繁荣昌盛。这种情况大约持续了近200年之久!
公元l226年，成吉思汗率大军征伐西夏，首先攻克了黑水城，并由此南下，直取西夏的国都中兴府，次年，西夏灭亡。元朝建立后，黑水城依然沿用。当时这一地区划归甘肃行省称“亦集乃路”，元朝在这里设置了亦集乃路总管府，管辖这一地区及西宁、山丹两州。由于黑水城是漠北通往内地的重要交通枢纽，元朝统治者不仅派遣了大量军队来黑水城驻防，还从各地迁来许多汉族和蒙古族人，来这里与当地人共向发展农牧业生产。当时，各族人民利用额济纳河的水利资源开渠造田，经过数十年的奋斗，先后屯田近万亩。
元朝时期，汉族和蒙古族人不断迁入，黑水城经济发展、人口增加，原来的城池已不能满足需要，于是统治者对城市进行了扩建改造。扩建后的黑水城，东西宽450米，南北长380米，是原来城市面积的3倍。城区内分布有街市、官署、驿站、学府、寺院等区域和百姓、官员、兵卒的往宅区；有直通城门的东、西大街和南北街巷组成的整齐街道。街道两侧，布满了各种店铺，有饭馆、酒店、客栈、钱庄、杂货店、衣帛行、马具作坊等，并有马市、柴市及交换农牧产品的互市场所。
元朝时的黑水城，不仅城内十分繁荣，而且在城外也有百姓集中的居民区和繁华热闹的街市。当时，居住在黑水城带的固定人口约有七八千人之多!
传说过去黑水城是西夏都城，最后一位君主号称黑将军。他英武盖世，所向无敌，在与汉族争霸中原时，出师不利，退守孤城。中原大军久攻不克，见城外额济纳河流贯其间，便以沙袋塞其上流，断绝城中水源。守城者于城内掘井，至极深而滴水未见。黑将军被迫全力出战，未战前，以所存白金八十余车连同其他珍宝倾入井中，又亲手杀死自己的妻小，以免落入敌手，然后率士卒出战，终因寡不敌众战败身亡。
中原军队攻陷黑水城后，大肆搜寻而未能得见宝藏。关于这段历史还有另外一种说法：黑将军战败后并没有死，而是向东南方向撤退。在距今内蒙古自治区阿拉善左旗巴音浩特不远的地方，曾留下了他的盔甲和战袍。这一有传奇色彩的故事与历史事实相去甚远，但其中藏宝的传说却吸引着不少人。俄国的科兹洛夫就是着迷于神秘的黑水城的人物。
1909年，科兹洛夫率领了一支全副武装的探险队打着考察野生动物的旗号前往黑城。翻过蒙古高原，闯入了陌生的巴丹吉林沙漠。科兹洛夫的远征队驱赶着骆驼行进在茫茫沙海中，半个多月过去了，饥饿、干渴、疲劳、疾病、蒙古向导的逃离，曾使得这支远征队濒临死亡的边缘，但他们最终找到了梦幻般的黑水城，看着黑水城的残垣断瓦、气势依旧的城墙，科兹洛夫后来说：“我永远不会忘记那一刻欣喜若狂的心情”
传说中的宝物在异国人的疯狂发掘下最终现身，留绐中国考古史一个巨大的创伤，无数陶器、铁器、织品、雕塑品和绘画等珍贵文物从此流落异邦。这批珍贵的文物用40头骆驼偷运到圣彼得堡，在俄国公开展出后，轰动了全世界。在这众多的珍宝中，尤以黑水城文献最引人注目。黑水城文献是西夏人记录的历史资料，由于西夏的灭亡和主体民族党项族的消失而被历史湮没。在20世纪以前甚至找不到一本西夏文著作，黑水域文献就显得十分稀缺珍贵。
科兹洛夫从黑城盗掘的文献有举世闻名的西夏文刊本和写本达8000余种。还有大量的汉文、藏文、回鹘文、蒙古文、渡斯文等书籍和经卷，这些文物文献数量繁大，版本大都完整，是研究西复王朝甚至于和西夏王朝同时的宋、辽、金王朝，还有元朝历史的“无价之宝”，据说，俄罗斯有关学者整整花了半个世纪才提出了这批文献的完整目录，由此可以看出这批文献数量之浩繁。这一发现被公认为是继殷墟甲骨、敦煌遗书之后的中国第三大考古文献发现。