尖扎县历史悠久，距今四五千年前的新石器时代，古先民们就在此繁衍生息，创造出璀璨夺目的史前文明。先秦和西汉初期为西羌地，西汉宣帝神爵二年（公元前60年），为汉代设置的河关县（治今贵德县河阴镇）辖地。西晋怀帝永嘉七年（公元313年），尖扎地区为吐谷浑活动地。南北朝时，尖扎地区属后凉吕光所置的浇河郡（治今贵德县河西镇）辖地。北周建德五年（576年），在今尖扎县直岗拉卡一带设置达化郡及达化县，隶廓州（治今化隆回族自治县群科镇）。唐高宗永徽六年（655年），今尖扎属米川县，隶廓州。北宋时，曾为唃厮啰政权属地。宋徽宗大观三年（1109年），尖扎属宋积石军（治今贵德县河阴镇）辖地。南宋高宗绍兴元年（1131年），又陷于金积石州（治今贵德县河阴镇）辖地。元代，尖扎地区属贵德州辖地，隶吐蕃等处宣慰使司都元帅府。明代，尖扎属归德守御千户所管辖，隶河州卫。清代，尖扎地区为贵德厅管辖。“民国”二年（1913年），改厅为县，尖扎为贵德县辖地。1952年4月21日，中共青海省委成立中共尖扎区工作委员会，确定贵德县昂拉区和六区为工作区域。1953年6月2日，正式从贵德县析置尖扎县并成立县人民政府，直隶青海省人民政府。同年12月22日，改隶黄南藏族自治区。1955年5月，黄南藏族自治区改称黄南藏族自治州，尖扎县遂隶黄南藏族自治州至今。