海西歷史悠久。古為西羌地，兩漢時今海西東部為先零卑禾等羌人部落活動范圍，西部屬“若羌國”。漢平帝元始四年(公元4年)，王莽置西海郡，今海西東部屬之。王莽末郡廢，復為羌地。
東晉后期，今海西西部為吐谷渾屬地，東部為鮮卑乙弗國地(后并于吐谷渾)。吐谷渾首領拾寅在位時(約公元452年)，曾在白蘭(今都蘭縣諾木洪一帶)修建城廓，至吐谷渾伏連籌即位期間(公元491—529年)曾建都于今海西境內，后移置伏俟城(今共和縣石乃亥鄉鐵卜洽古城)。
隋大業五年(公元609年)，隋軍擊敗吐谷渾，在其地設置四郡，今海西東部屬西?？ぃ鞑繉氽飞瓶?。隋末，吐谷渾復據故地。
唐貞觀十年(公元636年)，吐谷渾成為唐屬國。龍朔三年(公元663年)，吐蕃王國滅吐谷渾據有其地，今海西州曾隸吐蕃臘城節度使。
宋代，今海西西部為撒里畏兀爾(即黃頭回紇)地，東部為吐蕃地方政權——角廝啰勢力范圍。
元代，今海西州西北地區為甘肅行省沙州路轄區，其余大部為宣政院所屬吐蕃等處宣慰司轄區。元順帝時，設曲先答林元帥府，封卜煙帖木兒為寧王，鎮守今柴達木西部地區。
明初，今海西為安定、阿瑞、曲先、罕東四衛地，由西寧衛兼管。武宗正德七年(公元1512年)左右，東蒙古諸部開始進入青海，攻破塞外四衛，至此，成為東蒙古諸部統治地區。崇禎十年(公元1637年)，居住在今新疆衛拉特蒙古(即西蒙古)和碩特部，在其首領顧實汗的率領下進入青海，統轄今海西地區。
清雍正三年(公元1725年)，清庭編定青海蒙古左右兩翼盟29旗，今海西州境劃定9個蒙古旗，統歸“欽差辦理青海蒙古番子事務大臣”管轄。乾隆二十二年(公元1757年)，班禪商上喇嘛移住巴彥托輝、岳霍洛依(即今都蘭縣香日德一帶)，為班禪香家旗。咸豐八年(公元1858年)，藏族汪什代海部落遷入今天峻縣境內駐牧，當地的蒙古北前旗北遷祁連。至光緒年間(公元1875—1908年)藏族溝里、日安兩個百戶部落遷入今都蘭縣境內落居。
民國元年(公元1912年)7月，青海辦事大臣改為青海辦事長官，今海西地區屬之。次年增設蒙番宣慰使，管理蒙藏事務。民國4年(公元1915年)，改由甘邊寧海鎮守使兼管。民國6年(公元1917年)，歸都蘭理事轄，上隸甘邊寧海鎮守使。民國19年(公元1930年)，改都蘭理事為都蘭縣，轄今海西州全境，上隸青海省。民國27年(公元1938年)，在今都蘭縣察汗烏蘇鎮設立青海省第八行政督察專員公署，民國30年(公元1941年)，改稱青海省第一行政督察專員公署，都蘭縣屬其管轄。此間，從民國24年至民國30年(公元1935—1941年)，生活在新疆的部分哈薩克族先后遷入今海西州境內落居。
1949年9月，青海解放。同年11月成立都蘭縣人民政府(駐地察汗烏蘇)，轄今海西州全境，直隸青海省。1952年9月26日撤銷都蘭縣，設立縣級“都蘭縣蒙藏哈薩克族自治區”，1954年1月25日改建為專區級“海西蒙藏哈薩克族自治區”(駐察汗烏蘇)，1955年12月12日更名為“海西蒙藏哈薩克族自治州”。
為開發建設柴達木盆地，1955年7月30日在格爾木設立了“柴達木工作委員會”，作為青海省人委派出機構，處理開發建設柴達木盆地的日常工作。1956年2月更名為“柴達木盆地工作委員會”，同年3月駐地遷至大柴旦。1957年4月撤銷“柴達木盆地工作委員會”，改設“柴達木盆地行政委員會”，1958年1月更名為“柴達木行政委員會”。
1959年1月，海西州人委由察汗烏蘇遷駐大柴旦與“柴達木行政委員會”合署辦公。1963年8月26日撤銷“柴達木行政委員會”，全政區稱“海西蒙古族藏族哈薩克族自治州”。1966年4月州府遷駐德令哈。1984年5月全州的哈薩克族群眾自愿要求，并經國務院同意，全部遷返新疆，1985年5月21日定名為“海西蒙古族藏族自治州”。