國立臺灣史前文化博物館位於臺東市康樂車站附近，博物館的籌建源自於民國六十九年卑南遺址的搶救發掘。當時原稱東線鐵路卑南站（現在的南迴鐵路臺東新站）及調車場進行新建工程，施工單位在遺址上大規模開挖，揭開蘊藏豐富史前文物的卑南遺址。遺址內許多石板棺及棺內精美陪葬品被掀露地表後，引起民眾注意並爭相盜掘，這個事件經媒體披露後，引起輿論重視。
臺東縣政府呈報主管機關後，除了停止工程施工外並委請臺大人類學系宋文薰教授等人組成成卑南文化考古隊，進行搶救發掘工作，開始了為期十餘年的搶救工作。這次的考古活動發掘面積廣達一萬多平方公尺，出土一千五百多座墓葬與數萬件陶器及石器，是臺灣考古史上發掘範圍最大的遺址。國內外學者一致認為這是臺灣新石器時代中晚期十分重要的代表性遺址，也是環太平洋與東南亞地區中，規模最大的石板棺墓葬群遺址。
考古搶救活動結束後，學者的建議就地興建考古遺址野外博物館，歷經多方努力與期待，先是於民國七十九年二月一日成立籌備處，並於九十年七月開館，為臺灣史前文化的保存與研究奠立持續發展的基礎，同時也成為展示及教育啟發大眾對臺灣自然生態、史前文化及南島民族豐富多樣性的認識的重要博物館。
而為了避免對地下文物造成巨大衝擊，將本館設置在臺東市康樂車站南側，並將卑南遺址地區則規畫為遺址公園。
除了豐富的文化展覽資源外，委託國際建築師設計的博物館建築，更是具有特殊的建築風格與意義，也是值得遊客細細品味。