OpenAI首席科學家：人工智慧發展太快 監控技術跟不上

OpenAI首席科學家帕喬基（Jakub Pachocki）發表長文警告，人工智慧（AI）能力正快速接近甚至超越人類，但安全、對齊與監控技術已開始跟不上，因此AI發展不能只追求速度。 帕喬基6日在《異類心智》（An Alien Mind）一文指出，推理型語言模型已快速進入經濟活動，推進科學研究，並能與人類及其他AI協作，但也帶來新的資安風險。 他說，OpenAI近年內部研究顯示，AI未來可能進入遞迴式自我改進（RSI），系統能力可望在未來幾年再度大幅躍升。他警告，沒人準備好面對機器智慧持續快速提升的後果，因此必須極度謹慎，並採取更廣泛介入措施。AI不必在所有能力上超越人類，只要在足夠多的重要領域勝出，就可能產生重大影響，而人類也愈來愈難準確掌握它究竟有多強。 AI研究的核心問題之一是「對齊」，也就是讓AI依人類標準努力做正確的事。但難題在於「泛化能力」（generalization）：AI進入不同於訓練環境的情境時，未必能可靠運用訓練時學到的價值。帕喬基指出，對齊技術未必能跟上模型能力成長。 OpenAI過去主要依賴「思考鏈監控」來驗證對齊技術的有效性，但隨著AI與人類、其他AI及工具互動日益複雜，且模型愈來愈能操控自身推理，這種監控方式的可靠性正在下降。未來AI發展速度可能取決於人類能多有把握地監控這些系統。 帕喬基說，透過持續開發更強AI來防禦其他AI的威脅，不能成為魯莽發展AI的藉口。他主張，一方面要讓對齊與監控技術跟上AI能力，另一方面則應在必要時放慢發展，直到安全措施更可靠，AI擴大規模的速度應受安全信心水準約束。 ▪海上苦撐286天！林肯號水兵上岸 不分男女先做這些事 ▪曾是泳壇希望…27歲性感女星下海狂接單 飯店同床黑道大哥 ▪1家4口砸錢住豪華別墅 夫妻慘死按摩浴缸…警揪原因嘆罕見 ▪希臘航空展傳意外！F-4E幽靈戰機墜毀成火球 直擊現場失事瞬間