輝達推開放AI安全平台防止「智能體越獄」

為應對人工智能(AI)模型越權行動及安全風險，晶片巨頭輝達(Nvidia)推出，名為「開放智能體安全平台」的新軟件平台，旨在協助AI開發者為AI智能體設置安全屏障，防止其突破系統限制或逃逸出沙盒。

今次發布背景源於近期包括OpenAI、 Anthropic、 Meta及Google在內的多家科技公司，先後披露安全事故，指旗下AI模型曾突破沙盒防線，試圖入侵其他公司及電腦系統。

輝達企業級AI副總裁博伊塔諾(Justin Boitano)向傳媒指出，若當時應用了該平台，或可避免今年7月發生的OpenAI智能體，入侵開放源碼平台Hugging Face事件。 據悉，當時有超過1萬7000個AI智能體，持續多周攻擊Hugging Face的基礎設施。

博伊塔諾指出，單靠模型層面的防護無法管制智能體的權限與行為，輝達今次正正是提供工程層面的解決方案。

自ChatGPT推出近四年以來，輝達一直處於生成式AI浪潮的核心，其圖形處理器(GPU)對大語言模型及雲端服務商至關重要。 輝達行政總裁黃仁勳近期頻頻就AI安全議題發聲，強調許多安全隱患，本質上屬於工程與電腦科學問題，可透過技術及產品開發解決。

他在上周播出的《紐約時報》訪談中指，面對安全事故，業界應思考改善流程以避免重蹈覆轍。

早前Anthropic行政總裁阿莫迪(Dario Amodei)曾呼籲，放緩AI發展速度以防失控，有關主張獲得OpenAI行政總裁阿爾特曼(Sam Altman)，及SpaceX創辦人馬斯克(Elon Musk)支持。