輝達攜手業界 成立開放安全 AI 聯盟
輝達攜手其他創始成員,共同成立全新的開放安全AI聯盟(Open Secure AI Alliance),希望開發並分享開放工具,以促進AI的負責任使用及建立信任。
輝達指出,開放安全人工智慧聯盟承襲Linux Foundation的Akrites計畫領導成果,與OpenSSF社群工作,將運用開放技術修復並揭露漏洞。正如開源技術為軟體建立共享基礎,美國及其合作夥伴如今在AI安全面臨一項選擇,也就是用於保護基礎設施的防禦能力,究竟該置於少數不透明的系統之中,還是要建立在任何防禦人員都能研究、調整與部署的開放模型、執行框架與工具之上。
全球同時需要封閉與開放的模型。在資安領域,開放模型與開放的harness至關重要,因為它們能普及防禦能力、提高防禦人員的透明度、在保護資料的同時支援網路防禦,並透過可客製化、在地化的控制機制,與前沿的封閉模型相輔相成。開源技術可建立大規模分散式、社群驅動且自主掌控的防禦體系,且不存在單點故障。
輝達坦言,如同任何強大的技術,開放模型也可能遭到濫用,包括企圖削弱防護機制,或將其能力轉用於網路攻擊。然而,這些風險並非開放系統所獨有,而是所有部署先進AI的環境都必須加以管理。開放安全AI聯盟的使命是確保各地防禦人員都能擁有值得信賴且可自主掌控的開放前沿工具。
除了輝達,包括Adobe、Cadence、Capital One、思科、Cloudera、Cloudflare、Cognition、CrowdStrike、Databricks、戴爾、DoorDash、Elastic、慧與科技、Hugging Face、IBM、LangChain、Linux Foundation、微軟、NAVER、NetApp、Nous Research、OpenClaw、Palantir、Palo Alto Networks、Red Hat、Reflection AI、Salesforce、SAP、SK Telecom、ServiceNow、西門子、Snowflake、SpaceXAI、新思科技、Thinking Machines Lab 與 TrendAI等,皆為開放安全AI聯盟的首批合作夥伴。
輝達提到,正為開放安全AI聯盟貢獻開放模型、模型權重、資料,以及全新的代理harness研究,以加速開發全新資安工具與技術。全新的開源專案輝達Labs Object-Oriented Agent(NOOA)現已於GitHub上線,讓代理harness更容易運用先進 AI 安全功能。NOOA研究框架使harness與模型更緊密整合,進而更輕鬆地對代理行為進行測試、追蹤、稽核與管控。