《加州前沿人工智慧政策報告(California's Frontier AI Policy Report)》全文摘要
摘要：
《加州前沿人工智慧政策報告》是由加州政策工作小組於 2025 年 6 月發布的綜合性學術報告，為加州制定有效的方法來支持生成式人工智慧（Generative AI）的部署、使用與治理。該報告強調，由於 AI 技術的快速發展和潛在的風險，政策制定必須以「循證治理」及按照「信任但須驗證(trust but verify)」的原則，以在促進創新和保障安全的需求中取得平衡。內容包括探討資料透明度（包括對資料獲取、安全實踐和下游影響的披露）、不良事件(Adverse Event)報告機制以及如何界定政策的監管或適用範圍，並透過歷史案例分析（例如網路、消費品和能源行業的治理）來擬訂 AI指導原則或政策綱領，強調早期設計決策和第三方獨立評估的重要性。
主要原則與重點
|
|
原則 |
重點摘要 |
|
1 |
平衡效益與實質風險 (Balance Benefits and Material Risks) |
針對性的干預或管制措施應平衡AI技術的效益與實質風險。加州的前沿AI 突破可帶來農業、生物技術、金融、醫藥等領域的巨大創新利益，但若缺乏適當保障與控管，強大的人工智慧可能導致嚴重甚至不可逆轉的損害。 |
|
2 |
循證政策設計(Evidence-Based Policymaking) |
AI 政策制定應嚴格利用廣泛且完整的證據，包括實務上觀察到的損害、技術方法、歷史經驗、對抗性攻擊模擬和防禦力評估檢測(Adversarial Attacks)。 |
|
3 |
關鍵之早期設計決策 (Critical Early Design Choices) |
早期技術設計和政策制定者的選擇至關重要，因其會塑造未來關鍵系統的演進軌跡。應主動進行風險評估並制定風險控管策略，將安全考量融入早期決策設計中。 |
|
4 |
建立穩健透明的證據環境 (Robust and Transparent Evidence Environment) |
透過要求透明度，政策制定者可以同時保護消費者，適當的運用產業專業知識，並表彰領先且合規的案例。 |
|
5 |
提高透明度以強化問責機制 (Transparency for Accountability) |
鑑於目前大型資料庫來元的資訊不足，提高透明度有助於增進未來問責制、產業公平競爭和公眾信任。 |
|
6 |
促進透明度的關鍵工具(Key Instruments for Transparency) |
吹哨者保護、第三方評估和公開資訊共享是提高透明度的關鍵工具。 |
|
7 |
不良事件報告系統 (Adverse Event Reporting Systems) |
不良事件報告系統能夠監測 AI應用後的影響，並使現有的監管或執法權限與時俱進。 |
|
8 |
政策監管的範圍 (Designing Thresholds) |
政策監管或公權入涉入管理（例如資訊揭露要求、第三方評估）的範疇與界限應與健全AI發展的管理目標一致。另鑑於前沿技術革新的速度，政策制定者應確保機制能夠滾動檢討更新。 |
各章節規範重點整理
第一節：引言 (Section 1: Introduction)
l 加州的獨特地位：加州是全球AI創新的中心，肩負著確保這些強大技術安全發展的責任，其治理方式可為全球樹立典範。
l 焦點技術：報告主要關注前沿AI模型(Frontier AI models)，這類模型是最具能力的基礎模型(foundation models)，需要大量資源訓練，並能為各種下游AI應用提供重要動力。
l 循證治理：報告提供了一個基於證據(based on evidence)的框架。鑑於現代AI缺乏嚴謹的科學基礎，報告將證據廣泛解釋為系統性分析，包括技術能力評估、模擬、建模和歷史案例研究。
l 效益與風險：前沿AI預期在農業、生物技術、教育和醫學等領域帶來巨大效益。然而，若無適當保護措施，AI發展亦可能導致嚴重甚至不可逆轉的損害。
l 風險類別：國際AI安全報告將風險分為三類：
- 惡意使用風險 (Malicious risks): 惡意行為者濫用模型造成傷害，例如模擬內容（非合意私密圖像、CSAM）、假訊息操縱公眾輿論、網路攻擊以及生化攻擊。
- 故障風險 (Malfunction risks):非惡意行為者依設計使用模型，卻意外造成傷害，例如可靠性問題（產生虛假內容）、偏見，或模型在無人監督下以有害方式運作（失控）。
- 系統性風險 (Systemic risks):與基礎模型廣泛應用相關的風險，例如勞動力市場中斷、全球AI研發高度集中、隱私風險和版權侵權。
l 能力飛躍：自2024年9月以來，模型能力迅速提高，特別是在多步驟、思維鏈推理方面。有證據顯示前沿AI模型與化學、生物、放射和核武器(CBRN) 風險以及失控問題的關聯性增加。例如，OpenAI的o3模型在病毒學方面的表現優於94%的專家。
l 策略欺騙 (Alignment scheming)：最近的模型展示出更高的「策略欺騙」證據，即模型在訓練時看似與人類目標一致，但在實際運作時會追求不同目標。
第二節：AI政策應奠基於證據與經驗 (Section 2: Grounding AI Policy in Evidence and Experience)
l 網際網路發展與治理 (Internet Development): 早期設計選擇(Early Design Choice)，如優化隔離系統而非互連網路，創造了持續存在的路徑依賴和安全漏洞。1988年Morris蠕蟲事件顯示，缺乏主動的監管框架時，事後訴訟成為處理新興技術挑戰的默認機制。因此政策窗口不會無限期開放，現在即是加州建立有效AI治理框架的關鍵時機。
l 消費性產品監管 (Consumer Products) (以菸草業為例): 菸草業隱瞞內部研究證實的吸菸危害，導致公眾認知被扭曲，延遲了適當的監管回應。可知缺乏透明度可能導致昂貴的訴訟 (如1998年的和解協議，估計賠款2000億至 2400億美元)。透明度是必要的，但不足夠，需要獨立驗證機制來確保AI產業的準確性。
l 能源政策 (Energy Policy) (以氣候變遷為例): 能源公司進行了複雜的氣候模擬，準確預測了全球暖化軌跡，但在公開場合卻強調不確定性。由此突顯了第三方監督的附加價值，這有助於避免利益衝突。模擬、建模和對抗性測試是預測未來影響和識別系統性風險的重要分析工具。另以殺蟲劑監管、建築規範和安全帶的引入為例，證明經過深思熟慮的治理可以促進創新並確保公眾信任。
第三節：透明度 (Section 3: Transparency)
透明度是實現社會責任和問責制的基本先決條件。目前，主要基礎模型開發商在關鍵領域存在系統性不透明。
l 透明度不足的領域 (Areas Needing Transparency):
- 數據獲取 (Data acquisition): 關於數據如何取得（例如，網路爬蟲、授權、人類勞動）缺乏透明度，這影響了競爭、安全和版權。
- 安全實踐 (Safety practices): 關於風險、控管措施以及風險評估依據的透明度不足。
- 應用前測試 (Pre-deployment testing):關於開發者和外部進行的能力和風險評估的透明度。
- 下游影響(Downstream impact):關於基礎模型在經濟中如何應用和使用的透明度，是衡量AI對社會影響的先決條件。
l 改進第三方風險評估(Improving Third-Party Risk Assessment):獨立的第三方評估至關重要，因其提供了模型開發者缺乏的規模、多樣性和獨立性。如研究人員保護 (Researcher protections)，應為善意的安全研究提供 「安全港」(safe harbor)，以避免開發商的服務條款對獨立評估造成法律威脅。
l 保護吹哨者(Protecting Whistleblowers):吹哨者保護是法律保障，禁止對舉報組織內部不當行為、非法活動或詐欺的個人（通常是員工）進行報復。並應考慮將保護範圍擴大到合約對象和第三方，並涵蓋「善意」報告風險的行為。
l 指導原則：提高透明度應遵循「安全 (Security)」(應謹慎揭露具體漏洞，並提前通知供應鏈中的相關行為者進行修復)，以及「智慧財產權和商業機密(IP and Trade Secrets)」(競爭對手已知的資訊可以公開披露，對競爭優勢影響極小)。
第四節：不良事件報告 (Section 4: Adverse Event Reporting)
不良事件報告系統是一種主動監測系統，用於收集有關事件或事故的資訊，以促進滾動檢討機制並減少政府與產業間的資訊不對稱。
l 效益：
- 識別意外損害： 識別主管機關事先無法預期的、潛在的新興社會技術危害。
- 預防嚴重事故：鼓勵組織採取主動措施控制風險，避免系統性故障或聲譽損害。
- 改善協調：促進政府和私人部門在風險控管方面的協調，確保共同理解風險。
- 成本有限：相對於其他監管建議，不良事件報告系統對報告實體和政府的整體社會及經濟成本可能較低。
l 指導原則：
- 分享報告：將不良事件報告分享給具有相關主管權限和專業知識的機構。
- 報告標準：初期應採用狹義且嚴謹的報告標準，以確保報告的一致性和全面性；後續再定期審查和分析，逐步更新調整報告標準。
- 雙軌管理：結合強制性的開發者報告和自願性的使用者報告，以最大限度地擴大證據基礎。
- 善用現有機制：可以利用現有的非AI特定的監管權限來緩解AI技術的風險。
第五節：劃定範圍 (Section 5: Scoping)
劃定監管範圍及設定政府監管權限，以確保監管與風險符合比例性監管 (proportionate regulation)。
l 設計方法 (Four Approaches):
- 開發者層級特性 (Developer-level properties):例如，基於員工人數。
- 成本層級特性 (Cost-level properties):例如，基於模型開發的計算成本 (FLOP)。
- 模型層級特性 (Model-level properties):例如，模型在特定基準測試上的性能（如識別軟體漏洞）。
- 影響層級特性 (Impact-level properties): 例如，模型的商業用戶數量或在高影響系統中的使用情況。
l 界限設計應與監管意圖一致：政策監管範疇應與政策的監管意圖保持一致。例如，若旨在鼓勵新創公司，則可使用員工人數或收入提供豁免。
l 計算成本界限/閾值 (Compute Thresholds) 的限制：雖然訓練計算(training compute) 是目前 AI 政策中最常用的指標，但它不應單獨使用。其缺點包括：不同模態模型所需的計算量不同；演算法效率快速提高導致閾值需頻繁更新；以及它無法準確預測風險，因為它未考慮模型的應用方式。
第六節：意見回饋與變動 (Section 6: Summary of Feedback and Changes)
報告草案總共收到了來自學術界、業界/商業/私人部門和非政府組織/公民社會共計60 多份回饋。其中主要針對循證治理、AI 現狀和特定術語（如前沿 AI、邊際風險）的定義應更明確。
l 對實質內容的評論： 有些評論認為 AI 公司比歷史案例（如菸草和化石燃料公司）更主動和合作。對於透明度，評論強調其必須是有目的、可操作和以結果為導向的。對於不良事件報告，評論則質疑了關鍵術語定義和全州報告資料庫的實際挑戰。
l 最終報告的變動：
- 引言 (Section 1): 增加了對州政策與聯邦政策關係、地緣政治環境以及前沿 AI 風險新實證證據（如 CBRN 風險和失控擔憂）的更嚴謹討論。
- 透明度 (Section 3): 加強了關於開放性與透明度關係的討論，承認對強制披露的《第一修正案》挑戰，並說明第三方研究人員提供的安全港保護。
- 劃定範圍 (Section 5):強調了根據技術變化調整閾值的必要性。
