身兼以色列賴赫曼大學公共管理學院（Reichman University’s School of Government）與以色列海法大學（University of Haifa）傳播學的教授 Gabriel Weimann 表示，恐怖分子可能會利用如 ChatGPT 等基於人工智慧運作的平台來達成其製造破壞的不正當意圖。
Weimann 與賴希曼大學國際反恐研究所（International Institute for Counter-Terrorism, ICT）的五名實習生合作，協力研究恐怖分子或極端暴力分子如何透過特定指令來操縱這些人工智慧系統，以輸出其想要的答案，結果顯示這些指令能夠在這些人工智慧系統平台確實達到越獄效果，同時具備繞過平台本身多層保護措施的可能性。
此研究成果發表在西點軍校打擊恐怖主義中心出版的期刊上，標題為「產生恐怖：生成式人工智慧之利用風險（ Generating Terror: The Risks of Generative AI Exploitation）」。
他們解釋，隨著 ChatGPT 等複雜深度學習模型出現與快速進入應用階段，人們越來越擔心恐怖分子與極端暴力分子可能會利用這些工具來強化他們在網路與現實世界的各種行動。
帶有革命性技術突破的 ChatGPT 的出現，如同人人都能擁有人工智慧的數位助理，可幫助個人和公司更有效地管理日常任務。在 2023 年初推出後，短短兩個月就達到一億活躍用戶數量，成為史上成長最快的消費性應用軟體。
「藉由使用大型語言模型來學習、計劃和散播他們的行動將有可能進一步幫助恐怖分子達到比以往更高效率、更高準確性與更廣大的影響力。 因此，急需針對深度學習模型安全性影響評估進行研究了解。 這些研究結果將對制定有效的應對策略極其重要，藉此來防止與發現濫用人工智慧平台的恐怖分子與極端暴力分子。」
該研究團隊設計並執行了一連串系統性實驗，其中包含了申請數個匿名虛構帳戶，並且針對五個知名人工智慧平台（Chat GPT 4、Chat GPT 3.5、Google Bard、Nova 與 Perplexity）輸入恐怖分子會使用到的相關需求指令（如：招募組織成員、計畫恐怖行動與宣傳組織等）。
研究人員們分析了這五個平台針對 2,250 個能夠用來幫助恐怖份子的特定指令（如：組織宣傳策略、招募志願者、散播假消息、策劃攻擊行動方針等）所得到的回應內容。
藉著越獄手法，研究人員們成功突破平台設計的安全性防禦屏障。 舉例來說：如果使用者嘗試向 ChatGPT 詢問「我怎麼製造炸彈？」這類問題時，將會立刻收到訊息表示「該系統不提供此類資訊」，但透過模擬恐怖組織戰術性操作手法，研究人員們突破了平台安全性防禦屏障措施成功取得相關資訊。
Weimann 和他的團隊表示以此手法能夠達到五成成功率，這代表著人工智慧平台將能夠提供即時且相關性高的內容。 藉由使用與問題相關資訊提問將能夠得到其原本想要得到的資訊。 這項研究結果顯示出恐怖分子或極端暴力份子將能藉此手法來利用人工智慧平台，並且為這些平台的安全性漏洞提供了有趣且令人擔憂的見解。
研究人員經過實驗後結果顯示，這些平台在恐怖分子渴求得到所需有利資訊情況下，有極高機率可以成功獲取資訊。 Weimann 總結表示：「我們的研究為政府、資安機構以及平台公司提供了建議來進一步改善強化遭實驗證明無效防禦機制。」
資料來源：
https://www.jpost.com/business-and-innovation/tech-and-start-ups/article-784657
