中新網9月21日電(記者 吳家駒)AI是擊穿網絡安全的矛?還是守護網絡安全的盾?
近日,2025年國家網絡安全宣傳周在昆明開幕,多位網絡安全專家在接受中新網采訪時,談及AI給網絡安全帶來的新風險和新機遇。
360數(shù)字安全集團總裁胡振泉認為,AI的安全問題無比復雜,和傳統(tǒng)的網絡安全問題有著非常大的不同,其中包括:AI生成內容本身的安全性、AI幻覺、提示詞注入攻擊等問題。
胡振泉進一步表示,當AI變成智能體后,會負責規(guī)劃很多任務,而如果AI智能體規(guī)劃的任務執(zhí)行到很多步后,再發(fā)生錯亂、隨意調度的問題,情況將更加復雜,這是傳統(tǒng)網絡安全手段無法解決的問題。
天融信科技集團助理總裁張博表示,如今一些大模型被攻擊,大模型算法或數(shù)據(jù)發(fā)生泄露,都暴露了大模型在訓練、部署、使用等階段,存在著一定的安全風險。同時,AI降低了網絡攻擊的門檻,很多攻擊者會使用AI,來提升攻擊的頻度、強度、效率。
奇安信集團副總裁李虎也表示,目前已出現(xiàn)許多用于攻擊的AI智能體,甚至已經開始對外提供服務。如果黑客組織使用AI發(fā)起攻擊,成本會更低,而且更具不可控性?,F(xiàn)在大模型的應用越來越廣泛,涉及社會生活的方方面面,如果AI的安全性出現(xiàn)問題,將產生非常大的危害。
在南方電網公司數(shù)字化部副總經理禤亮看來,AI需要慢慢培育。在培育的過程中,如果數(shù)據(jù)出現(xiàn)問題,一方面可能導致AI智能體的反應速度下降,另一方面,可能導致AI作出的判斷存在誤差,這對電網企業(yè)和新型電力系統(tǒng)來說是致命的。
AI時代,如何應對網絡安全挑戰(zhàn)?
張博表示,目前AI賦能網絡安全,是行業(yè)中非常重要的一個研究方向,國內外不少安全公司都在探索AI與安全技術的結合。例如,把大模型融入到安全設備中,與安全平臺和云端安全服務進行聯(lián)動,形成端側云端協(xié)同的基于大模型的智能化運營體系。
“傳統(tǒng)的網絡安全軟件由人編寫,而大模型的智力超過人類,因此應該‘以模制模’,即用大模型來解決大模型的安全問題?!焙袢J為,應該有專門負責安全的大模型,來監(jiān)督做業(yè)務的大模型,并處理其在做業(yè)務過程面臨的一系列安全問題,大模型的發(fā)展應遵循“安全、向善、可信、可控”的原則。
在李虎看來,我們可以構建大模型的安全“紅域”,把大模型訓練、微調、應用等各個環(huán)節(jié),都納入到紅域中心統(tǒng)一管控,然后再進行區(qū)隔化管理,把每個區(qū)域分而治之,收縮風險邊界。同時,我們需要對大模型的提示詞、標注數(shù)據(jù)、知識庫數(shù)據(jù)等,進行監(jiān)測和審計。
禤亮表示,為防止AI在應用層面出現(xiàn)偏差,需要有良好的數(shù)據(jù)治理基礎,形成高質量的數(shù)據(jù)集。同時,需要有專門的團隊負責監(jiān)測AI,并構建監(jiān)測機制,來使AI朝著我們希望的方向發(fā)展。(完)