近年來，因技術局限或惡意應用導致的人工智能安全問題日益突出，但由于人工智能仍屬于新興方向，專項人才較少，缺乏系統性的研究隊伍，外界對人工智能安全問題的認識不足。

(資料圖片僅供參考)

9月16日，由中關村(000931)國家實驗室、國家工業信息安全發展研究中心等聯合主辦的首屆全國人工智能安全大賽落幕，賽題圍繞深度偽造安全、自動駕駛安全、人臉識別安全對應的是人工智能三個技術方向，也是公眾高度關注的領域。和其他網絡安全問題不同，人工智能安全風險更普遍、復雜程度高、戰略意義凸顯。業內人士認為，要實現人工智能發展和安全的良性互動，需要在數據安全、算法可靠、應用可控方面下功夫。

魏蔚/攝

“神奇的貼紙”

如果有人將一張“神奇的貼紙”放置在面部，就可以使人臉識別門禁系統誤認為是你，從而輕而易舉打開大門；同樣是這張“神奇的貼紙”，把它放置在眼鏡上，就可以1秒解鎖你的手機人臉識別，獲得你的隱私。這是首屆人工智能安全大賽頒獎典禮現場展示的真實攻防場景。

作為人工智能技術的典型應用，人臉識別已廣泛滲透于社會生活的多個領域，如金融場景的刷臉支付、安防場景的人臉閘機驗證等。但在大規模落地的同時，人臉識別系統也面臨安全挑戰，比如容易受到對抗樣本攻擊，即通過對人臉圖像做微小的改動，就能夠欺騙識別系統作出錯誤的判斷，破壞人臉認證系統，可能引發重大損失。

上述“神奇的貼紙”，其實就是“對抗樣本攻擊”，通過在輸入數據中添加擾動，使得系統作出錯誤判斷。

據工商銀行(601398)金融研究院安全攻防實驗室主管專家蘇建明介紹，人臉識別流程依次是動作活體檢測、現場人臉采集、人臉特征上送、靜默活體檢測、人臉比對，對應的典型攻擊分別是打印照片攻擊、ROM注入攝像頭劫持攻擊、報文篡改攻擊、高精度偽造攻擊、人臉融合對抗攻擊。

他認為，“人工智能安全治理需要廣泛協作和開放創新，需加強政府、學術機構、企業等產業各參與方的互動合作，建立積極的生態規則。政策層面加快人工智能的立法進程，加強對人工智能服務水平、技術支撐能力等專項監督考核力度。學術層面，加大對人工智能安全研究的激勵投入，通過產學研合作模式加快科研成果的轉化與落地。企業層面，逐步推動人工智能技術由場景拓展向安全可信發展轉變，通過參與標準制定，推出產品服務，持續探索人工智能安全實踐及解決方案”。

自動駕駛和AI換臉有風險

其實，對抗樣本攻擊這一漏洞在自動駕駛感知系統同樣存在。瑞萊智慧CEO田天表示，正常情況下，在識別到路障、指示牌、行人等目標后，自動駕駛車輛就會立即停車，但在目標物體上添加干擾圖案后，車輛的感知系統就會出錯，徑直撞上去。

他進一步解釋，“在惡劣天氣、強日光照射等極端場景中自動駕駛車輛極易發生誤判。同時，對抗樣本等算法漏洞的存在，導致能夠通過修改道路車輛等目標物的顏色、紋理特征，使車輛目標檢測模型失效”。

人工智能技術的濫用，最典型的就是深度合成技術，即“AI換臉”。不法分子利用生物特征生成軟件偽造特定信息，用于電信詐騙、編造虛假新聞等，給個人和社會造成了嚴重的負面影響。通過分析偽造音視頻的相似性，來溯源不同偽造內容是否來自同一種或同一類生物特征生成軟件，成為有效應對方案。

來自清華大學人工智能研究院、瑞萊智慧、國家工業信息安全發展研究中心等發布的《深度合成十大趨勢報告（2022）》數據,據不完全統計，創作者在互聯網平臺中發布的深度合成內容的數量呈高速增長，以視頻為例，2021年新發布的深度合成視頻的數量，較2017年已增長10倍以上。圖像和視頻方向的產品和服務在深度合成應用初期最為普遍，但是由于產品質量參差不齊且容易侵犯用戶隱私，當監管規范到位后其數量逐漸減少。如2021年被廣泛討論FacePlay等應用，只需用戶上傳一張人臉照片，就可快速生成不同服裝場景的圖片和視頻。

既要發展也要保證安全

人工智能對抗攻防包括對抗樣本、神經網絡后門、模型隱私問題等多方面技術。模型有錯誤就需要進行及時的修復，中國科學院信息安全國家重點實驗室副主任陳愷提出“神經網絡手術刀”的方法，通過定位引發錯誤的神經元，進行精準“微創”修復。陳愷表示，不同于傳統的模型修復工作需要重新訓練模型，或者依賴于較大量的數據樣本，這種方式類似于“微創手術”，只需極少量或無需數據樣本，能夠大幅提升模型修復效果。

統籌發展和安全是每項新技術發展過程中面臨的必然問題，如何實現高水平發展和高水平安全的良性互動，也是當前人工智能產業發展的重要命題。

針對開放環境下的人工智能系統面臨的諸多安全挑戰，北京航空航天大學軟件開發環境國家重點實驗室副主任劉祥龍表示，目前人工智能算法及系統的安全性缺乏科學評測手段，難以有效評測完整的人工智能模型和算法能力。在他看來，從技術上來看應形成從安全性測試到安全性分析與安全性加固的完整技術手段，最終形成標準化的測試流程。未來的人工智能安全應該圍繞從數據、算法到系統各個層次上的全面評測，同時配合一套整體的從硬件到軟件的安全可信計算環境。

北京商報記者 魏蔚