文｜實(shí)習(xí)生 楊柳 財(cái)經(jīng)E法 姚佳瑩

(資料圖片僅供參考)

編輯｜郭麗琴

生成式人工智能（AIGC）持續(xù)火爆，隨之而來的法律、安全與倫理挑戰(zhàn)也越來越大。

近日，中國多地爆出AI詐騙案件。先是內(nèi)蒙古包頭警方發(fā)布消息，4月20日，福建省一知名企業(yè)家遇上了“高端”騙局，對方通過AI換臉和擬聲，佯裝成好友對他實(shí)施了詐騙，致其被騙走430萬元。后有安徽安慶公安透露，詐騙分子使用了一段9秒鐘的AI換臉視頻，騙取安慶一男子132萬元。

對此，中國互聯(lián)網(wǎng)協(xié)會(huì)5月24日緊急提醒公眾，加強(qiáng)防范利用AI技術(shù)的新型騙局。

同期，全球多地也正遭遇類似治理難題。

5月18日，美國參議院兩位議員帶頭向聯(lián)邦貿(mào)易委員會(huì)（FTC）發(fā)出兩黨聯(lián)名信。信中警告稱，語音克隆(voice clone)和聊天機(jī)器人讓詐騙者更輕易地騙取老年人信任，讓老年人誤以為正在與親戚或好友交談。FTC也曾于3月針對此類詐騙現(xiàn)象發(fā)布消費(fèi)者警示。

知名電腦安全技術(shù)公司McAfee5月發(fā)布的一項(xiàng)全球性調(diào)研顯示，在接受調(diào)查的7000人中，四分之一的受訪者表示經(jīng)歷過AI語音克隆騙局，70%的人表示不相信自己能分辨出克隆的聲音和真實(shí)的聲音。

為解決以上問題，已有“技術(shù)”和“公眾教育”兩條并行路徑。但財(cái)經(jīng)E法結(jié)合案例與采訪發(fā)現(xiàn)，當(dāng)前“治理”依然趕不上“詐騙”技術(shù)更迭的速度。長期而言，需要采取個(gè)人預(yù)防、防御技術(shù)迭代、壓實(shí)平臺責(zé)任、完善法律法律等多管齊下的方式。

01 本質(zhì)：信息泄露+合成軟件

AI詐騙首先帶來的觀念沖擊就是：眼見不為實(shí)，耳聽亦為虛。

浙江大學(xué)數(shù)字法治研究院副院長高艷東說，詐騙分子利用被害人對“有圖有真相”的思維定勢，通過AI技術(shù)偽造視頻或聲音，讓被害人相信詐騙分子虛構(gòu)的身份。

財(cái)經(jīng)E法在多家在線購物網(wǎng)站發(fā)現(xiàn)，一些AI深度偽造的軟件，以幾塊錢的價(jià)格售賣。視頻網(wǎng)站上也流傳著AI換臉“神器”的使用視頻。人工智能安全企業(yè)瑞萊智慧的聯(lián)合創(chuàng)始人、算法科學(xué)家蕭子豪介紹，這些軟件的底層技術(shù)大多來自網(wǎng)上的開源算法，商家在此基礎(chǔ)上包裝制作成軟件對外銷售。

結(jié)合采訪和現(xiàn)有案件，當(dāng)前AI詐騙主要包括兩類：一類是AI聲音克隆詐騙，需要詐騙分子撥打騷擾電話，或者利用公開渠道上的語音內(nèi)容，提取用于合成的原始語音文件。McAfee的一項(xiàng)測試中，僅僅三秒的音頻就足以生成與原始語音匹配度為85%的偽造聲音。另一類為AI換臉視頻詐騙。詐騙者首先盜取被害人近親屬、朋友的微信或QQ賬號；繼而利用受害人好友在社交平臺發(fā)布的視頻及圖片，截取面部畫面后，借助AI深度偽造技術(shù)進(jìn)行換臉，輔之以聲音克隆，達(dá)到視覺和聽覺層面的擬真，讓被害人放松戒備。

兩類情形中，詐騙的第一步，都是盜取個(gè)人信息。深度偽造隨后粉墨登場，其依靠的關(guān)鍵技術(shù)叫做“生成對抗網(wǎng)絡(luò)”（GAN）——通過兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈方式進(jìn)行學(xué)習(xí)，生成虛構(gòu)的音視頻。

長期研究電信網(wǎng)絡(luò)詐騙的西南政法大學(xué)刑事偵查學(xué)院副教授謝玲告訴財(cái)經(jīng)E法，AI詐騙的盜號環(huán)節(jié)，仍屬于傳統(tǒng)電信網(wǎng)絡(luò)詐騙的操作過程。具體方式是向被害人的近親屬、朋友發(fā)送含有木馬鏈接的短信；或者詐騙分子原本就添加了被害人的近親屬、朋友的微信或QQ，直接在微信或QQ聊天框發(fā)送木馬鏈接。一旦點(diǎn)擊鏈接，賬號會(huì)被迫下線。此時(shí)，詐騙分子利用用戶再次登錄賬號輸入密碼的過程，記錄獲取相應(yīng)原始密碼，隨后予以修改，完成盜號。

有了換臉變聲技術(shù)，詐騙分子又如何在微信或QQ視頻的時(shí)候披上親友的AI馬甲？高艷東認(rèn)為，詐騙者大概率是利用了插件，將微信視頻聊天畫面切換成AI虛構(gòu)身份的樣子。

02 公眾防不勝防

要防止詐騙，首先得提升公眾的防范意識。

謝玲認(rèn)為，公眾對新技術(shù)手段下的詐騙形式缺乏了解，導(dǎo)致短時(shí)間此類案件高發(fā)。

從技術(shù)角度，蕭子豪建議，普通人若遇到疑似AI詐騙的情況，可以在視頻通話時(shí)有意識地引導(dǎo)對方做一些動(dòng)作，比如張嘴或大幅度搖頭，甚至露出后腦勺。他解釋說，如果騙子技術(shù)手段較弱，那么有可能發(fā)現(xiàn)對方面部邊緣或者牙齒的瑕疵，從而識別出AI換臉。另外，如果所使用的深度偽造技術(shù)只針對正臉建模，則會(huì)導(dǎo)致后腦勺的偽造效果不佳。針對聲音偽造，用戶可以嘗試與對方用方言交流。

不過蕭子豪稱，上述方法對于識別出“高水平”的不法分子，還存在難度。目前方言合成方法和工具也非常豐富，音色穩(wěn)定，自然度很高。

除此之外，蕭子豪建議，普通公眾可以追問幾個(gè)私密信息，以核實(shí)對方身份。同時(shí)，盡量避免在公開平臺大量發(fā)布自己的照片和視頻，因?yàn)樯顐沃谱鞯脑牧鲜莻€(gè)人音頻、圖片、視頻，“這些數(shù)據(jù)越多，訓(xùn)練出的視頻也就越逼真、越難以鑒別”。

但蕭子豪也認(rèn)為，如果將防范的責(zé)任全部交給個(gè)人，有點(diǎn)太為難他們。由于AI偽造的音視頻已經(jīng)如此逼真、自然，很難要求所有老年小孩分辨清楚對面是真是假。他認(rèn)為，未來離不開公共管理部門和互聯(lián)網(wǎng)平臺承擔(dān)起保護(hù)者責(zé)任。

03 技術(shù)防范仍滯后

深度偽造技術(shù)帶來的詐騙問題，已催生檢測識別平臺的涌現(xiàn)。

依托清華大學(xué)人工智能研究院發(fā)起設(shè)立的瑞萊智慧公司，2021年研發(fā)了一款名為DeepReal的深度偽造內(nèi)容檢測工具，可檢測人臉、人聲的真?zhèn)涡浴?/p>

蕭子豪解釋，檢測算法模型首先分析圖像是否有篡改痕跡，比如液化、拉伸、放縮等；其次再看人臉符不符合生物學(xué)常識，比如眼睛是否長時(shí)間不眨動(dòng)、牙齒的縫隙清晰與否。一些比較差的AI技術(shù)，就會(huì)露餡。通過組合前述兩種分析結(jié)果，算法模型去做最終的真?zhèn)握J(rèn)定?！斑@款檢測工具目前主要用于公安、銀行等業(yè)務(wù)場景。”蕭子豪介紹。

AI換臉詐騙引起熱議后，國內(nèi)AI檢測識別類公司迎來商機(jī)。美亞柏科公司5月23日發(fā)布消息稱，其研發(fā)的AI-3300“慧眼”設(shè)備，支持當(dāng)前絕大部分深偽視頻圖像篡改方法的檢測。3月3日，傳播內(nèi)容認(rèn)知全國重點(diǎn)實(shí)驗(yàn)室推出AI生成內(nèi)容檢測工具AIGC-X。早在2020年9月，影譜科技公司也曾發(fā)布過一款“AI視頻鑒偽鑒定平臺”。

國外亦誕生不少專門研發(fā)AI深度偽造鑒別工具的公司。據(jù)商業(yè)研究機(jī)構(gòu)StartUs Insights的統(tǒng)計(jì)，排名前五的初創(chuàng)企業(yè)包括荷蘭的Sensity公司、西班牙的OARO公司、愛沙尼亞的Sentinel公司、瑞士的Quantum+Integrity公司以及印度的Group Cyber ID公司。

但蕭子豪坦言，目前，深度偽造及內(nèi)容生成的技術(shù)領(lǐng)先于相應(yīng)的檢測技術(shù)，“很多熱錢涌入AIGC領(lǐng)域，以至該賽道的技術(shù)迭代非常快，而防御技術(shù)的更新會(huì)慢一些”。

蕭子豪認(rèn)為，平臺應(yīng)引入深度偽造鑒別技術(shù)。具體而言，一旦識別出疑似AI偽造的語音或視頻電話，平臺應(yīng)彈出風(fēng)險(xiǎn)提示，提醒用戶仔細(xì)確認(rèn)對方身份。但由于此種風(fēng)控機(jī)制不會(huì)給平臺增加業(yè)務(wù)營收，相反還會(huì)拉高成本，所以還得依靠公共管理部門或社會(huì)輿論去督促平臺履行。

面對AI新型詐騙，謝玲也支持強(qiáng)化互聯(lián)網(wǎng)企業(yè)的風(fēng)險(xiǎn)識別能力建構(gòu)。2022年12月施行的《反電信網(wǎng)絡(luò)詐騙法》明確了互聯(lián)網(wǎng)企業(yè)的風(fēng)險(xiǎn)防控責(zé)任，平臺有義務(wù)針對AI詐騙進(jìn)行技術(shù)篩查、攔截和報(bào)告。

謝玲還給出兩種前置解決思路——減少盜號的發(fā)生，以及提升盜號后的申訴處置效率。她解釋說，當(dāng)賬號陌生好友發(fā)送含有鏈接的消息時(shí)，平臺若檢測到鏈接有詐騙風(fēng)險(xiǎn)，應(yīng)及時(shí)提醒用戶不要輕易點(diǎn)擊。而一旦賬號被盜，平臺則需暢通申訴渠道，更快速地介入處理用戶申訴，甚至可以在詐騙分子著手實(shí)施AI詐騙之前，平臺把被盜號的情況，自動(dòng)通知該用戶的全體好友，將風(fēng)險(xiǎn)防范于未然。

此外，法律監(jiān)管層面，中國已經(jīng)專門針對深度合成技術(shù)的提供者施加了反詐義務(wù)。2023年1月10日施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》規(guī)定了深度合成服務(wù)提供者的主體責(zé)任，其中包括建立健全反電信網(wǎng)絡(luò)詐騙的管理制度，具有安全可控的技術(shù)保障措施。

關(guān)鍵詞：