生成式人工智能（GAI）時(shí)代，似乎沒有什么不能被顛覆，連人們一直堅(jiān)信不疑的“眼見為實(shí)”“有圖有真相”也逐漸成為空話。 今年春節(jié)期間，OpenAI發(fā)布的文生視頻模型Sora橫空出世，被認(rèn)為是“AGI（人工通用智能）的重要里程碑”，將顛覆視頻內(nèi)容生成方式。Sora的出現(xiàn)，振奮科技圈的同時(shí)也衍生出了擔(dān)憂的情緒。有專家稱，這類技術(shù)可能會(huì)導(dǎo)致“深度偽造”視頻增多，讓人難以識(shí)別真?zhèn)?。OpenAI自己也承認(rèn)，無法預(yù)測人們使用Sora的所有有益方式，也無法預(yù)測人們?yōu)E用它的所有方式。 Sora根據(jù)提示詞生成的視頻畫面截圖 圖片來源：OpenAI官網(wǎng) 在Sora誕生之前，AI“深度偽造”技術(shù)已經(jīng)在海內(nèi)外引發(fā)擔(dān)憂，知名明星與跨國公司相繼成為AI“深度偽造”的受害者。今年1月底，明星泰勒·斯威夫特（Taylor Swift，中文綽號(hào)“霉霉”）大量虛假“不雅照片”在社交平臺(tái)上傳播。此事震動(dòng)美國白宮，并掀起一波關(guān)于人工智能的擔(dān)憂。2月4日，據(jù)香港文匯報(bào)報(bào)道，有詐騙集團(tuán)利用AI“深度偽造”技術(shù)向一家跨國公司的香港分公司實(shí)施詐騙，并成功騙走2億港元，這也是香港迄今為止損失最大的“換臉”案例。 諸如此類的案例越來越多，人工智能帶來的新型焦慮正在形成。瑞萊智慧Real AI聯(lián)合創(chuàng)始人&算法科學(xué)家蕭子豪在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)就表示，他們判斷，2024年這種利用AI“深度偽造”技術(shù)實(shí)施的詐騙案件會(huì)進(jìn)一步增加，因?yàn)椤吧疃葌卧臁奔夹g(shù)工程化落地速度很快，“即使是不了解技術(shù)的普通人，也能夠制作‘深度偽造’的內(nèi)容”。 娛樂還是犯罪？ “深度偽造”一詞譯自英文“Deepfake”（deep learning和fake的組合），現(xiàn)亦稱深度合成（Deep Synthesis）?！癉eepfake”誕生于美國。2017年，美國一名為Deepfake的用戶在社交網(wǎng)站Reddit上發(fā)布了一則與知名演員有關(guān)的偽造視頻，這項(xiàng)技術(shù)隨后被迅速應(yīng)用到多個(gè)領(lǐng)域，包括色情、政治、廣告、娛樂等。 上海合合信息科技股份有限公司（以下簡稱“合合信息”）圖像算法研發(fā)總監(jiān)郭豐俊告訴《每日經(jīng)濟(jì)新聞》記者，在國內(nèi)，“深度偽造”技術(shù)有積極應(yīng)用，也有負(fù)面應(yīng)用。 積極應(yīng)用往往在于：一、個(gè)人娛樂。一些APP可為用戶提供藝術(shù)照模板，通過換臉形式生成用戶照片，用戶足不出戶也能“拍”出好看照片。此外，“深度偽造”技術(shù)也可用于制作搞笑視頻、模仿名人表演，但這可能涉及版權(quán)和道德等問題；二、教育。Deepfake技術(shù)合成的歷史人物講解視頻讓教學(xué)更有趣味性；三、影視制作。如電影、電視劇及綜藝節(jié)目中演員換臉，紀(jì)錄片中為保護(hù)參演者隱私和安全而換臉等；四、醫(yī)療。醫(yī)院描述或診斷患者面部肌肉疾病時(shí)，如果將患者人臉打馬賽克，就看不出面部癥狀，這時(shí)應(yīng)用Deepfake技術(shù)，可把病人視頻里的臉，換成一張假臉，既可以保留人臉的運(yùn)動(dòng)信息，亦保護(hù)了病人隱私；五、藝術(shù)。比如有美術(shù)館利用Deepfake技術(shù)讓已故的藝術(shù)家“現(xiàn)身”講述自己的故事和作品等。 但現(xiàn)實(shí)生活中，“深度偽造”技術(shù)也被廣泛應(yīng)用于詐騙、色情等非法場景。比如，一些不法分子借助“深度偽造”技術(shù)散布虛假視頻，甚至制造虛假新聞，危害社會(huì)；隨著視頻換臉技術(shù)門檻降低，別有用心之人利用“深度偽造”技術(shù)可以輕易盜用他人身份，實(shí)施商業(yè)詆毀、敲詐勒索、網(wǎng)絡(luò)攻擊和犯罪等。 記者注意到，目前，海內(nèi)外均有大量由“深度偽造”技術(shù)引發(fā)的深度造假案例，這些案例普遍造成了不小的負(fù)面影響。 比如，近日被傳出大量虛假“不雅照”的泰勒·斯威夫特。據(jù)九派新聞報(bào)道，泰勒·斯威夫特正考慮對(duì)生成這些圖片的網(wǎng)站采取法律行動(dòng)。1月26日的美國白宮記者會(huì)上，發(fā)言人讓-皮埃爾被問及此事時(shí)表示：“我們對(duì)此類圖像流傳感到擔(dān)憂，更確切地說，是虛假圖像，這令人擔(dān)憂?！睋?jù)澎湃新聞報(bào)道，這不是泰勒·斯威夫特第一次被AI“造假”。在這次“不雅照”事件前不久，一則由人工智能生成的泰勒·斯威夫特帶貨廣告在海外社交媒體上傳播。這則虛假廣告利用“深度偽造”技術(shù)，合成“霉霉”的聲音，并將聲音及她的形象和某品牌炊具廣告片段拼湊在一起，以“霉霉”身份宣稱免費(fèi)向粉絲贈(zèng)送炊具，引導(dǎo)受害者點(diǎn)擊并支付9.96美元運(yùn)費(fèi)，但炊具不會(huì)真的送出去。 泰勒·斯威夫特深受“深度偽造”困擾的背后，女性正成為不法分子實(shí)施侵害的重要目標(biāo)群體，他們利用“深度偽造”技術(shù)制造各種女性不雅視頻、圖片牟利。據(jù)網(wǎng)絡(luò)安全研究機(jī)構(gòu)Sensity在2020年秋季發(fā)布的報(bào)告，在Telegram的應(yīng)用中，至少有10.48萬名女性“被裸體”，而在分發(fā)這些照片的7個(gè)頻道中，累計(jì)用戶超過10萬。根據(jù)Sensity的追蹤調(diào)查，Telegram應(yīng)用中超七成的使用者表示他們上傳的照片是通過社交平臺(tái)，或其他私人渠道取得的。 英國Wired雜志于2020年發(fā)布的一篇報(bào)道也曾指出，2020年7月以來，至少有10萬名女性被“深度偽造”應(yīng)用DeepNude（深度偽造軟件，現(xiàn)已下架）創(chuàng)建了裸照，其中一些人不到18歲。 一些國家的政客也成為不法分子制造虛假視頻的對(duì)象。1月21日，美國新罕布什爾州一些選民稱接到了“拜登總統(tǒng)”的自動(dòng)留言電話，告訴接聽者不要在該州初選中投票。美國白宮新聞秘書卡琳·讓-皮埃爾（Karine Jean-Pierre）次日回應(yīng)稱：“那通電話確實(shí)是假的，（拜登）總統(tǒng)沒有錄音。我可以證實(shí)這一點(diǎn)?！? 更嚴(yán)重的還有，Deepfake甚至參與到了戰(zhàn)爭當(dāng)中，成為“新型武器”。2022年3月，一條烏克蘭總統(tǒng)弗拉基米爾·澤連斯基（Volodymyr Zelensky）的“視頻”被廣泛傳播，在該視頻中，澤連斯基呼吁烏克蘭士兵放下武器投降。事件發(fā)生后，烏克蘭國防部在其海外社交媒體官方賬號(hào)發(fā)布了澤連斯基的視頻，并配文稱：“請(qǐng)注意，這是不可能的。” 在國內(nèi)，中國香港近期發(fā)生了一起規(guī)模龐大的AI“深度偽造”詐騙案。詐騙者通過搜集一家跨國公司英國高層在YouTube上的公開影像，再利用AI“深度偽造”技術(shù)，給詐騙者換上公司高層的面部和聲音，從而實(shí)施詐騙，并成功從香港分公司騙走2億港元。這起巨額詐騙案發(fā)生前，今年1月中下旬，香港特別行政區(qū)行政長官李家超也成為“深度偽造”的目標(biāo)。網(wǎng)上出現(xiàn)了用人工智能偽造的電視節(jié)目片段，冒稱李家超向市民推介一項(xiàng)高回報(bào)的投資計(jì)劃。特區(qū)政府立即嚴(yán)正澄清，稱有關(guān)影片全屬偽造，行政長官從未作出相關(guān)言論。 去年5月初，內(nèi)蒙古包頭市公安局電信網(wǎng)絡(luò)犯罪偵查局發(fā)布一起使用智能AI技術(shù)進(jìn)行電信詐騙的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通過微信視頻聯(lián)系他，聲稱自己的朋友在外地投標(biāo)，需要430萬元保證金，想借用郭先生公司的賬戶走賬?；谝曨l聊天信任的前提，郭先生并未核實(shí)錢是否到賬，就陸續(xù)轉(zhuǎn)給對(duì)方共計(jì)430萬元，之后郭先生才發(fā)現(xiàn)被騙。 個(gè)人娛樂方面，北京市中聞（長沙）律師事務(wù)所律師劉凱告訴《每日經(jīng)濟(jì)新聞》記者，2022年8月，成都鐵路運(yùn)輸?shù)谝环ㄔ涸粚弻徖砹艘慌褂谩癆I換臉”App程序侵害他人肖像權(quán)的案件。古風(fēng)漢服網(wǎng)紅魏某起訴了4家運(yùn)營AI換臉軟件的公司，認(rèn)為對(duì)方在自己未授權(quán)的情況下上傳包含她肖像的視頻作品，生成AI換臉視頻，侵犯了其肖像權(quán)。記者了解到，國內(nèi)之前涌現(xiàn)過一批換臉APP，但這些APP中有部分目前已經(jīng)被下架，如ZAO、去演等。 大模型技術(shù)正降低“深度偽造”門檻 “深度偽造”是指利用深度學(xué)習(xí)技術(shù)生成合成圖像、音頻或視頻的技術(shù)。由于公眾人物的視頻、音頻、圖片資料的公開性，為AI訓(xùn)練提供了大量素材，因此，這些名人頻繁成為AI造假的“受害者”。從技術(shù)原理上看，“深度偽造”的實(shí)現(xiàn)主要依賴于深度神經(jīng)網(wǎng)絡(luò)，特別是生成對(duì)抗網(wǎng)絡(luò)（GAN）。通過訓(xùn)練大量的面部圖像數(shù)據(jù)，“深度偽造”模型能夠?qū)W習(xí)面部特征之間的潛在關(guān)系，并生成與真實(shí)面部特征高度相似的虛假面部特征。 郭豐俊告訴記者，“深度偽造”與國內(nèi)常見的“AI換臉”不能等同，后者只是前者的一種典型應(yīng)用形式?！爱?dāng)談到Deepfake技術(shù)時(shí)，國內(nèi)和國外的研究團(tuán)隊(duì)都已經(jīng)達(dá)到相當(dāng)高的技術(shù)程度。相較于國內(nèi)，國外擁有更多的應(yīng)用程序和網(wǎng)站，這些平臺(tái)提供了更多Deepfake制作工具，使用戶能夠相對(duì)容易地生成和分享Deepfake內(nèi)容?！? 運(yùn)用Sora也可以生成高清圖像 圖片來源：OpenAI官網(wǎng) 浙江大學(xué)國際聯(lián)合商學(xué)院數(shù)字經(jīng)濟(jì)與金融創(chuàng)新研究中心聯(lián)席主任、研究員盤和林也告訴記者，國外對(duì)此類“深度偽造”算法限制較少，應(yīng)用工具較多。在工具豐富的背景下，這項(xiàng)技術(shù)的普及度就相對(duì)高?！皣鴥?nèi)是有一定使用限制的，我們有監(jiān)管?！北P和林表示。 蕭子豪則提到，其實(shí)國內(nèi)通過“AI換臉”實(shí)施的詐騙還是很常見，只是大眾接觸到的案例較少。一方面，太多案例可能會(huì)造成大眾恐慌；另一方面，這些案例廣泛傳播可能會(huì)給犯罪分子以詐騙“靈感”。他透露，瑞萊智慧已經(jīng)幫助很多銀行在金融場景抵御AI換臉詐騙的攻擊。 他認(rèn)為，隨著AI技術(shù)的發(fā)展與普及，“深度偽造”技術(shù)在犯罪中的應(yīng)用確實(shí)呈現(xiàn)出增加的趨勢，“而且我們判斷，在2024年這種利用深度偽造實(shí)施的詐騙案件會(huì)進(jìn)一步增加”。蕭子豪給出的理由包括，隨著“深度偽造”相關(guān)軟件和工具的開發(fā)普及，即使是不了解技術(shù)的普通人，也能制作深度偽造的內(nèi)容。此外，AI技術(shù)的進(jìn)步也讓“深度偽造”內(nèi)容產(chǎn)生的速度更快、更難被人眼識(shí)別。 “大模型技術(shù)能夠用更少的人臉數(shù)據(jù)來給特定人構(gòu)造高逼真的人臉模型，降低了不法分子制作人臉視頻的成本?！笔捵雍勒f。 對(duì)于“深度偽造”技術(shù)應(yīng)用不當(dāng)可能帶來的社會(huì)危害，郭豐俊認(rèn)為，虛假合成影像可能會(huì)沖擊社會(huì)信任、媒體信任，嚴(yán)重時(shí)還會(huì)威脅社會(huì)公共安全。此外，深度造假影像還可能會(huì)讓公司名譽(yù)、財(cái)產(chǎn)遭受損失，還能令個(gè)人名譽(yù)、財(cái)產(chǎn)、精神受到損害。 目前法律法規(guī)是否足夠完善？ 大量深度造假視頻或圖片的出現(xiàn)，讓海內(nèi)外衍生出新一輪AI擔(dān)憂。 據(jù)央視新聞，今年1月“假拜登來電”引發(fā)美國社會(huì)關(guān)于人工智能“深度偽造”可能影響大選的討論，同時(shí)也延伸帶出美國相關(guān)的監(jiān)管政策和立法跟進(jìn)遲緩的質(zhì)疑。美國政府監(jiān)管組織“捍衛(wèi)公眾利益組織”負(fù)責(zé)人羅伯特·韋斯曼批評(píng)稱，政治“深度偽造”時(shí)刻已經(jīng)到來，政策制定者必須盡快采取保護(hù)措施，否則將面臨選舉混亂?！吧疃葌卧臁睍?huì)播下混亂的種子，使欺詐行為永久化。美國消費(fèi)者技術(shù)協(xié)會(huì)首席執(zhí)行官夏皮羅認(rèn)為，“政府需要在人工智能領(lǐng)域扮演重要角色，確保設(shè)置安全屏障和護(hù)欄，讓產(chǎn)業(yè)內(nèi)人士知道，哪些能做，哪些不能做”。 泰勒·斯威夫特AI不雅照事件發(fā)生后，盤和林曾對(duì)外發(fā)布署名文章《用AI打敗AI“深度造假”》。該文章同樣提到，美國雖然已經(jīng)在推動(dòng)AI立法，但大部分提案還停留在紙面階段。 相對(duì)于美國，中國在“深度偽造”方面的立法走得相對(duì)靠前。記者獲悉，早在2019年11月，國家互聯(lián)網(wǎng)信息辦公室、文化和旅游部、國家廣播電視總局便聯(lián)合印發(fā)《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》，并于2020年1月1日起施行。該規(guī)定對(duì)網(wǎng)絡(luò)音視頻服務(wù)的使用者和提供者均提出要求，即利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實(shí)音視頻信息的，應(yīng)當(dāng)以顯著方式予以標(biāo)識(shí)，不得利用基于深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息。 圖片來源：每日經(jīng)濟(jì)新聞 劉國梅 攝 2022年，國家互聯(lián)網(wǎng)信息辦公室、工信部和公安部制定的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》明確，深度合成服務(wù)者應(yīng)采取技術(shù)或人工方式對(duì)使用者的輸入數(shù)據(jù)和合成結(jié)果進(jìn)行審核。去年8月，國家互聯(lián)網(wǎng)信息辦公室還在《人臉識(shí)別技術(shù)應(yīng)用安全管理規(guī)定（試行）（征求意見稿）》中明確，人臉識(shí)別技術(shù)使用者應(yīng)每年對(duì)圖像采集設(shè)備、個(gè)人身份識(shí)別設(shè)備的安全性和可能存在的風(fēng)險(xiǎn)進(jìn)行檢測評(píng)估，采取有效措施保護(hù)圖像采集設(shè)備、個(gè)人身份識(shí)別設(shè)備免受攻擊、侵入、干擾和破壞。 劉凱向《每日經(jīng)濟(jì)新聞》記者表示，實(shí)際上，目前世界各國對(duì)于“人工智能/Artificial Intelligence”未有一個(gè)確定的最終定義，均是作為一類計(jì)算機(jī)應(yīng)用的統(tǒng)稱?！熬臀伊私獾降那闆r，目前世界上也沒有國家制定一部專門針對(duì)人工智能的統(tǒng)一監(jiān)管規(guī)則?！? 不過，我國在人工智能的立法方面緊跟行業(yè)前沿，這兩年陸續(xù)出臺(tái)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理辦法》三部主要法規(guī)，加之此前出臺(tái)的《網(wǎng)絡(luò)安全法》等系列法律法規(guī)，可以說已經(jīng)為人工智能打造了多元化監(jiān)管格局，實(shí)現(xiàn)了多維譜系法律法規(guī)協(xié)同治理。 “對(duì)于泰勒·斯威夫特AI不雅照的深度偽造，在我國的法律規(guī)定中可適用的主要條文有：《民法典》第一千零一十九條第一款、《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》第十四條第二款、《生成式人工智能服務(wù)管理暫行辦法》第四條第四款規(guī)定。”劉凱說。 攻與防：AI打敗AI可行嗎？ 身處生成式AI時(shí)代，如何有效監(jiān)管和減少“深度偽造”產(chǎn)生的虛假信息，成為全球關(guān)注的一項(xiàng)重要議題。盤和林在《用AI打敗AI“深度造假”》一文中曾提及一個(gè)觀點(diǎn)：“能夠監(jiān)管生成式AI的，不是工業(yè)時(shí)代的法律條文，而是AI技術(shù)自身。我們不但要發(fā)展AI技術(shù)，更要讓正義力量盡可能多地掌握AI技術(shù)，這樣才能對(duì)不法分子形成技術(shù)壓制。” 那么，用AI打敗AI造假可行嗎？ 對(duì)此，郭豐俊告訴記者，“國內(nèi)做AI篡改鑒別的企業(yè)已有不少，既有如中國電信這樣的央企，又有如瑞萊智慧、中科睿鑒這類大學(xué)/科學(xué)院孵化的科技公司，還有網(wǎng)易、合合信息這樣深耕AI行業(yè)多年的企業(yè)?！彼€進(jìn)一步指出，國內(nèi)科研團(tuán)隊(duì)在“深度偽造”鑒別方面已處于世界先進(jìn)水平。不同的國內(nèi)研究團(tuán)隊(duì)多次在國際知名篡改檢測大賽中獲得冠亞軍的好名次。 以合合信息自身為例，郭豐俊透露，公司在文檔/證照?qǐng)D像上有較多的AI篡改檢測技術(shù)積累。目前，合合信息研發(fā)的針對(duì)證件及票據(jù)圖片的AI篡改檢測與定位技術(shù)、AI甄別偽造人臉圖像的技術(shù)等已經(jīng)在金融、保險(xiǎn)行業(yè)得到廣泛應(yīng)用。除了金融安全場景，郭豐俊認(rèn)為，虛假新聞判斷、謠言識(shí)別與分析等公共安全、媒體內(nèi)容安全場景也有大量的需求，合合信息正積極探索這些場景的技術(shù)應(yīng)用。 蕭子豪表示，瑞萊智慧從2018年開始就持續(xù)關(guān)注“深度偽造”技術(shù)，并一直投入研發(fā)資源進(jìn)行“深度偽造”的檢測與防御。“例如2023年，我們幫助某銀行在轉(zhuǎn)賬業(yè)務(wù)場景下防御了上千次深度偽造攻擊?！? 圖片來源：公司官網(wǎng) 他告訴記者，瑞萊智慧一直在研發(fā)迭代更先進(jìn)的算法，同時(shí)也研發(fā)了一整套深度偽造攻防靶場系統(tǒng)，通過自動(dòng)化對(duì)抗來提升防御的能力。此外，公司也密切獲取不法分子最新的偽造方法，及時(shí)進(jìn)行測試和防御能力增強(qiáng)。 “伴隨新型偽造方法的層出不窮、網(wǎng)絡(luò)傳播環(huán)境的日趨復(fù)雜，加上基于深度神經(jīng)網(wǎng)絡(luò)的檢測算法存在結(jié)構(gòu)性缺陷等，反深偽檢測技術(shù)也面臨‘強(qiáng)對(duì)抗性’，需要持續(xù)更新與迭代優(yōu)化。類似于‘貓鼠游戲’，深度合成和檢測在不斷學(xué)習(xí)攻防過程中會(huì)自我進(jìn)化，規(guī)避上一代的對(duì)抗技術(shù)。為了能在對(duì)抗攻防中掌握主動(dòng)權(quán)，未來，反深偽檢測技術(shù)的發(fā)展需融合多模態(tài)內(nèi)容的取證分析等多方面能力，實(shí)現(xiàn)偽造內(nèi)容的精準(zhǔn)識(shí)別，打造可信內(nèi)容體系?！笔捵雍勒f。