攻擊人工智能系統(tǒng)對(duì)社會(huì)治安的危害與對(duì)策

　　摘要：本文基于攻擊人工智能系統(tǒng)對(duì)社會(huì)治安形成的危害，包括危害交通安全、擾亂治安管理、侵犯公民人身權(quán)利和侵犯公民財(cái)產(chǎn)權(quán)利等，對(duì)應(yīng)對(duì)對(duì)策和未來發(fā)展趨勢(shì)進(jìn)行了探討。根據(jù)其產(chǎn)生的危害結(jié)果，從強(qiáng)化公安機(jī)關(guān)技術(shù)防范能力、建立人工智能系統(tǒng)評(píng)估體系、加強(qiáng)人工智能從業(yè)人員及企業(yè)管理、提高公民自我保護(hù)意識(shí)等四個(gè)方面提出了對(duì)策建議。

　　本文源自范艷奇; 田華偉， 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用 發(fā)表時(shí)間：2021-04-12 《網(wǎng)絡(luò)安全技術(shù)與應(yīng)用》雜志成立于2003年，先由中華人民共和國(guó)公安部主管、中國(guó)人民公安大學(xué)出版社主辦。從2009年起，本刊改由中華人民教育部主管，北京大學(xué)出版社主辦，是國(guó)內(nèi)網(wǎng)絡(luò)安全技術(shù)與應(yīng)用領(lǐng)域行業(yè)指導(dǎo)性科技月刊，國(guó)內(nèi)外公開發(fā)行。本刊系“三高兩強(qiáng)”刊物，即信息量高、學(xué)術(shù)水平高、技術(shù)含量高;專業(yè)性強(qiáng)、應(yīng)用性強(qiáng)。

　　關(guān)鍵詞：人工智能系統(tǒng);社會(huì)治安;安全危害;防范對(duì)策

　　基金：本文系國(guó)家重點(diǎn)研發(fā)計(jì)劃課題“重大活動(dòng)食品安全警務(wù)情報(bào)研判技術(shù)及系統(tǒng)研發(fā)”(項(xiàng)目編號(hào)：2018YFC1602700)和國(guó)家自然科學(xué)基金項(xiàng)目“類自然隱寫基礎(chǔ)理論與關(guān)鍵技術(shù)研究”(項(xiàng)目編號(hào)：61972405)的研究成果之一

　　近年來，人工智能技術(shù)在計(jì)算機(jī)視覺、自然語言處理、語音識(shí)別等領(lǐng)域取得了突破性進(jìn)展，其在完成人臉識(shí)別等特定任務(wù)上的速度和精準(zhǔn)度已追平甚至超越人類。社會(huì)各個(gè)行業(yè)都已開展了人工智能系統(tǒng)的應(yīng)用，對(duì)其進(jìn)行攻擊會(huì)給社會(huì)治安帶來嚴(yán)重的危害。人工智能系統(tǒng)的安全性直接攸關(guān)人民生命財(cái)產(chǎn)安全。公安機(jī)關(guān)作為維護(hù)社會(huì)治安主要責(zé)任機(jī)關(guān)，開展攻擊人工智能系統(tǒng)的防范對(duì)策研究迫在眉睫。

　　1 攻擊人工智能系統(tǒng)的方法對(duì)社會(huì)治安的危害

　　惡意攻擊者攻擊人工智能系統(tǒng)的方法主要包括對(duì)抗樣本攻擊、數(shù)據(jù)污染攻擊、模型萃取攻擊、系統(tǒng)漏洞攻擊、模型后門攻擊以及模型逆向攻擊。攻擊者利用攻擊達(dá)到的目的可以大致分為兩類：(1)竊取系統(tǒng)內(nèi)的信息或者模型信息;(2)干擾人工智能能系統(tǒng)功能或降低其性能[1]。這些攻擊方式所達(dá)到的這兩類目標(biāo)會(huì)對(duì)社會(huì)治安產(chǎn)生一系列的危害，具體可分為以下幾種。

　　1.1 危害交通安全

　　智能交通對(duì)于國(guó)家的發(fā)展起著至關(guān)重要的作用，在 2019 中國(guó)智能交通年會(huì)上，介紹了交通運(yùn)輸?shù)膸讉€(gè)重要的工作，包括自動(dòng)駕駛、智慧公路和智能航運(yùn)三個(gè)方面。人工智能技術(shù)是智能交通實(shí)現(xiàn)的支撐力量，但是攻擊者利用攻擊人工智能系統(tǒng)來干擾系統(tǒng)功能會(huì)對(duì)智慧交通產(chǎn)生很多現(xiàn)實(shí)的危害。

　　對(duì)于自動(dòng)駕駛的交通工具，密歇根州華盛頓大學(xué)和加州大學(xué)伯克利分校的研究人員在 2017 年通過研究發(fā)現(xiàn)，利用對(duì)抗樣本攻擊的方式，將停止標(biāo)志進(jìn)行小幅度的調(diào)整，則可使自動(dòng)駕駛汽車的計(jì)算機(jī)視覺算法不可見[2]，這意味著黑客可以強(qiáng)迫自動(dòng)駕駛汽車以危險(xiǎn)的方式行駛并可能導(dǎo)致事故，這樣路標(biāo)路牌就成了一個(gè)非常大的危害。與傳統(tǒng)交通相比，人工智能帶來的智能交通將會(huì)給人類社會(huì)帶來巨大的人力成本的節(jié)約，如在貨運(yùn)、物流等方面的使用度會(huì)越來越高，但是在自動(dòng)駕駛技術(shù)內(nèi)，對(duì)判斷、路測(cè)等方面的智能算法的攻擊也會(huì)給路面交通，海面航行帶來巨大的挑戰(zhàn)。根據(jù)對(duì)抗樣本攻擊中對(duì)抗樣本的不同，攻擊者也可以使用帶有語意的激光束來命令汽車的走向，使得汽車錯(cuò)誤的聽從攻擊者發(fā)出的激光束的語意來行走，這對(duì)交通安全將會(huì)產(chǎn)生極大的危害[2]。攻擊者利用模型后門的攻擊方式也會(huì)對(duì)交通安全產(chǎn)生巨大的安全隱患，如果在訓(xùn)練自動(dòng)駕駛汽車的智能系統(tǒng)時(shí)就植入后門，如將右轉(zhuǎn)交通標(biāo)志牌上添加 trigger 后，將會(huì)被后門模型預(yù)測(cè)為左轉(zhuǎn)標(biāo)志牌。因此在使用模型之前，檢查預(yù)先訓(xùn)練的 DNN 是否已經(jīng)被木馬化是必不可少的。

　　1.2 擾亂治安管理

　　目前，在維護(hù)社會(huì)治安的智能設(shè)備中，使用最多最為廣泛的智能設(shè)備之一就是智能攝像頭。智能攝像頭對(duì)維護(hù)社會(huì)治安來說起著至關(guān)重要的作用，智能攝像頭主要使用于公民的日常生活，例如攝像頭門禁、智能手機(jī)開鎖、臉部識(shí)別支付等，對(duì)于公安機(jī)關(guān)，智能攝像頭通常設(shè)置在道路、卡口、銀行等處，可用于人像的捕捉和案件預(yù)警，追捕犯罪嫌疑人和犯罪嫌疑車輛。但是通過攻擊人工智能系統(tǒng)來干擾智能系統(tǒng)的功能，會(huì)使得這些設(shè)備不能進(jìn)行有效的使用。經(jīng)過實(shí)驗(yàn)，若用特制的紙片戴在識(shí)別對(duì)象身上，則會(huì)使得智能攝像頭不能辨認(rèn)出人的信號(hào)，這樣公安機(jī)關(guān)在抓捕逃犯或者智能攝像頭在預(yù)測(cè)預(yù)警時(shí)，嫌疑人即可以逃脫智能攝像頭的捕捉。除了對(duì)抗樣本攻擊，模型后門的攻擊方式還可以在訓(xùn)練中設(shè)定攻擊者指定的人臉觸發(fā)器，讓系統(tǒng)對(duì)于攻擊者設(shè)定的指定人臉不能正確識(shí)別。同樣對(duì)于攝像頭門禁等，對(duì)智能攝像頭系統(tǒng)進(jìn)行攻擊，也可以使得攝像頭出現(xiàn)識(shí)別失誤，對(duì)社會(huì)治安的預(yù)測(cè)預(yù)警工作和公民人身、財(cái)產(chǎn)安全都會(huì)帶來危害。

　　1.3 侵犯公民人身權(quán)利

　　公民人身權(quán)利主要包括公民隱私權(quán)、姓名權(quán)、肖像權(quán)等。竊取、售賣、不法使用公民人身信息，會(huì)造成對(duì)公民各類人身權(quán)利的侵犯。隨著科技不斷發(fā)展，現(xiàn)在人工智能系統(tǒng)的使用已經(jīng)遍布各行各業(yè)。人工智能系統(tǒng)內(nèi)數(shù)據(jù)量大，并且公民的個(gè)人信息、生活信息等不斷被這些智能系統(tǒng)所記錄并保留下來。如今售賣公民信息的案件層出不窮，且以低價(jià)就能購得大批量的各類公民信息，若這些擁有巨大信息量的公司和企業(yè)的人工智能系統(tǒng)被攻擊，那么公民的這些信息將會(huì)被竊取，公民的隱私權(quán)將會(huì)受到侵犯。如果公民的照片、姓名等被竊取并被用于牟利或者違法使用，也會(huì)侵犯公民的肖像權(quán)和姓名權(quán)等人身權(quán)利。同時(shí)，公民的這些個(gè)人信息被竊取，將會(huì)產(chǎn)生一系列的人身或者財(cái)產(chǎn)的安全隱患問題。

　　1.4 侵犯公民財(cái)產(chǎn)權(quán)利

　　科技的進(jìn)步雖然給人們帶來了諸多便利，但是在帶來便利的同時(shí)也給經(jīng)濟(jì)犯罪提供了越來越有利的詐騙和勒索的手段。通過攻擊人工智能系統(tǒng)竊取信息不僅僅會(huì)導(dǎo)致公民個(gè)人信息泄漏，侵犯公民人身權(quán)利，還會(huì)侵犯公民的財(cái)產(chǎn)權(quán)。獲取公民一系列個(gè)人信息可以使得盜竊犯罪分子可以進(jìn)行推斷家庭人口情況、年齡分布和數(shù)量還有收入情況，可以幫助其有效分辨哪些家庭比較容易著手進(jìn)行盜竊。現(xiàn)在電子商務(wù)行業(yè)非常發(fā)達(dá)，根據(jù) 2019 年電子商務(wù)行業(yè)數(shù)據(jù)報(bào)告來看，2019 年移動(dòng)購物用戶規(guī)模達(dá) 7 億人，快遞企業(yè)業(yè)務(wù)量達(dá) 156.1 億件，如此龐大的用戶數(shù)據(jù)量，如果被竊取將會(huì)產(chǎn)生大量的連鎖犯罪，如犯罪分子在竊取到公民購物信息和快遞信息后，可以將信息售賣以侵犯公民隱私權(quán)，犯罪分子還可以使用該信息制作假的快遞包裹“送貨上門”，欺騙購物者不知情的家庭成員以貨到付款的方式進(jìn)行詐騙，受騙人往往由于地址、姓名、電話、購買的物品等都能對(duì)上而相信犯罪分子并且將錢財(cái)給予犯罪分子。這類詐騙最近頻發(fā)，而且作案成功率較高，要杜絕這類犯罪，源頭是保護(hù)存儲(chǔ)信息的人工智能系統(tǒng)，使得公民的信息不受侵犯。公民信息被竊取除了會(huì)誘發(fā)詐騙犯罪以外，甚至還會(huì)誘發(fā)勒索犯罪。若公民個(gè)人不愿意被其他人知道的隱私被攻擊者竊取，那么很有可能會(huì)發(fā)生攻擊者利用竊取到的隱私信息威脅公民，來獲取錢財(cái)?shù)姆缸镄袨椤?/p>

　　2 攻擊人工智能系統(tǒng)面臨危害的對(duì)策

　　攻擊人工智能系統(tǒng)給社會(huì)治安造成的危害是多方面的。隨著科技的不斷進(jìn)步，攻擊人工智能系統(tǒng)的方式也不斷增多。數(shù)字化社會(huì)里，公安機(jī)關(guān)使用的人工智能系統(tǒng)存儲(chǔ)了大量的秘密信息和公民信息。如果被攻擊，那么造成的后果往往不堪設(shè)想。公安機(jī)關(guān)作為維護(hù)社會(huì)安全與和諧穩(wěn)定的權(quán)力機(jī)關(guān)，亟須對(duì)這些攻擊采取相應(yīng)的防范對(duì)策，以免其造成嚴(yán)重的危害結(jié)果。

　　2.1 強(qiáng)化公安機(jī)關(guān)技術(shù)防范能力

　　由于在公安工作中公安隊(duì)伍技術(shù)力量較為薄弱，許多供其使用的人工智能系統(tǒng)都是公安機(jī)關(guān)與外界公司聯(lián)合開發(fā)。公安機(jī)關(guān)只需要負(fù)責(zé)提供系統(tǒng)的功能需求，系統(tǒng)的開發(fā)則交給外界公司。這樣會(huì)導(dǎo)致系統(tǒng)開發(fā)后交給公安機(jī)關(guān)使用時(shí)，由于人工智能系統(tǒng)的黑盒特性，公安機(jī)關(guān)很難從一開始發(fā)現(xiàn)系統(tǒng)可能存在的被攻擊的風(fēng)險(xiǎn)。所以，對(duì)于公安機(jī)關(guān)來說，加強(qiáng)技術(shù)防范，掌握應(yīng)對(duì)攻擊的方法，是智慧化警務(wù)不斷深入推進(jìn)的必備要求。

　　2.2 建立人工智能系統(tǒng)安全評(píng)估體系

　　目前，人工智能系統(tǒng)遭受攻擊的事件時(shí)有發(fā)生。許多人工智能系統(tǒng)正在遭受到多種攻擊的威脅，這對(duì)社會(huì)造成了一些危害。對(duì)于國(guó)家機(jī)關(guān)使用的人工智能系統(tǒng)，如果受到攻擊，造成的危害會(huì)更加嚴(yán)重。所以對(duì)于一些具備收集信息功能的、大型的人工智能系統(tǒng)，在使用前，應(yīng)該經(jīng)過科學(xué)合理的評(píng)估，再進(jìn)入投放使用，更能保證人工智能系統(tǒng)在使用過程中的安全。

　　2.3 提高公民個(gè)人信息保護(hù)與財(cái)產(chǎn)安全意識(shí)

　　人工智能系統(tǒng)給商業(yè)發(fā)展和人民生活水平帶來大幅度提升的同時(shí)，也給公民人身權(quán)利和財(cái)產(chǎn)權(quán)安全造成了極大的隱患。由于科技發(fā)展水平日新月異，相應(yīng)的攻擊手段的種類也不斷在增多，目前攻擊者攻擊人工智能系統(tǒng)，會(huì)造成公民的個(gè)人信息泄露，從而導(dǎo)致公民的人身、財(cái)產(chǎn)權(quán)利受到危害。由于普通公民不具備技術(shù)上能防備個(gè)人信息泄漏的技能，且犯罪手段日新月異，所以公安機(jī)關(guān)在日常治安管理過程中，需要在日常的工作中給公民宣傳預(yù)防網(wǎng)絡(luò)上各種詐騙方式，告知其謹(jǐn)慎在不熟悉的網(wǎng)絡(luò)平臺(tái)上進(jìn)行操作。

　　2.4 加強(qiáng)人工智能從業(yè)人員及企業(yè)管理

　　隨著我國(guó)科技水平的不斷發(fā)展，我國(guó)特種行業(yè)和特種作業(yè)人員的范圍也在不斷修改之中。人工智能從業(yè)人員隨著社會(huì)的發(fā)展，能做到的事情也就越來越多。如同開鎖行業(yè)的開鎖工，現(xiàn)在的人工智能從業(yè)人員可以利用自己的技術(shù)手段幫助人們開通憑借人力辦不到的“鎖”，也能使用自己的技術(shù)私自開“鎖”，竊取公民各類信息，破壞人工智能系統(tǒng)，對(duì)社會(huì)造成非常大的危害，并且這類危害會(huì)隨著社會(huì)的發(fā)展越發(fā)嚴(yán)重。所以，對(duì)于新時(shí)代的人工智能行業(yè)，公安機(jī)關(guān)作為社會(huì)治安的管理者與維護(hù)者，需要將人工智能行業(yè)與從事人工智能行業(yè)的人員納入日常管理的特種行業(yè)和從事特種行業(yè)人員內(nèi)部，進(jìn)行必要的監(jiān)督與管理。

　　3 結(jié)束語

　　隨著人工智能在對(duì)公安、衛(wèi)生、金融、交通等眾多行業(yè)的助力作用日趨顯著，攻擊人工智能系統(tǒng)給社會(huì)治安等方面帶來的危害也日趨嚴(yán)重。公安機(jī)關(guān)需要不斷探索對(duì)人工智能進(jìn)行合理管控的方式，全方位提升警察的專業(yè)素質(zhì)及公民的基本素質(zhì)，建立專門的管控部門及培養(yǎng)專門人才，從而才能保證我國(guó)人工智能技術(shù)在不斷發(fā)展的前提下，與社會(huì)安全保持一個(gè)良好的平衡，從正向推動(dòng)國(guó)家與社會(huì)的發(fā)展。