人工智能

要取信于人,AI得打開決策“黑箱”

作者:來源:科技日報發布時間:2020-03-26 09:19我要評論

如今,人工智能已經可以做決定,但我們仍不知道這個決定是如何做出的。人們需要了解人工智能如何得出某個結論背后的原因,而不是僅僅接受一個在沒有上下文或解釋的情況下輸出的結果。

近日,微軟前全球執行副總裁沈向洋在接到清華大學續聘書時,通過直播方式分享了對AI可解釋性與AI偏見相關問題的研究與看法。他提到,AI就像一個黑匣子,能自己做出決定,但是人們并不清楚其中緣由。所以,我們目前需要做的就是將其打開,了解AI想表達的意思和可能會做出的決定。這就需要設計和構建“負責任”的AI。

那么,AI的可解釋性指什么?是什么導致人們無法對AI的行為進行解釋?人工智能如何做決策?研究人員可以怎樣做讓這些決策更加透明?

尚無法完整解釋決策過程

有人說,不確定性是AI的特征之一。

所有重大技術突破的出現,往往都伴隨著相同的問題:如何確保技術的可靠。例如,在電子時代制造和使用電子產品時,人們可以通過技術資料了解所有的元件構成,從而得以信賴它們。又如,許多技術和生活場景中有檢視清單的存在,它能指導我們如何合理完成一件任務。然而,到了人工智能時代,情況則不然。

“如今,AI已經可以做決定,這是AI過程中非常重要的一步,但我們仍缺乏對AI所做決定的認知?!鄙蛳蜓蟾嬖V科技日報記者,從某種程度上來講,你建立一個模型、算法,輸入數據,之后人工智能會產生一個結果。一切看上去順理成章,但是有一個問題——我們尚不能完整解釋為何人工智能會得出這樣而不是那樣的結論。

沈向洋進一步解釋,我們將這種只能看到數據導入和輸出,而無法看到和解讀其工作原理的模型比作‘黑箱’,而將可以知曉內部工作原理的模型稱為‘白箱’。人們需要了解人工智能如何得出某個結論背后的原因,而不是僅僅接受一個在沒有上下文或解釋的情況下輸出數據和信息的結果?!鄙蛳蜓笾赋?。

顯然,我們不能將明天交付給一個個無可解釋的“黑箱”?!拔覀冊趯W習的時候,經常說不僅要知其然,還要知其所以然?!鄙蛳蜓蟊硎?,人工智能的可解釋性,指的是要“知其所以然”,要了解背后的原因和邏輯,是能回答“為什么”。

“以決策場景下的模型可解釋性為例,端到端的深度學習,一個廣為詬病的問題是其不透明性或不可解釋性,比如說識別一張照片中的物體,機器做出的判斷是基于哪些有效特征,我們無從得知?!卑⒗锇踩珗D靈實驗室負責人、資深專家奧創認為,人工智能系統必須具有可解釋性,以便人類可以理解系統的行為。

研究發現,一個用來判斷圖片中的動物是狼還是哈士奇的AI模型,在六幅圖片中只判斷錯了一幅,看起來準確率尚可接受,可其背后有極大的隱患。因為如果從局部維度觀察,發現它識別出狼的標準,根本不是狼的樣子,而是以圖片背景中的雪為標準。如果一頭狼走入沒有積雪的家中,卻因此被識別為哈士奇,那就可怕了。顯然,我們無法信任這樣的模型,這也說明了模型可解釋性的重要意義。

目前的解釋說明或損害用戶信任

如今,AI的規范應用正在成為一個社會問題,去年,歐盟出臺《人工智能道德準則》,明確提出AI發展方向應該是“可信賴的”,包含安全、隱私和透明等方面。

“無人駕駛、人臉識別、智慧城市、智能家居等各類場景中都在運用AI,但一旦后端控制系統被攻擊,出現規?;?、連鎖式的崩盤,AI失控的后果不堪設想?!眾W創指出。

比如,無人駕駛車要通過識別交通信號標志來決定通行還是停止,而攻擊者可以生成一個欺騙通行標志的對抗樣本,在行人眼里是禁止通行,但AI系統會識別成允許通行,這足以造成災難性的后果。再如,自2016年以來,很多地方都推出用于預測未來罪犯的軟件,法庭在審判時已經開始用AI進行輔助判斷。然而,越是如此,人們越會擔心算法是否存在偏見。

沈向洋指出:“‘黑箱’帶來的挑戰在于,即便其做出的預測是準確的,我們卻仍不知何時可以信賴它,或者從中學到什么。更進一步說,即便模型是準確的,在做高風險決策時,也需要知道究竟是什么原因使然?!?/p>

人工智能怎樣做決策?“目前有種方法可提供解釋說明,包括人工智能系統如何運行、怎樣與數據進行交互的背景信息,但其最有可能損害用戶以及受這些系統影響的人員的信任。通過這些信息,人們將會更容易識別和意識到潛在的偏見、錯誤和意想不到的結果。僅僅發布人工智能系統的算法很難實現有意義的透明度。最新(通常是最有發展前途的)人工智能技術,例如深度神經網絡,通常沒有任何算法輸出可以幫助人們了解系統所發現的細微模式?!鄙蛳蜓笾赋?。

鑒于此,人們需要一個更全面的方法,使人工智能系統設計人員能夠盡可能完整、清晰描述系統的關鍵組成要件。據了解,微軟也在與人工智能合作組織及其他組織合作開發最佳實踐規范,以實現人工智能系統有意義的透明度。包括通過實踐規范以及各種其他更易于理解的方法、算法或模型,來替代那些過于復雜且難以解釋的方法。

準確率和可解釋性不該是對矛盾

要理解機器學習模型內部如何運行,開發出新技術,來提供更有意義的透明度,需要對這一領域開展進一步研究。

來自微軟的里奇·卡魯阿納等學者提出“提煉與比較”(Distill-and-Compare)的方法。據沈向洋介紹,面對許多已被廣泛應用的專有或不透明的模型,這種方法能夠在不探測“黑箱”API(應用程序接口)或預先定義其特性的情況下進行核驗。通過將“黑箱”視作老師,訓練出透明的學生模型,來模擬原本的“黑箱”,并將它與真實情況進行對比。

而微軟研究院有學者提出“‘黑箱’無關”的思路,當醫生無法采納“黑箱”對病人感染流感率的預測結果時,一種解決方法是利用特征歸屬的辦法——根據不同特征之于模型的重要性,為其賦予權重。其中,解釋過程認為“打噴嚏”“頭疼”是指向流感的證據;而沒感到疲憊,則是否認流感的證據。這里權重帶有正向或反向的方向性,同時其權重大小也各不相同,“頭疼”的權重要明顯高于“打噴嚏”。對于醫生來說,這樣的解釋要比簡單給出一個“患流感概率90%”有用得多。

沈向洋表示,隨著神經網絡模型越來越復雜,在準確性越來越高的同時,研究人員遇到一個問題,即不得不在模型的準確性和可解釋性之間做出妥協,因為兩者常難以兼顧。尤其隨著在深度學習模型上進一步推進,經常會牽扯到幾百萬個乃至數十億的參數。結果是,有時候研究人員做出一個行之有效的模型,卻并不能完全理解其中的緣由。如用一個高準確率的模型來預測病人感染流感的幾率,卻只能給醫生呈現一個數字,或是“陽性”的診斷,而無具體佐證,那么,即便得到的結論是正確的,在醫生看來也用處不大——因為醫生并不知其結論是如何被推導出的。

因此,要打造負責任的人工智能,確保其決策透明,即“我們能夠理解并看到人工智能所做的決定”,尤其需要開發可翻譯、可解釋的人工智能模型,以了解人工智能是如何做出這些決策的。特別是在事關重大的關鍵領域中,需要對模型全面理解,以此避免出現錯誤。高準確率和高可解釋性的人工智能將有助真正將技術進行廣泛、負責任、有效的應用,造福人類生活。


責任編輯:馬利亞
相關鏈接

首屆世界顯示產業大會

作為工業和信息化部、中國國際貿易促進委員會、安徽省人民政府聯合主辦的第十三屆中國(合肥)國際家用電器暨消費電子博覽會的重要板塊,首屆世界顯示產業大會于11月22日在合肥開幕。

2019世界VR產業大會

10月19日,由工業和信息化部和江西省人民政府聯合主辦的2019世界VR產業大會在南昌隆重開幕。開幕式上,中共中央政治局委員、國務院副總理劉鶴發表重要講話。

第二屆全球IC企業家大會暨第十七屆中國國際半導體博覽會

9月3日,由工業和信息化部、上海市人民政府指導,中國半導體行業協會、中國電子信息產業發展研究院主辦的第二屆全球IC企業家大會暨第十七屆中國國際半導體博覽會在上海開幕

2019世界VR產業大會新聞發布會

6月20日,工業和信息化部、江西省人民政府在北京聯合召開新聞發布會,介紹2019世界VR產業大會有關情況及籌備工作進展。

第十一屆中國中部投資貿易博覽會電子信息產業發展論壇

5月19日,第十一屆中國中部投資貿易博覽會電子信息產業發展論壇在江西南昌召開。南昌市人民政府副市長楊文斌、江西省工信廳副廳長王亦斌出席并致辭。

2019世界超高清視頻產業發展大會

5月9日,2019 世界超高清視頻(4K/8K)產業發展大會在廣州召開。大會由工業和信息化部、國家廣播電視總局、中央廣播電視總臺、廣東省人民政府共同主辦。工業和信息化部部長苗圩出席大會并致辭。

第七屆中國電子信息博覽會

本次峰會主題是“創新驅動發展 智慧賦能未來”,將邀請政府行業主管部門、國內外著名專家學者和企業家發表主題演講,深入探討產業創新發展新模式、新動能、新路徑,推動電子信息產業高質量發展。...

首屆全球IC企業家大會

12月11日,由工業和信息化部、上海市人民政府指導,中國半導體行業協會、中國電子信息產業發展研究院主辦,北京賽迪會展有限公司、中國電子報社、上海市集成電路行業協會承辦的“首屆全球IC企業家大會暨第十六屆中國國際...

2018世界VR產業大會

10月19日,2018世界VR產業大會在南昌盛大開幕。開幕式上,全國政協副主席盧展工宣讀國家主席習近平賀信,工業和信息化部部長苗圩,江西省委書記劉奇,江西省委常委、南昌市委書記殷美根分別致辭。

第二屆中國虛擬現實創新創業大賽啟動...

8月20日,在中國創新創業大賽組委會辦公室指導下,由虛擬現實產業聯盟、國科創新創業投資有限公司共同舉辦的第二屆中國虛擬現實創新創業大賽啟動新聞發布會在北京舉行。

2018年上半年家電網購分析報告發布會

8月2日,工業和信息化部賽迪研究院、中國電子報社在北京發布了《2018年上半年家電網購分析報告》(以下簡稱《家電網購報告》)。報告顯示,2018年上半年,我國B2C家電網購市場(含移動終端)規模達2641億元...

2018制造業“雙創”高峰論壇

6月22日,2018制造業“雙創”高峰論壇在北京舉辦。本次論壇由中國電子信息產業發展研究院、中國制造企業雙創發展聯盟和中國軟件行業協會工業互聯網分會主辦,中國電子報社、北京云道智造科技有限公司和中國船舶工...

2018世界VR產業大會新聞發布會

5月21日,記者從在北京人民大會堂召開的2018世界VR產業大會新聞發布會上獲悉,由工業和信息化部、江西省人民政府共同主辦,中國電子信息產業發展研究院、江西省工業和信息化委員會、南昌市人民政府、虛擬現實產業...

“新基建新動力新增長”專題報道

中國電子報從2020年3月開始,特別策劃推出“新基建新動力新增長”大型專題報道和系列推介活動,詳細報道新基建在激發市場主體活力、增強發展動能、促進經濟增長等方面的重要作用,權威推介在推動新基建進程中發...

2019年中國家電市場報告

2月28日,中國電子信息產業發展研究院發布了《2019年中國家電市場報告》(以下簡稱《報告》)?!秷蟾妗凤@示,2019年,我國家電市場零售額規模達到8910億元,顯示出較強的韌性,高端產品和農村市場大...

2020年全國工業和信息化工作會議

12月23日,全國工業和信息化工作會議在京召開。會議以習近平新時代中國特色社會主義思想為指導,全面貫徹黨的十九大和十九屆二中、三中、四中全會精神,認真落實中央經濟工作會議部署,傳達學習貫徹國務院領導同...

學習貫徹黨的十九屆四中全會精神

黨的十九屆四中全會擘畫了堅持和完善中國特色社會主義制度、推進國家治理體系和治理能力現代化的宏偉藍圖。把思想統一到全會精神上來,把行動落實到全會的重大決策部署上來,是當前全黨面臨的重要政治任務和重大戰略...

2019上半年中國家電市場報告發布

7月29日,中國電子信息產業發展研究院在北京發布了《2019上半年中國家電市場報告》(以下簡稱《報告》)?!秷蟾妗凤@示,2019年1月-6月,我國家電行業運行穩定、穩中有進,產銷均高于去年同期。其中,...

未來5年新增投資超過2000億元,AI將迎來新拐點丨新基建新

編者按:3月4日,習近平總書記在中共中央政治局常務委員會上強調,要加快5G網絡、數據中心等新型基礎設施建設進度。新一代信息技術是新基建的重要推動力量,以5G、人...

聚焦新基建丨120秒入門大數據中心建設

3月4日,習近平總書記在中共中央政治局常務委員會上強調,要加快5G網絡、數據中心等新型基礎設施建設進度。新一代信息技術是新基建的重要推動力量,以5G、人工智能、...

CEN視頻新聞 | 2019 CITE 瑞薩電子高級副總裁

第七屆電子信息博覽會上,瑞薩電子高級副總裁 真岡朋光接受《中國電子報》記者采訪。...

友情鏈接
關于我們 | 聯系我們 | 廣告服務
電子信息產業網LOGO
极速快乐十分