概要：機器學習算法和人工智能系統正影響著人們生活的許多領域——瀏覽新聞、觀看電影、獲取信貸，甚至資本投資。
智庫跟蹤 | 蘭德：人工智能的偏差和錯誤風險
前言：機器學習算法和人工智能系統正影響著人們生活的許多領域——瀏覽新聞、觀看電影、獲取信貸，甚至資本投資。出于對效率和速度的考慮，算法已經有權在這些領域作出決定并采取行動。當然，它也給人們帶來了就業方面的擔憂。蘭德公司在報告中闡述了算法決策的一些缺點，包括算法錯誤和偏差問題，并研究了解決這些問題的一些方法。報告強調了在公共政策中使用算法決策所固有的風險和復雜性，指出技術與非技術方法的結合可能是最需要的補救措施。
機器學習算法和人工智能系統正影響著人們生活的許多領域——瀏覽新聞、觀看電影、獲取信貸，甚至資本投資。出于對效率和速度的考慮，算法已經有權在這些領域作出決定并采取行動。當然，它也給人們帶來了就業方面的擔憂。蘭德公司在報告中闡述了算法決策的一些缺點，包括算法錯誤和偏差問題，并研究了解決這些問題的一些方法。
報告第一章介紹了隨著人工智能的發展，算法偏差和錯誤風險不斷增加。第二章定義并仔細審議了算法的概念，重點關注了復雜算法中的不正確或不公平行為，側重于人工智能對社會和政策的影響。第三章關注的是算法底層的錯誤行為，而不是特例，提出了解決這些問題的可選方案，以及算法決策過程的問責措施，包括最近發展的有關公平、可測量和透明的機器學習。第四章給出了一些如何了解和加強應對算法偏差挑戰的觀察和建議。
一、算法的定義和評估
1、定義
經過幾個世紀的發展，算法的定義也發生了很大的變化。最初，算法關注的是可靠的一步一步的程序計算；后來引入了可計算性和可計算功能，形成了算法思想；再后來引入了學習算法，在微觀層面引入了機械的順序計算程序，許多最初的算法試圖模仿生物行為。人工智能最大的目標是使用先進的學習算法，建立自動人工智能的能力，使其超過人類的智能。
人工智能先驅的工作為機器學習算法奠定了基礎，是今天使用的絕大部分自動系統的根基。這些自動化系統通常專注于學習解決“簡單”的任務，如自動語音和圖像識別。該系統的常見術語為狹義人工智能。舉個例子，這些工作是最先進的深度學習技術（用于現代圖像和語音識別）的基礎。
正在進行的“大數據”革命也被看作促進學習算法廣泛應用的有力催化劑。大數據提供了源源不斷的多模數據，這對通過學習算法提取有價值的洞察力是必需的。使用強大的算法是唯一能夠弄懂日常數量、種類龐雜的數據的可持續的方法。
算法的文化概念往往混雜了從盲目的計算程序（如靜態計算）到高級的自動學習與推理程序（用于諸如IBM沃森的系統）的全譜算法。這種算法的文化概念就像草率的速記，鼓勵公眾將算法看作一個整體的、不透明的、近似神學的構造。許多影響公共生活的關鍵算法也被認為是專利或商業秘密。這種對于算法不透明、不知情的理解妨礙了公眾在人工智能方面的話語權。
然而，學習算法是一個有些不同的存在。它同時具有實施的正確性功能（算法設計者傾向于關注的內容）和學習行為的正確性功能（用戶關心的內容）。最近的一個例子就是微軟的人工智能聊天機器人——Tay。Tay背后的算法使得其能在與推特用戶的交流過程中使人信服。而其在受控環境中的廣泛測試并沒有引起軒然大波。Tay行為的一個重要特征是通過攝取用戶數據來學習和響應用戶的傾向。這個特征使得推特用戶有可能操縱Tay的行為，使其發表一系列的攻擊性言語。無論是其經驗還是數據都沒有考慮到新的上下文語境的新意。
這種類型的漏洞不是唯一的例子。學習算法往往容易受到訓練數據的影響。這些算法的特點就是具有適應變化的輸入數據的能力。但算法對于響應輸入數據的適配同時也為惡意用戶提供了一個攻擊途徑。在學習算法中，數據攝取漏洞是一個反復出現的問題。
2、算法的“不端行為”審議
隨著人工智能體在決策過程中發揮的作用越來越大，更應關注它容易出現的錯誤及“不端行為”。
“行為不端”的算法，是對導致不正確、不公平或危險的后果的人工智能體的一種隱喻。最初，它是指使用計算機系統完成各種任務的偏差，包括工作日程管理、就業匹配、航線路徑規劃、移民法律援助自動化等。
算法系統在半自動商業預定系統（SABRE）和國 家居 民匹配項目（醫療方面）的使用中都出現了偏差和問題。互聯網的發展和個人計算機的廣泛使用，擴大了這些問題的范圍。算法開始更多地介入我們與信息之間的互動。谷歌就是一個典型的案例。谷歌的搜索和廣告投放算法消化了大量用戶生成的數據來優化用戶（包括普通用戶和廣告商）服務。這樣的系統首先暴露了學習算法對廣泛個人消費的分析結果。
研究顯示，谷歌搜索和廣告算法系統存在“算法誹謗”，會不正確地關聯人或群體，這些不正確的關聯影響了谷歌精準投放廣告業務。例如，僅僅是搜索某種類型的名詞就會導致推送刑事司法服務方面的廣告。
在新興的數據和算法新聞領域，許多錯誤的算法影響了人們線上/線下生活的方方面面。IBM著名的“危險”AI沃森，在其學習算法攝入一些不好的數據后也不得不人為糾正其說臟話的習慣。還有一些報告揭示了Waze交通路由算法在城市交通模式中的負面影響。
另外一些研究關注治理、公共政策和復雜的社會問題中算法的影響。在這些領域里，人工智能體不得不面對另一個層面的復雜性和危險——其不良表現將產生深遠、大范圍、波及世代的后果。
有報告說明了算法決策在法律領域的傳播是如何剝奪公民正當權益的。最近的報告顯示了全國量刑聽證中廣泛使用的刑事風險評估算法中出現了嚴重的系統偏差。
最近一篇有影響力的文章探討了大數據是否會導致算法公平或中立行為這個最根本的問題，認為如果不改革大數據和相關算法的應用，答案是明確的否定。
有專家在論文中討論了算法和大數據如何規避我們所能預料的法律隱私風險。標準的避免算法偏差影響的方法是從學習算法中隱藏敏感數據字段（如性別和種族）。
最近，算法設計者和研究人員已開始通過技術方法，認證和消除算法偏差的影響。
3、案例研究：刑事司法制度中的人工智能
美國刑事司法系統越來越多地訴諸算法工具。人工智能代理有助于減輕管理這樣一個大系統的負擔。但這些工具中任何系統算法偏差都會帶來很高的錯誤及其累計風險。
人工智能算法已經用于全國各地的量刑假釋聽證系統。但是，這個系統將黑人罪犯的評級定為高于非黑人——即使非黑人犯有有更嚴重的罪行。這暗示了一個系統性的種族偏見。
警察部門也開始將工作訴諸預測警務和分配資源的算法工具。雖然該算法是合理有效的，但也不能避免導致不公平的結果。
二、 重點問題：影響因素和補救措施
上文分析了算法出現偏差的角度主要有三種：第一個也是最基本的角度是數據的攝取問題，關鍵是在學習中要考慮人類活動本身會存在偏差——學習包括好的和壞的兩方面；第二個角度是，應用于政策或社會問題時，很難定義基本事實和確定強有力的指導原則，除了對性能指標進行優化，學習算法還需要將社會可接受性措施進行優化；第三個角度是，在社會行為空間中進行的判斷往往是模糊的，不是非黑即白的兩元標準。
有一個已經發展了數世紀的系統可以應對受制于模糊的社會規范和互相矛盾的報告或數據而產生的政策問題，那就是法律。有專家指出，雖然加密貨幣和算法（“智能”）協議可能優于執行二元產權，但其在現實世界中的產權是模糊的、有爭議的。類似的情況也出現在我們認為合理的算法——算法行為有時被定義得并不準確。法律已經演變為對模糊復雜事務的審判。
美國法律也承認，表面上合理的程序可能會產生不利的、與預期完全不同的影響。對于產生這種與預期完全不同的影響的理解僅僅是在算法研究界慢慢傳播。
1、 其它技術因素
（1）樣本大小差異
機器學習算法是統計估計方法。這些方法估計誤差的措施通常與數據樣本大小成反比。這意味著對于低代表性的事件種類，這些方法通常會更容易出錯。
（2）被欺騙的獎勵功能
機器學習和人工智能理論中的獎勵功能來自行為心理學習，是目前人工學習系統學習正確行為的主要手段。在人工智能學習過程中,獎勵功能量化了我們對其行動和決定的獎懲。學習這些算法，然后適應人工智能體的參數和行為，就可以以最大限度地提高其總回報。因此，人工智能行為設計往往將設計減少到足夠激勵獎勵功能的程度，而這種行為主義的學習方式可以被欺騙。
（3）文化差異
機器學習算法通過選擇電訊或與各種行為相關聯的數據中的顯著特征（變量）來工作。文化調和的行為可能導致不公平行為發生。
（4）混雜的變量
算法設計者通常選擇從其處理過的數據中刪除敏感變量，試圖使系統結果無偏差。系統設計師的一個常見的說法是，“系統不會有偏差，因為它沒有考慮（一些敏感的變量）。”機器學習方法經常通過概率推斷隱藏變量。而研究表明，傳統的數據隱私和匿名方法不再可行，這是因為現代的機器學習算法能夠“簡單粗暴”地重新識別數據。
2、補救措施
(1) 統計方法和算法
目前有一個不斷發展的領域，專注于公平、負責任、透明的機器學習，致力于采用技術途徑保證算法公平及認證并糾正機器學習算法中偏差的影響。
有專家建議在使用主觀數據時，使用修正度量或相似度計算。在比較數據集中的主觀數據時，這些相似度計算意味著執行嚴格的公平性約束。一些專家提出了若干算法審計程序，將算法輸出與期望的公平行為進行比較。
(2) 因果推理算法
在更廣泛的、更長的時間范圍內，一些專家正在探索將因果或反事實推理用于機器學習算法中。這是非常重要的，因為自動因果推理系統在判斷算法決策過程的質量時，可呈現清晣的因果敘述。算法決策的精確因果推理是最可靠的審計跟蹤算法。對偶然因素進行審計的算法，可為結論提供更清楚的解釋或理由。這對判斷系統的不當結果（統計學不相稱結果）是至關重要的。
(3) 算法素養和透明度
在對抗算法偏差方面，使受過良好教育的公眾理解算法可能會導致不公平的結果將是有益的。這與要求用戶了解所有算法的內部工作原理（顯然不可行）是不一樣的。只需灌輸一種健康的“知情懷疑論”，對減少自動化偏差帶來的影響就可能已經足夠。
將算法素養和透明度結合起來可能非常有效。在這里，透明度通常是指確保使用中的任何算法都容易被理解——這并不是一直可行的。將由人工智能體經手處理的決策和實施行動進一步公開應該是可行和有用的。
(4) 人事方法
對于機器學習和人工智能算法中偏差的技術研究仍處于初級階段。算法中的偏差和系統錯誤問題，可能取決于算法設計者和數據科學家與眾不同的思維方式。這些從業者通常是較少接觸社會或公共政策問題的工程師和科學家。算法設計人員的構成往往缺乏多樣性。這些算法設計者作出了大量的設計選擇，其中一些可能會產生深遠的影響。算法開發人員的多樣性有助于提高對潛在的各類問題的敏感性。
雖然如此，彌補算法偏差的驅動力應該在健康的監管約束中得到鍛煉。任何一種補救措施都需要算法更緊密地遵守社會定義的價值觀，包括言論自由、審查制度、公平或其它可接受的道德標準等。
三、結論
本文說明了算法的各種不同影響帶來的挑戰，為什么我們希望擴展“算法依賴”，以及可能減輕未來風險的最佳選擇是什么。只要人工智能體在我們生活中扮演著越來越重要的角色并且不受監管，算法和人工智能的錯誤與偏差風險將繼續存在。
應對不受管制的人工智能體趨向三大類方法：完全避免算法、使底層算法透明、對算法輸出進行審計。完全避免算法幾乎是不可能的，沒有其它方法可以處理當前的數據洪流。算法透明則需要讓更多受過教育的公眾能夠理解算法。但深度聯結學習的最新進展表明，即使我們可以解構一個算法的流程，對于獲得有用的感知它可能仍然過于復雜。
有學者最近的研究認為，第三種選擇——算法審計——可能是前進的方向。某些審計忽略了人工智能體內部的工作，并根據結果的公平性進行判斷。這與我們經常對人類的判斷類似：由其輸出（決策和行動），而不是內容和代碼庫的獨特性（思想）決定。這一選擇對政策制定者最有幫助，而且為人工智能體建立了一個結果主義道德標準。在這一框架下，監管就會變得更加容易。
像這樣的討論有時會人格化人工智能體：機器是否開始像我們一樣思考？我們如何判斷和引導他們？人工智能體目前的進展可能會使算法人格化的觀點更加普遍。這可能對培育公眾不基于偏見，像理解人類一樣理解人工智能體，產生意想不到的好處。
內容框架
第一章 介紹
第二章 算法：定義與評估
1、 算法定義
2、 “行為不端”的算法：一個簡要的評議
3、 案例研究：刑事司法制度中的人工智能體
第三章 重點問題：影響因素和補救措施
1、 其它技術因素
2、 補救措施
第四章 結論
關鍵圖表
圖1 每級事件執行率：兩個亞群，相同犯罪率、不同警戒級別
歡迎企業家加入未來科技學院，共同提升企業科技競爭力
一日千里的科技進展，層出不窮的新概念，使企業家，投資人和社會大眾面臨巨大的科技發展壓力，前沿科技現狀和未來發展方向是什么？現代企業家如何應對新科學技術帶來的產業升級挑戰？
未來科技學院將通過舉辦企業家與科技專家研討會，未來科技學習班，企業家與科技專家、投資人的聚會交流，企業科技問題專題研究會等多種形式，幫助現代企業通過前沿科技解決產業升級問題、開展新業務拓展，提高科技競爭力。
未來科技學院由人工智能學家在中國科學院虛擬經濟與數據科學研究中心的支持下建立，成立以來，已經邀請國際和國內著名科學家、科技企業家300多人參與學院建設，并建立覆蓋2萬余人的專業社群；與近60家投資機構合作，建立了近200名投資人的投資社群。開展前沿科技講座和研討會20多期。 歡迎行業、產業和科技領域的企業家加入未來科技學院
設為首頁 
