機器學習系統越來越多地被用作日常生活中的工具。通常，它們被用于高風險的過程中，沒有參與者的同意，其他人也沒有合理的機會對系統的決定提出質疑。比如當兒童福利機構使用風險評估系統來識別處于風險中的兒童時；當一個機器學習模型決定了誰看到了哪些關于就業、住房或信貸機會的在線廣告；或者當面部識別系統被用來監視黑人和棕色人種居住的社區時。下文主要介紹的是機器學習實踐者構建更公平系統的10種方法。

ML系統被廣泛部署，因為它們被認為是“中立的”和“客觀的。然而在現實中，機器學習系統反映了那些設計和開發它們的人的信念和偏見。結果，ML系統反映并放大了設計者的信念和偏見，至少和人類仲裁者一樣容易出錯。

當大規模部署ML系統時，它們會造成危害——尤其是當它們的決策是錯誤的時候。邊緣化群體成員感受到的傷害更大。在這一時刻，這一點尤其明顯，因為警察部門正在使用面部識別系統跟蹤作為全球黑人生活運動一部分進行抗議的人，而且最近在英國，在考試因流行病而取消后，使用了一種語言識別系統來確定學生的A級成績，這危及了貧困學生的未來，其中許多人是有色人種和移民。

在本文中，我將描述一些機器學習系統造成傷害的例子。然后，我將提供一些具體的建議和資源，機器學習實踐者可以使用它們來開發更公平的機器學習系統。我希望這篇文章鼓勵其他機器學習從業者開始使用和教育他們的同行在他們的團隊和公司中開發更公平的語言學習系統的實踐。

　　機器學習系統是如何造成危害的

2020年6月，羅伯特·威廉斯，一個黑人，被底特律警察局逮捕，因為面部識別系統指認他是最近在商店行竊的人；然而，他的臉和照片中的臉的視覺對比清楚地表明他們不是同一個人。

盡管如此，威廉姆斯被逮捕、審訊、拘留超過24小時，用自己的錢保釋，并在案件被駁回前不得不出庭。

這起“事故”嚴重傷害了威廉姆斯先生和他的家人:

· 他感到羞辱和尷尬。當接受記者采訪時紐約時報關于這件事，他說:“我媽媽不知道。這不是我引以為豪的事……這是羞辱。”

· 這對他和他的家人造成了持久的創傷。如果威廉姆斯拒捕——考慮到這是不公正的，這本來是合理的——他可能會被殺。事實上，這種經歷令人痛心。他和他的妻子現在想知道他們是否需要讓他們的兩個小女兒接受治療。

· 這讓他的工作——以及他養活自己和家人的能力——面臨風險。他可能會丟掉工作，盡管他的案子最終被駁回；公司解雇員工而不受懲罰的情況少得多。幸運的是，他的老板了解情況，但他的老板仍然建議他不要在工作中告訴別人。

· 這幾乎導致他有永久的犯罪記錄。當威廉姆斯出庭時，他的案件最初被“無偏見”駁回，這意味著他以后仍可能被起訴。只是在假陽性受到媒體廣泛關注后，檢察官才道歉并主動提出刪除他的記錄和指紋。

當地警察部門使用的面部識別系統在這里造成的傷害是不可接受的。

　　更廣泛的背景

在上述算法系統的情況下，它們造成的傷害更深：他們擴大了現存的壓迫體系，經常以“中立”和“客觀”的名義換句話說，以上例子并非孤立事件；它們造成了長期的傷害模式。

　　為機器學習系統收集標簽是如何造成危害的

危害不僅僅是已經部署的機器學習系統造成的；在開發機器學習系統的同時，也造成了危害。也就是說，當為了訓練機器學習模型而收集標簽時，通常會造成傷害。

商業面部識別系統允許警察部門更容易和微妙地瞄準黑人和男性，包括大規模瞄準他們。一個面部識別系統在一小時內識別的“罪犯”比一百名警察在一個月內識別的還要多，和這樣做的成本更低。因此，商業面部識別系統允許警察部門“大規模生產”他們的過度合法化，鎖定和謀殺黑人的做法。

　　為機器學習系統收集標簽是如何造成危害的

危害不僅僅是已經部署的機器學習系統造成的；在開發機器學習系統的同時，也造成了危害。也就是說，當為了訓練機器學習模型而收集標簽時，通常會造成傷害。

為什么會發生這些傷害

此時，你可能會問自己，”為什么這些傷害正在發生嗎？“答案是多方面的:部署的機器學習系統對參與者造成傷害的原因有很多。

　　當使用最大似然系統時

機器學習系統造成傷害的一個主要原因是它們使用的環境。也就是說，因為機器學習系統被認為是“中性的”和“客觀的”，它們是通常用于高風險的決策過程作為一種省錢的方法。高風險的決策過程本質上更容易造成傷害，因為決策過程中的錯誤可能會對某人的生活產生重大負面影響。

在高風險決策過程中引入機器學習系統，頂多不影響系統造成危害的概率；最壞的情況是增加由于機器學習模型傾向于放大對邊緣化群體的偏見，人類對審核模型決策的自滿，因為它們是“中性的”和“客觀的”，以及機器學習模型的決策經常是不可解釋的，造成傷害的可能性。

　　ML系統是如何設計的

機器學習系統也因其設計方式而造成危害。例如，當設計一個系統時，工程師通常不考慮系統可能做出錯誤決定的可能性；因此，機器學習系統通常不要包含參與者對決定提出異議或尋求追索權的機制。

在設計多模型系統時，誰的觀點是中心

ML系統造成傷害的另一個原因是，在設計系統時，最有可能受到它們傷害的人的視角并不集中。

由人們設計的系統將反映這些人的信仰和偏見——無論是有意識的還是無意識的。機器學習系統絕大多數是由一群非常同質的人構建的:白人、亞裔美國人或亞裔異性戀男性，年齡在20至50歲之間，身體健康、神經典型，是美國人和/或居住在美國，具有傳統教育背景，包括大約50所精英大學之一的計算機科學學位。因此，機器學習系統偏向于這一小部分人的經驗。

此外，機器學習系統通常用于過度涉及歷史上邊緣化群體的環境中，如預測累犯或監控“高犯罪率”社區，或者用于確定長期以來被邊緣化群體不公平剝奪的資源的獲取途徑，如住房、就業機會、信貸和貸款以及醫療保健。例如，由于黑人在歷史上被剝奪了獲得醫療保健的公平機會，在這種情況下使用的機器學習系統顯示出類似的歧視模式，因為它們取決于歷史假設和數據。因此，除非采取深思熟慮的行動來集中管理語言系統正在仲裁的群體的經驗，否則機器學習系統會導致歷史重演。

在上述兩點的交叉點上有一個令人不寒而栗的認識:設計機器學習系統的人很少受到機器學習系統的影響。 這聽起來與事實驚人地相似大多數警察不住在他們工作的城市。

　　使用最大似然系統時缺乏透明度

機器學習系統也會造成傷害，因為它經常不清楚什么時候算法被用來做決定。 這是因為公司不需要披露機器學習系統何時以及如何使用，更不用說獲得參與者的同意，即使這些決定的結果影響到人類的生活。如果有人不知道他們受到了最大限度語言系統的影響，那么他們不能把他們可能經歷的傷害歸因于它。

此外，即使一個人知道或懷疑他們受到了機器學習系統的傷害，證明他們受到歧視是困難的或者不可能的，因為ML系統作出的整套決定是私人的，因此不能對其歧視性進行審計。因此，機器學習系統造成的危害往往無法“證明”

　　對洗錢系統參與者缺乏法律保護

最后，機器學習系統會造成危害，因為目前關于何時以及如何使用機器學習系統的監管或法律監督非常少，因此公司、政府和其他組織可以利用它們來歧視參與者而不受懲罰。

關于面部識別，這正在慢慢改變：2019年，舊金山成為第一個禁止地方政府機構使用面部識別的主要城市。此后，其他幾個城市也這樣做了。

然而，仍有數百個已知的地方政府機構使用面部識別的例子，包括在美國的入境點，如邊境和機場，以及由當地警方出于不明目的。在這種情況下使用面部識別系統——尤其是考慮到他們的大多數決定可能是錯誤的——會對現實世界產生影響，包括騷擾、無理監禁和驅逐出境。

相對于其他類型的機器學習系統，法律上的進步很少。

　　行動號召

鑒于洗錢系統的使用環境，目前缺乏對這種環境的法律和監管監督，以及受洗錢系統傷害的人往往缺乏社會權力。由于他們的種族、性別、殘疾、公民身份和/或財富，ML系統開發者有大規模地比參與者更有力量。

設計標簽任務的人和完成標簽任務的人之間有相似的權力動態：標記任務請求者比標記代理具有更大的權力。

這里，ML系統開發者被定義為任何參與機器學習系統的設計、開發和部署的人，包括機器學習工程師和數據科學家還有其他技術學科的軟件工程師、產品經理、工程經理、UX研究人員、UX作家、律師、中層管理人員和高管。包含所有這些角色是為了強調，即使您不直接在機器學習系統上工作，如果你在一家使用機器學習系統的公司或組織工作，那么你就有能力影響公司使用機器學習的時間和方式。

讓我明確一點：個人行動是不夠的——我們迫切需要設計良好的立法來指導何時以及如何使用最大限度地減少系統。重要的是，應該有一些ML系統所處的環境不能被使用，不管它們有多“準確”，因為誤用和錯誤的概率太大了——就像警察部門使用面部識別系統。

不幸的是，我們還沒有必要的立法和條例。同時，作為ML系統開發人員，我們應該有意識地考慮我們、我們的團隊或我們的公司擁有和使用的ML系統。

如何建立更公平的機器學習系統

如果你是一個機器學習系統的開發者尤其是如果你是機器學習的實踐者，比如語言工程師或數據科學家—這里有10種方法可以幫助您構建更公平的機器學習系統:

當設計一個新的ML系統或評估一個現有的ML系統時，問你自己和你的團隊以下問題語境其中正在部署/正在部署系統:

· 什么當這個移動學習系統被部署時會出錯嗎？

· 出了問題，誰受到傷害？

· 可能性有多大是不是會出問題？

· 有傷害嗎不成比例地落在邊緣化群體身上？

使用您對這些問題的回答來評估如何繼續。例如，如果可能，主動設計防止傷害發生的解決方案。例如，添加防止傷害的保障措施，如包括人為干預和參與者質疑系統決策的機制，并通知參與者正在使用機器學習算法?；蛘?，如果傷害的可能性和規模太大，不要部署它。相反，考慮尋求一種不依賴于機器學習或以風險較低的方式使用機器學習的解決方案。部署一個有偏見的機器學習系統會對系統參與者造成現實世界的傷害，也會對你的公司聲譽造成損害。

#2

利用最佳實踐開發更公平的最大似然系統。機器學習公平性研究人員已經設計和測試最佳實踐好幾年了。例如，一個最佳實踐是，當發布數據集供公共或內部使用時，同時發布一個數據表，這是一個簡短的文檔，它共享數據集的消費者需要的信息，以便做出明智的使用決策。例如，用于收集數據的機制或程序，是否進行了道德審查過程，數據集是否與人相關。

同樣，當發布一個經過培訓的模型供公共或內部使用時，同時發布一個模型卡，這是一份簡短的文件，分享關于模型的信息。例如，評估結果：最好按不同的人口統計群體和社區分類、預期用途、避免的用途、對模型培訓流程的洞察。

最后，考慮實現一個公司范圍內的內部算法審計流程，像這樣Deb Raji,安德魯·斯馬特和他們的合作者在2020年的論文中提出彌合人工智能責任差距:為內部算法審計定義端到端框架。

#3

與您的公司或組織合作，與代表機器學習系統傾向于邊緣化的人群的倡導組織發展伙伴關系，以便負責任地讓邊緣化社區作為利益相關者參與進來。這類組織的例子包括變化的顏色還有有色人種協進會。然后，在開發新的機器學習系統或評估現有的機器學習系統時，尋求并整合他們的反饋。

#4

雇傭來自代表性不足背景的機器學習工程師和數據科學家，特別是黑人、土著人、拉丁人、殘疾人、變性人和非二進制人、以前被監禁的人，以及來自技術代表性不足的國家，例如非洲國家、東南亞國家和南美洲國家的人。請注意，這將需要重新思考人才是如何發現和培養的——考慮從美國歷史悠久的黑人學院和大學（HBCUs）招募人員，開辦編碼和數據科學訓練營，或者啟動一個內部項目，如懈怠的下一章。

另一方面，與你的公司合作，支持那些培養來自代表性不足的背景的人才的組織，喜歡AI4ALL,黑人女孩守則,代碼2040,NCWIT,技術,TransTech，和出去上大學。像這樣的組織對于增加技術工作中來自代表性不足背景的人數至關重要，包括在人工智能/人工智能工作中，并且他們都有成功的記錄。此外，考慮用自己的錢和時間來支持這樣的組織。

#5

與您的公司或組織合作簽署安全臉誓言，這是組織公開承諾減少面部分析技術濫用的機會。這份保證書是由算法正義聯盟還有喬治敦法律技術與隱私中心，并且已經被許多領先的倫理和隱私專家簽署。

#6

了解更多關于機器學習系統造成危害的方式。例如，以下是繼續學習的推薦資源:

1. [書]數學毀滅的武器:大數據如何增加不平等并威脅民主凱西·奧尼爾（2016）

2. [書]壓迫的算法:搜索引擎如何強化種族主義作者:Safiya Noble （2018）

#7

了解現有機器學習系統的改進方式，以減少危害。例如，IBM致力于提高其商業面部識別系統在種族和性別偏見方面的性能，谷歌一直致力于減少Google Translate中的性別偏見，而Jigsaw(在谷歌內部)已經致力于改變Perspective AI，以減少將包含頻繁目標群體的短語歸類為仇恨言論。

#8

針對不同的影響對機器學習系統進行審核。即使一項政策或制度是中立的，當一個群體比另一個群體受到更大的不利影響時，就會產生不同的影響。Facebook的廣告投放系統是一個造成不同影響的系統的例子。

例如，使用燈塔工程，一種方法論今年早些時候發布的Airbnb使用匿名的人口統計數據來衡量用戶體驗差異，這可能是由于歧視或偏見，或者ArthurAI，這是一個ML監控框架，允許您監控模型偏差?；蛘哒堃患宜惴ㄗ稍児緦δ愕膱F隊或公司擁有的機器學習系統進行審計，喜歡奧尼爾風險咨詢和算法審計或者算法正義聯盟。

#9

當雇傭第三方供應商或使用眾包平臺進行機器學習標簽任務時，對你選擇支持的人持批評態度。詢問將為你貼標簽的人的工作條件。此外，如果可能的話，對供應商進行現場訪問，以評估自己的工作條件。他們的時薪是多少?他們有醫療保健和其他福利嗎?他們是全職員工還是合同工?他們是否讓員工接觸到暴力或仇恨的內容?公司內部是否有職業發展和晉升的機會?

#10

向你的團隊或公司介紹機器學習系統造成的危害以及如何減輕這些危害。越多的人理解機器學習系統造成的危害以及目前存在于ML系統開發者和ML系統參與者之間的權力不平衡，我們就越有可能影響團隊和公司的變革。

　　結論

機器學習系統是非常強大的工具；不幸的是，他們可能是授權的代理人，也可能是傷害的代理人。作為機器學習的實踐者，我們有責任認識到我們建立的系統造成的危害，然后采取相應的行動。我們可以共同努力，建立一個負責任地使用機器學習系統的世界，不強化現有的系統性偏見，提升和增強邊緣化群體的能力。想了解更多關于機器學習的信息，請繼續關注中培偉業。