<p>人們懷有偏見并不是什么秘密&mdash;&mdash;有些可能是無意識的，而有些則是痛苦地公開的。一般人可能會認為計算機&mdash;&mdash;通常由塑料、鋼、玻璃、硅和各種金屬制成的機器&mdash;&mdash;是沒有偏見的。雖然這一假設(shè)可能適用于計算機硬件，但對于計算機軟件來說并不總是如此，因為計算機軟件是由易犯錯誤的人編寫的，并且可以輸入在某些方面受到損害的數(shù)據(jù)。</p> <p>&nbsp;</p> <p>人工智能(AI)系統(tǒng)&mdash;&mdash;尤其是那些基于機器學(xué)習(xí)的系統(tǒng)&mdash;&mdash;在醫(yī)學(xué)上的應(yīng)用越來越多，例如，用于診斷特定疾病或評估x射線。這些系統(tǒng)也被用來支持衛(wèi)生保健其他領(lǐng)域的決策。然而，最近的研究表明，機器學(xué)習(xí)模型可以編碼對少數(shù)子群體的偏見，它們提出的建議可能因此反映了這些偏見。</p> <p>&nbsp;</p> <p>麻省理工學(xué)院計算機科學(xué)與人工智能實驗室(CSAIL)和麻省理工學(xué)院賈米爾診所的研究人員上個月在《通信醫(yī)學(xué)》雜志上發(fā)表了一項新研究，評估了歧視性人工智能模型可能產(chǎn)生的影響，特別是對于旨在在緊急情況下提供建議的系統(tǒng)。該論文的主要作者、麻省理工學(xué)院數(shù)據(jù)系統(tǒng)與社會研究所的博士生Hammaad Adam解釋說:&ldquo;我們發(fā)現(xiàn)，建議的框架方式可能會產(chǎn)生重大影響。&rdquo;&ldquo;幸運的是，當(dāng)建議以一種不同的方式呈現(xiàn)時，偏見模型造成的傷害是有限的(盡管不一定消除)。&rdquo;這篇論文的其他合著者是博士生Aparna Balagopalan和Emily Alsentzer，以及教授Fotini Christia和Marzyeh Ghassemi。</p> <p>&nbsp;</p> <p>用于醫(yī)學(xué)的人工智能模型可能存在不準確和不一致的問題，部分原因是用于訓(xùn)練模型的數(shù)據(jù)往往不能代表現(xiàn)實世界的情況。例如，不同種類的x光機可以記錄不同的東西，因此產(chǎn)生不同的結(jié)果。此外，主要在白人身上訓(xùn)練的模型在應(yīng)用于其他群體時可能不那么準確?！锻ㄐ裴t(yī)學(xué)》的論文并沒有關(guān)注這類問題，而是解決了源于偏見的問題，以及減輕不良后果的方法。</p> <p>&nbsp;</p> <p>一組954人(438名臨床醫(yī)生和516名非專家)參加了一項實驗，以了解人工智能偏見如何影響決策。研究人員向參與者提供了一個虛構(gòu)的危機熱線的電話摘要，每條熱線都涉及一名正在經(jīng)歷精神健康緊急情況的男性。摘要包含了個人是白種人還是非裔美國人的信息，如果他碰巧是穆斯林，也會提到他的宗教信仰。一個典型的電話摘要可能會描述這樣一種情況:一名非裔美國人在家中被發(fā)現(xiàn)神志不清，表明&ldquo;他沒有服用任何藥物或酒精，因為他是一名虔誠的穆斯林。&rdquo;研究參與者被指示，如果他們認為病人可能會變得暴力，就打電話給警察;除此之外，他們還被鼓勵尋求醫(yī)療幫助。</p> <p>&nbsp;</p> <p>參與者被隨機分為對照組或&ldquo;基線&rdquo;組和其他四個組，旨在測試在略有不同的條件下的反應(yīng)。亞當(dāng)指出:&ldquo;我們想了解有偏見的模型是如何影響決策的，但我們首先需要了解人類偏見是如何影響決策過程的。&rdquo;他們在分析基線組時的發(fā)現(xiàn)相當(dāng)令人驚訝:&ldquo;在我們考慮的環(huán)境中，人類參與者沒有表現(xiàn)出任何偏見。這并不意味著人類沒有偏見，但我們傳達關(guān)于一個人的種族和宗教的信息的方式顯然不足以引起他們的偏見。&rdquo;</p> <p>&nbsp;</p> <p>實驗中的其他四組人得到的建議要么來自有偏見的模型，要么來自無偏見的模型，這些建議以&ldquo;說明性&rdquo;或&ldquo;描述性&rdquo;的形式呈現(xiàn)。在涉及非裔美國人或穆斯林的情況下，有偏見的模型比無偏見的模型更有可能建議警察提供幫助。然而，這項研究的參與者并不知道他們的建議來自哪種模型，甚至不知道提供建議的模型可能有偏見。說明性建議明確地說明參與者應(yīng)該做什么，告訴他們在一種情況下應(yīng)該報警，在另一種情況下應(yīng)該尋求醫(yī)療幫助。描述性建議不那么直接:顯示一個標志，表明人工智能系統(tǒng)感知到與特定呼叫相關(guān)的暴力風(fēng)險;如果暴力威脅被認為很小，就不會出現(xiàn)旗幟。</p> <p>&nbsp;</p> <p>作者寫道，實驗的一個關(guān)鍵結(jié)論是，參與者&ldquo;受到有偏見的人工智能系統(tǒng)的規(guī)范性建議的高度影響&rdquo;。但他們也發(fā)現(xiàn)，&ldquo;使用描述性而不是說明性的建議，可以讓參與者保留他們最初的、公正的決策。&rdquo;換句話說，人工智能模型中的偏見可以通過適當(dāng)?shù)貥?gòu)建所呈現(xiàn)的建議來減少。為什么不同的建議提出方式會導(dǎo)致不同的結(jié)果?亞當(dāng)解釋說，當(dāng)有人被要求做某事時，比如報警，這就沒有什么懷疑的余地了。然而，當(dāng)情況只是被描述時&mdash;&mdash;有或沒有旗幟的分類&mdash;&mdash;&ldquo;這就給參與者自己的解釋留下了空間;這讓他們能夠更靈活地考慮自己的情況。&rdquo;</p> <p>&nbsp;</p> <p>其次，研究人員發(fā)現(xiàn)，通常用于提供建議的語言模型很容易產(chǎn)生偏差。語言模型代表了一類接受文本訓(xùn)練的機器學(xué)習(xí)系統(tǒng)，比如維基百科和其他網(wǎng)絡(luò)材料的全部內(nèi)容。當(dāng)這些模型依靠更小的數(shù)據(jù)子集進行&ldquo;微調(diào)&rdquo;時&mdash;&mdash;只有2000個句子，而不是800萬個網(wǎng)頁&mdash;&mdash;得到的模型很容易有偏見。</p> <p>&nbsp;</p> <p>第三，麻省理工學(xué)院的研究小組發(fā)現(xiàn)，那些本身沒有偏見的決策者仍然會被有偏見的模型提供的建議所誤導(dǎo)。醫(yī)療培訓(xùn)(或缺乏醫(yī)療培訓(xùn))并沒有以明顯的方式改變反應(yīng)。作者說:&ldquo;臨床醫(yī)生和非專家一樣受到有偏見的模型的影響。&rdquo;</p> <p>&nbsp;</p> <p>&ldquo;這些發(fā)現(xiàn)可以適用于其他環(huán)境。&rdquo;亞當(dāng)說，并不一定局限于醫(yī)療保健情況。在決定哪些人應(yīng)該接受面試時，有偏見的模型更有可能拒絕黑人申請人。然而，如果不是明確地(規(guī)定性地)告訴雇主&ldquo;拒絕該申請人&rdquo;，而是在文件上附加一個描述性標志，表明申請人&ldquo;可能缺乏經(jīng)驗&rdquo;，結(jié)果可能會有所不同。</p> <p>&nbsp;</p> <p>亞當(dāng)認為，這項工作的意義不僅僅是找出如何應(yīng)對處于心理健康危機中的個人。&ldquo;我們的最終目標是確保機器學(xué)習(xí)模型以公平、安全、可靠的方式使用。&rdquo;</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點。</p> </blockquote>