今天微軟宣布多項(xiàng)工具和數(shù)據(jù)集開源，這些工具旨在審計(jì) AI 驅(qū)動(dòng)的內(nèi)容審核系統(tǒng)，以及自動(dòng)編寫突出顯示 AI 模型中潛在錯(cuò)誤的測(cè)試。微軟表示 AdaTest 和 (De) ToxiGen 項(xiàng)目可以產(chǎn)生更可靠的大型語言模型 (LLMs)，或者類似于 OpenAI 的 GPT-3 的模型，用于分析和生成具有人類水平復(fù)雜性的文本。

　　目前 LLMs 存在諸多風(fēng)險(xiǎn)。因?yàn)檫@些模型經(jīng)過了大量來自于互聯(lián)網(wǎng)(包括社交媒體)的數(shù)據(jù)培訓(xùn)，因此它們?cè)谟?xùn)練過程中可能會(huì)遇到有毒文本(toxic text)。由于重新訓(xùn)練模型的成本以及存在的大量錯(cuò)誤，發(fā)現(xiàn)和修復(fù)這些模型中的缺陷仍然是一個(gè)挑戰(zhàn)。

　　為了解決毒性問題，Microsoft Research 團(tuán)隊(duì)開發(fā)了 ToxiGen，這是一個(gè)用于訓(xùn)練可用于標(biāo)記有害語言的內(nèi)容審核工具的數(shù)據(jù)集。據(jù)微軟稱，ToxiGen 包含 274,000 個(gè)“中性”(neutral)和“有毒”(toxic)陳述的示例，使其成為最大的公開仇恨言論數(shù)據(jù)集之一。

　　Microsoft Research 合作伙伴研究領(lǐng)域經(jīng)理、AdaTest 和 (De) ToxiGen 項(xiàng)目負(fù)責(zé)人 Ece Kamar ToxiGen 表示

　　我們認(rèn)識(shí)到任何內(nèi)容審核系統(tǒng)都會(huì)存在差距，這些模型需要不斷改進(jìn)。 (De) ToxiGen 的目標(biāo)是讓 AI 系統(tǒng)的開發(fā)人員能夠更有效地發(fā)現(xiàn)任何現(xiàn)有內(nèi)容審核技術(shù)中的風(fēng)險(xiǎn)或問題。 我們的實(shí)驗(yàn)表明，該工具可用于測(cè)試許多現(xiàn)有系統(tǒng)，我們期待從社區(qū)中學(xué)習(xí)將從該工具中受益的新環(huán)境。

　　為了生成樣本，Microsoft Research 團(tuán)隊(duì)提供了一個(gè)針對(duì) 13 個(gè)少數(shù)群體的“中性”陳述和仇恨言論的 LLM 示例，這些群體包括黑人、身體和認(rèn)知障礙者、穆斯林、亞洲人、拉丁裔、LGBTQ+ 和美洲原住民。這些陳述來自現(xiàn)有的數(shù)據(jù)集以及新聞文章、觀點(diǎn)文章、播客記錄和其他類似的公共文本來源。

　　微軟團(tuán)隊(duì)解釋說，用于創(chuàng)建 ToxiGen 語句的過程被稱為 (De) ToxiGen，旨在通過指導(dǎo) LLM 生成工具可能錯(cuò)誤識(shí)別的語句來揭示特定審核工具的弱點(diǎn)。通過對(duì)三個(gè)人工編寫的毒性數(shù)據(jù)集的研究，該團(tuán)隊(duì)發(fā)現(xiàn)從一個(gè)工具開始并使用 ToxiGen 對(duì)其進(jìn)行微調(diào)可以“顯著”提高該工具的性能。

　　微軟團(tuán)隊(duì)認(rèn)為，用于創(chuàng)建 ToxiGen 的策略可以擴(kuò)展到其他領(lǐng)域，從而產(chǎn)生更多“微妙”和“豐富”的中立和仇恨言論示例。但專家警告說，這并不是萬能的。
　?。?a href="http://www.yibianchina.com/wechat/">邯鄲小程序開發(fā)）

高通表示W(wǎng)i-Fi 7 芯片...

一顆小行星將掠過地球 ...