今天微軟宣布多項工具和數據集開(kāi)源，這些工具旨在審計 AI 驅動(dòng)的內容審核系統，以及自動(dòng)編寫(xiě)突出顯示 AI 模型中潛在錯誤的測試。微軟表示 AdaTest 和 (De) ToxiGen 項目可以產(chǎn)生更可靠的大型語(yǔ)言模型 (LLMs)，或者類(lèi)似于 OpenAI 的 GPT-3 的模型，用于分析和生成具有人類(lèi)水平復雜性的文本。

　　目前 LLMs 存在諸多風(fēng)險。因為這些模型經(jīng)過(guò)了大量來(lái)自于互聯(lián)網(wǎng)(包括社交媒體)的數據培訓，因此它們在訓練過(guò)程中可能會(huì )遇到有毒文本(toxic text)。由于重新訓練模型的成本以及存在的大量錯誤，發(fā)現和修復這些模型中的缺陷仍然是一個(gè)挑戰。

　　為了解決毒性問(wèn)題，Microsoft Research 團隊開(kāi)發(fā)了 ToxiGen，這是一個(gè)用于訓練可用于標記有害語(yǔ)言的內容審核工具的數據集。據微軟稱(chēng)，ToxiGen 包含 274,000 個(gè)“中性”(neutral)和“有毒”(toxic)陳述的示例，使其成為最大的公開(kāi)仇恨言論數據集之一。

　　Microsoft Research 合作伙伴研究領(lǐng)域經(jīng)理、AdaTest 和 (De) ToxiGen 項目負責人 Ece Kamar ToxiGen 表示

　　我們認識到任何內容審核系統都會(huì )存在差距，這些模型需要不斷改進(jìn)。 (De) ToxiGen 的目標是讓 AI 系統的開(kāi)發(fā)人員能夠更有效地發(fā)現任何現有內容審核技術(shù)中的風(fēng)險或問(wèn)題。 我們的實(shí)驗表明，該工具可用于測試許多現有系統，我們期待從社區中學(xué)習將從該工具中受益的新環(huán)境。

　　為了生成樣本，Microsoft Research 團隊提供了一個(gè)針對 13 個(gè)少數群體的“中性”陳述和仇恨言論的 LLM 示例，這些群體包括黑人、身體和認知障礙者、穆斯林、亞洲人、拉丁裔、LGBTQ+ 和美洲原住民。這些陳述來(lái)自現有的數據集以及新聞文章、觀(guān)點(diǎn)文章、播客記錄和其他類(lèi)似的公共文本來(lái)源。

　　微軟團隊解釋說(shuō)，用于創(chuàng )建 ToxiGen 語(yǔ)句的過(guò)程被稱(chēng)為 (De) ToxiGen，旨在通過(guò)指導 LLM 生成工具可能錯誤識別的語(yǔ)句來(lái)揭示特定審核工具的弱點(diǎn)。通過(guò)對三個(gè)人工編寫(xiě)的毒性數據集的研究，該團隊發(fā)現從一個(gè)工具開(kāi)始并使用 ToxiGen 對其進(jìn)行微調可以“顯著(zhù)”提高該工具的性能。

　　微軟團隊認為，用于創(chuàng )建 ToxiGen 的策略可以擴展到其他領(lǐng)域，從而產(chǎn)生更多“微妙”和“豐富”的中立和仇恨言論示例。但專(zhuān)家警告說(shuō)，這并不是萬(wàn)能的。
　?。?a href="http://www.lsbmaoyi.com/wechat/">邯鄲小程序開(kāi)發(fā)）

高通表示W(wǎng)i-Fi 7 芯片...

一顆小行星將掠過(guò)地球 ...