美國麻省理工學(xué)院(MIT)的研究團隊近日發(fā)表論文指出，現有的第三方推特(Twitter)機器人賬戶(hù)自動(dòng)檢測工具并不準確，因為其數據集過(guò)于簡(jiǎn)單，缺乏泛用性。

　　此前有消息稱(chēng)，機器人賬戶(hù)過(guò)多是阻止馬斯克收購推特的原因之一。推特當時(shí)聲稱(chēng)其日活躍用戶(hù)中有 5% 是機器人賬戶(hù)，但馬斯克表示這個(gè)數字要比 5% 高得多。

　　推特有自己的機器人賬戶(hù)識別系統，但并未公開(kāi)。因此，對于普通公眾而言，第三方工具是較為可行的檢測方法。這些第三方工具使用從推特收集的數據集和機器學(xué)習模型來(lái)檢測機器人的可疑跡象，許多工具和模型已被用于研究社交媒體上的機器人活動(dòng)，相關(guān)論文甚至已達數千篇。

　　這些論文中的大多數基準數據集都是在不同推文中收集的數據集合，其中許多都是在特定推文(例如包含特定主題標簽的推文)中收集的，每條都由人類(lèi)手動(dòng)標記為機器人或人類(lèi)。然而這種經(jīng)過(guò)專(zhuān)門(mén)訓練的機器人檢測模型在該專(zhuān)業(yè)領(lǐng)域表現出色，卻并沒(méi)有涵蓋全部領(lǐng)域，并且嚴重依賴(lài)于特定數據，而不是機器人和人類(lèi)之間的根本差異。

　　當這些模型在其他領(lǐng)域的數據集上進(jìn)行測試時(shí)，它們的準確性很差，幾乎與隨機預測水平相當。同時(shí)，在許多數據集上，即使是相對簡(jiǎn)單的模型也與最先進(jìn)的機器學(xué)習模型(SOTA)準確率相當。

　　換言之，在一個(gè)數據集上訓練的模型不能推廣到其他數據集，現有的機器人檢測數據集由于數據收集簡(jiǎn)單而通用性較低。

　　最后，研究人員警告說(shuō)，當使用現有的機器人檢測數據集時(shí)，用戶(hù)應該仔細考慮可能存在哪些類(lèi)型的偏差。研究人員認為，一個(gè)根本的解決方案是推特等社交媒體本身就應該為研究人員提供豐富、可靠的數據以及高質(zhì)量的真實(shí)標簽。
　?。?a href="http://www.lsbmaoyi.com">碼上科技）

東芝推出實(shí)時(shí)測量技術(shù) ...

最后一頁(yè)