原标题:MIT发现AI数据集中存在大量标签错误,并建立查看网站
品玩3月29日讯,据Engadget消息,一个由麻省理工学院计算机科学家领导的小组,研究了十个被引用最多的用于测试机器学习系统的数据集。他们发现,大约3.4%的数据是不准确或错误标记的,这可能会导致使用这些数据集的人工智能系统出现问题。
这些数据集被引用次数均超过10万次,其中包括来自新闻组、亚马逊和IMDb的基于文本的数据集。错误源于亚马逊产品评论被错误地标记为正面,而实际上是负面的,反之亦然。
为了找出可能的错误,研究人员使用了一个称为自信学习(confident learning)的框架,该框架检查数据集的标签噪声(或无关数据)。他们使用Mechanical Turk验证了可能的错误,发现算法标记的数据中有54%的标签不正确。研究人员发现,QuickDraw测试集的错误率最高,约为500万(约占数据集的10%)。
团队创建了一个网站,任何人都可以浏览该网站查看标签错误。