测试作弊,百度人工智能被禁赛一年
5月份的时候,雷锋网曾 报道 , 百度超级计算机Minwa在计算机视觉挑战赛(ILSVRC)上取得了“世界最好的成绩”,他们的系统在测试ImageNet分类数据集中的错误率仅为4.58%, 击败了 谷歌 、 微软 等竞争对手。
而在6月2日,ILSVRC的组织者指出,百度在测试过程中作弊,测试的频率远超规定次数。ImageNet允许参赛方每周提交两组测试结果。然而,百度在3月份的5天内提交了逾40次测试结果。对此, 百度承认违规行为,并且已经就此事 道歉 。
曾在ImageNet测试中获胜的人工智能公司Clarifai CEO Matthew Zeiler表示:
“这种做法十分糟糕,这正是为什么要将测试数据独立服务器上,并限制访问次数的原因。如果你知道了测试数据,你就会修改你的模型参数,怎么优化都可以。”
目前,ImageNet组织方已经要求百度停止在明年提交ImageNet测试成绩。
本文转载请注明来源:
http://www.leiphone.com/news/201506/u8csqcVjBBQgJvJc.html