中国图象图形学学会、蚂蚁集团、CSA大中华区等发起全球AI攻防挑战赛

9月6日上午,在2024Inclusion·外滩大会“以AI守护AI 大模型时代的攻守之道”论坛上,国内首个大模型攻防主题的 科技 赛事—“全球AI攻防挑战赛”宣布正式启动。该赛事聚焦AI大模型产业实践,设计了攻、防双向赛道,邀请各路白帽黑客、技术人才分别进行针对文生图大模型“数据投毒”的攻防实战演练,以及 金融 场景大模型生成内容的防伪检测竞赛,角逐百万元科技奖金。

本次大赛由中国图象图形学学会、蚂蚁集团、云安全联盟(CSA)大中华区联合主办,广泛联合清华大学、上海交通大学、浙江大学等C9高校及多家产学研组织共同发起,上海人工智能实验室作为技术合作单位。大赛旨在通过技术竞赛的形式,凝聚学界、行业力量,直面并解决大模型应用中潜藏的风险,助力全球AI产业健康可持续发展。

中国工程院院士、中国图象图形学学会理事长王耀南在赛事启动环节表示,大模型时代,如何确保AI系统的安全可控、如何有效应对供应链中的潜在风险,成为亟待解决的重要问题。图像图形技术作为新一代信息技术领域的关键技术,在大模型等多场景创新应用,推动图像识别与安全技术创新发展。此次AI攻防挑战赛,是中国图象图形学学会携手蚂蚁集团等业界知名企业、机构,聚焦大模型AIGC赛道共同打造的全球性技术盛宴,从人脸验真到生成式内容检测,期待挖掘出更多创新方案,更进一步保障大模型应用安全和产业安全。

大赛设置了“攻击”与“防守”两大赛道,分别聚焦大模型自身安全和大模型生成内容的防伪检测及大模型滥用风险检测,涵盖机器学习、‌图像处理与计算机视觉‌、数据处理等多个算法领域的考点。

其中,“攻击赛道”聚焦于文生图大模型的实际应用风险问题。参赛选手可通过目标劫持、情景带入、逻辑嵌套等多样化的动态攻击诱导技术,诱发大模型输出风险图像,以此激活大模型的潜在弱点和漏洞,增强大模型生图的安全免疫能力。“防守赛道”则聚焦于AI核身中的金融场景凭证篡改检测,以应对日益严峻的Deepfake深度伪造及AIGC假证风险。大赛提供百万级凭证篡改数据训练集,参赛选手需要研发和训练模型,并利用对应的测试集评估模型有效性,给出数据伪造概率值。

为保证大赛公平公正,同时更好地指导选手,大赛评委团由多位学术界与工业界专家共同组成。中国工程院院士、中国图象图形学学会理事长王耀南,云安联盟(CSA)大中华区主席李雨航担任本次大赛的指导委员会专家,来自清华大学、上海交通大学、上海人工智能实验室、中国图象图形学学会等单位的近30位知名学者将参与大赛的组织及评审工作。

本次大赛于9月6日正式启动报名,11月初完成赛事评审。即日起,选手可通过中国图象图形学学会官网、阿里云天池大数据众智平台官网等渠道报名。大赛全程设有近100万元奖金池,用以选拔及表彰领域内的优秀人才。