腾讯广告：广告场景下有哪些视觉算法应用？

雷锋网 (公众号：雷锋网) AI 科技评论按： 今年 7 月，2019 腾讯广告算法大赛「终极之战」在深圳腾讯滨海大厦顺利举行。本次总决赛现场，腾讯广告高级应用研究员石瑞超为大家带来了题为《广告场景下的 AI 视觉算法应用》的演讲。视觉算法应用于广告创意的三个阶段包括广告创建、广告审核及广告播放。研究员石瑞超为我们展示了 AI 视觉算法在解决广告落地中痛难点的优势与应用方法。以下是他的分享内容，雷锋网 AI 科技评论做了不改变原意的整理与编辑。

腾讯广告高级应用研究员石瑞超

广告创建，辅助创意输出

广告创建分为图片创建和视频广告创建。石瑞超提到图片创意生成过程面临的两个效果问题：商品抠图的边缘化处理和模板的更新扩充；此外他还介绍了视觉算法的解决方案。

广告创意视觉算法应用

针对商品抠图，这里选择了边缘处理效果较好的GCN算法进行优化，并对边缘做加权loss，提升边缘平滑性，修改产品图，进而提升视觉体验。

然后在获得良好抠图效果的基础上，再运用AI生成丰富的模板素材。而这一过程以产品主色调的提取为核心，基础思路为：检索并修改背景，做深度美感过滤模型提升产品视觉效果，继而通过修改配色获得多重类型模板，达到拓宽模板素材库的效果。

其中，配色修改通过预估每个像素的主色调获得配色后的最终效果，是模板生成的关键。在这一实践中，算法首先采用了业界常用的 Conv-Deconv+L2 Loss，并根据实际情况改进网络结构和损失函数；在经过重渲染控制像素值颜色的一致性，最终实际可用率可达到91%，获得良好效果。

之后，石瑞超以电商广告为切入点，向大家介绍视觉算法全自动智能生成视频创意的过程。

随着近年来各平台视频量快速增长，视频创意生成面临视频广告库存不足的现状。如何快速生成视频广告成为视频创意的主要命题。要解决这一问题，首先我们需要抓取商品基础信息，并基于行业模板库生成对应故事板（囊括图片、文案、配乐等要素），故事板经过渲染生成视频，同时应用算法获得封面图，最终上线一条完整的视频广告。

广告审核，质量把控

广告创意生成后，便进入广告审核阶段。随着广告体量的不断增长、审核规则越发繁多和复杂，依靠传统的人工审核已经无法满足当前需求。

首先，审核人员需要快速且准确地对所有违规点进行识别；其次，针对同样的违规问题，审核人员需要给予广告主一致的反馈意见。为解决这一问题，这里引入了智能审核项目，通过算法能力，在人工审核环节之前对广告创意进行各种检测，从而辅助人工高质量地完成审核。

演讲中，石瑞超以明星人脸抄袭和游戏抄袭为例介绍了他们在智能审核上面的一些实践。基于庞大数据库，他们采用 Asoftmax Loss 算法抓取特征，进行明星人脸抄袭的识别工作。运用识别图像关键区域的算法，通过关键区域与待识别素材的匹配程度判断抄袭审核结果。

明星人脸抄袭识别方法

然而，智能审核项目的能力提升也面临着成本高昂和效率提升瓶颈的难题。因此，这里引用 AutoML 引擎为研究方向，借助 AutoML 引擎的调优规则和搜索策略，提升智能审核效率。

AutoML 引擎

广告播放，体验优化

广告播放的关键问题主要聚焦于两个方面，一个是如何提升点击率和转化率；另一个是如何提升视觉体验。石瑞超主要介绍了双塔模型：抓取人群历史的素材点击特征向量，以广告的基础特征和用户群体特征为维度搭建双塔模型，高效预估点击率，提升广告投放的预估效果。“我们做了这种尝试，会发现AUC有比较明显的提升，大概是2%，线上效果的消耗能达到3%—4%左右。”

在向目标人群推荐广告的过程中，如果仅以点击率和转化率为推荐逻辑，用户很容易看到相似素材。针对这一问题，这里使用预训练好的 CNN 模型，提取卷积层特征，进行降维，得到无监督的 152 位向量。同时加入相似广告素材的训练数据进行 finetune，提升广告数据的拟合度，使召回率获得明显提升，从而一定程度避免重复广告素材的出现，优化用户的视觉体验。

相似素材过滤步骤

雷锋网 AI 科技评论

。