逐渐消失的人工质检，揭秘华星光电的「AI之眼」

雷锋网 (公众号：雷锋网) 旗下「鲸犀」问世啦！！！

「关注产业经济变革，服务企业再造升级」是我们的服务宗旨。

鲸鱼和犀牛是海洋和陆地生物进化的代表，它们同样能够代表一大波在智能时代想要升级再造的先锋企业。「鲸犀」就是要记录这些企业的转型和成长。

如果您对企业数字化落地案例感兴趣，请关注「鲸犀」！

复制微信号：whalerhino

或扫码关注：

今年年初到现在，受到疫情的影响，国内各行业的众多企业意识到，数字化转型所蕴含的可观商业价值吸引力巨大，因此，企业拥抱数字化转型已逐渐成为行业共识。

在深圳市光明区华星光电的生产线上，已经很少能看到工人忙碌的身影，取而代之的是一条条机械手臂，而这条生产线的面积相当于12个足球场。与人类不同，这些机械手臂只要插上电源就可以昼夜不停地进行生产。并且，产品一旦出现了缺陷问题，负责检测的AI设备可以在5秒之内识别出来。

在华星光电高度数字化的生产线上，导入了国内面板业缺陷判别的首例人工智能项目——ADC项目（Auto Defect Classification 自动缺陷分类），目前，这个项目已经帮助华星光电在质检环节之一的图片检测方面缩减了50%的人力。

传统质检已跟不上发展刚需

此前，华星光电的质检方法是靠人工肉眼去识别AOI拍出的图片。

液晶面板是决定液晶显示器亮度、对比度、色彩、可视角度的材料，液晶面板质量、技术的好坏关系到液晶显示器整体性能的高低。

华星光电ADC项目负责人刘庆表示，面板的缺陷种类多达120种。不同工序、不同产品的缺陷特征也不尽相同，这对人员来说快速精准的识别缺陷类型有一定的难度。

在ADC项目之前，需要AOI设备将玻璃缺陷拍照后上传到NAS系统，再通过MES上传到人工判Code的界面，由人员对图片一张一张的进行设别和分类。

在华星光电工厂的Monitor Room中，每名图片质检员每天需要面对1万张产品图片进行检测，一名成熟的质检员，平均要花费2秒的时间完成对每张产品图片的缺陷分类工作，同时人员需要确认缺陷是否落在线路上、对产品的影响严重程度是否需要开立对应的生产异常单。

面板在不同的生产工序，不同的AOI设备拍照的的图像分辨率、曝光率、成像底色等差异非常大，有一定的识别难度，因此，一名质检员从入职到上岗，需要3-6个月的岗前培训通过考核才能上岗作业。

刘庆表示，与机器不同，人员具有明显的个体差异，人员识别容易受到外部环境的影响，人员识别的准确率是在一定范围内波动的，需要持续的对人员进行教育训练来保证稳定的准确率。

人工检测不仅在效率上不能满足工厂产能的快速爬坡，如今的年轻人也更喜欢去相对工作环境没那么单一的地方工作。

对于企业来说，更希望通过机器代替人工来进行生产作业的降本增效，这时候，就需要将人工所积累的经验进行固化，可以持续高效的运行。

ADC项目正式落地

2018年，腾讯云联合格创东智助力华星光电实现了人工智能在AI判片的应用，全面承接了t1，t2和 t6工厂图片自动识别（Auto Defect Classification，简称ADC）系统，在Array/CF/Cell各检测工序上的应用落地。

ADC项目的核心目的是让机器完成缺陷的分类工作，实现人力替代并加速异常反馈及处理。

该项目利用人工智能建立缺陷分类模型，对产线实时发送的图片进行识别分类，并将结果回传给MES，替代原有人工进行图片的识别分类 ADC项目初期并不顺利，遇到一些技术问题导致相关指标不达预期。

人工检测的准确率为85%，而ADC初始准确率仅为70%-80%。

刘庆表示，ADC项目初期收集各类的缺陷样本进行训练，当产线实际缺陷形态变化时模型无法灵活应对。而人员是可以提炼相应的特征来识别。这就需要把人员识别的经验和方法和模型的算法技术结合到一起。

项目前期的效果并不完美

项目的前期，研发人员需要花费30%的时间去把液晶面板特性模型的参数和人员经验结合调优。

对于整个项目来说，这个过程是至关重要的，研发团队会遇到两个关键性问题：

1）如何将客户主观需求转化为可求解的计算机视觉算法；

2）针对提炼出来的算法问题，如何提出一个最佳的解决方案。

这两个关键问题在项目初期至关重要，是项目开展的基石。

对此，负责ADC项目的算法研发人员在项目前期就要参与到华星光电的需求调研中，并深入了解液晶面板的工艺流程、缺陷成因、缺陷定义等并接受工厂相关的业务知识培训。

为了提出最佳的解决方案，腾讯云相关专家表示，针对具体的问题，在算法方面有多种选择，而研发人员需要从性能、速度、可执行性、可维护性、开发难度以及可能存在的风险等方面进行全方位评估。

对此，腾讯云和优图实验室研发人员综合考虑算法指标、开发和维护成本等提出深度学习为主+传统计算机视觉算法为辅的解决方案。

然而，整个项目在推进过程中还是会遇到很多问题：

1）数据分布多样性，大量小缺陷以及缺陷数据分布极度不均衡性共存，部分重要缺陷的数据非常少，对算法的泛化能力提出了极大的挑战；

2）长尾需求差异性强，不同站点的产品需求和缺陷会有差异，对解决方案造成了极大的挑战，需要随时根据需求调整；

3）算法研发人员抗压能力和团队协作能力需要非常强... ...

针对这些问题，整个研发团队迅速做出了调整。

项目组立即开展投入算法研究、开发缩放校正算法、旋转校正算法、小缺陷缺陷分割算法，针对小样本缺陷提出迁移学习来提升算法的性能。

并且，项目组积极组织研发人员进行攻坚，开发了孔异常算法、颜色校正算法等，这些算法作为ADC项目整体解决方案的补充，能灵活的根据不同的问题进行调整。

项目组以站点负责人制积极高效的推动算法的开发和交付，腾讯云和优图实验室一方面和华星光电进行充分沟通，允许在不影响面板质量的情况下对判断缺陷的规则进行适当修改；另一方面组织算法人员进行攻坚，采用适合的算法解决数据不准确易混淆的问题。

工业视觉场景有自己的特殊性，与自然场景有很大的不同，液晶面板的图像特征比较单一，但是也有一定幅度的变化。

华星光电给腾讯云提供的训练数据，无法完全覆盖生产环境中的所有情况。

对此，腾讯云需要采用图像标准化的策略，将所有线上数据全部都转换到同一个标准化的空间，再进行缺陷分析，最大程度抑制产线波动带来的影响。

腾讯云提炼出最优的通用解决方案并封装到TI-insight, 使用Ti-insight则不需要有研发技能也可以进行模型的交付和算法的迭代，这大大降低了算法的交付成本。

ADC项目极大地提高了检测效率

而在整个ADC项目进行的过程中，整个的准确率在不断地提升，准确率从最开始的70-80%，到目前的90%以上，这个过程整个研发团队用了两年的时间。

刘庆表示，如今，ADC识别单张图片的速度从人员的2秒缩短到了500-600毫秒，目前总共可以替代140名员工。截至目前，ADC项目可以为华星光电节省超过1000万人民币的成本。

自2016年起，华星光电就开始尝试智能制造。由于一开始采用的项目制发现推进困难，华星光电随即成立了数字化转型推进办公室，让有相关经验的工程师学习智能制造前沿的技术并进行推广应用。

TCL集团是国内许多制造业公司的缩影。如华星光电一样，传统企业向数字化转型如果可以得到验证，对于其他公司来说就会拥有同样的商业场景。

写在最后

对于高端制造业来说，向数字化转型的难点在于对数据的采集要求到极致，例如华星光电会对气态、液态、温度等物质的数据，这个挑战已经超越了数据采集，也超过了一般的数据分析。

对新技术的驾驭和掌控，制造业本身需要企业在机制和体制上对新技术的落地有一个新的认识。如今，新的技术要在工厂能够用好、落实好、执行好，需要企业拥有与过去不同的知识结构。

而对于传统企业来说，推进智能制造需要多方合力，既要懂工厂业务还要懂算法的人才，这对传统工业自动化部门是不小的挑战，同样，也是机遇。

欢迎勾搭

如果您对「鲸犀」感兴趣，请扫码进入读者群！

如果您的企业已经迈进数字化的大潮，有想报道的落地案例，请联系「鲸犀」！公众号后台留言或添加小助手微信whale-rhino，感谢您的关注！

雷锋网雷锋网雷锋网

。