在2021世界人工智能大会中，达观数据与浦东青联联合举办了“未来办公 文本赋能”智能语义分析应用论坛，多位专家学者围绕人工智能算法、语义分析、智能办公机器人应用等话题展开了一场精彩的交流盛宴。
复旦大学教授、博士生导师
复旦大学计算机科学技术学院院长、软件学院姜育刚
复旦大学计算机科学技术学院院长姜育刚以人工智能算法治理的角度分享，内容围绕目前
人工智能算法治理现状与问题、研究进展与局限和未来展望
三个方面展开。对于人工智能发展现状，姜院长表示目前人工智能在很多领域都取得了初步的成功，例如智慧金融、智能客服、自动驾驶、智能制造，智能档案，智慧医疗等等，很多行业都在体验着AI带来的便利。但与此同时，人工智能也存在着算法不透明、不公平、不安全、不友好、隐私泄漏、算法滥用等隐患，有待进一步突破。对此问题，姜院长分别从
人工智能算法的透明性、公平性、安全性、隐私保护和滥用监测
五个方面和大家分享了最新的研究进展和局限。
在大家最关注的透明度与可解释性上，整个深度学习的框架决定了AI系统目前很难做到非常透明。姜院长分享了如何通过
可视化
的方式，利用
热力图
可视化类别
激活图、模型梯度与敏感度
，实现模型可解释的研究内容。他表示，如果想做到模型绝对的可解释，亟需深度学习基础理论的突破，以构建天然可解释的训练及测试算法。
从公平性的角度来说，姜院长认为在进行模型训练和设计时，想办法消除有可能存在的地域、性别、种族等潜在偏见是值得关注与研究的方向，亟需在训练过程中引入人文社科知识，确保数据、模型的公平性。
在安全性方面，姜院长介绍了对抗样本防御、后门攻击防御，以及鲁棒性评估这三种方式。🔵
对抗样本防御：
目前最有效的防御方式是将对抗样本加到模型中，强制模型对于这些对抗样本生成正确的预测，这也是目前被认为最有效的防御的手段；🔵
后门攻击防御：
该领域的研究比较新，最近一两年才引起关注，也急需研究统一的标准和评测方法；
🔵
鲁棒性评估：
通过集成不同的对抗攻击方法，进行无限制攻击测试以发现模型的安全漏洞，同时通过不同强度的对抗样本攻击来有效评估模型鲁棒性。达观在NLP方面做的文本鲁棒性评估工具很好，复旦计算机学院也与达观数据进行了深入的合作。
谈及隐私保护，姜院长表示非常有代表性的就是
联邦学习
，联邦学习可以利用分布式学习在保证数据隐私安全及合法合规的基础上，实现共同建模，提升智能模型学习效果。但需有效的模型聚合方法，处理来自不同设备、不同分布的数据。
关于滥用检测，姜院长主要围绕机器生成文本检测方向，利用文本统计特性如
词频、词频排序、文本熵值
等检测文本是否为机器生成，同时借助可视化方法对检测结果进行展示。也提出需要具有强泛化能力的算法。
在分享最后，姜院长倡导发展以人为本的人工智能，呼吁以人工智能向善、改善人类生活为目的来推进人工智能算法的研究与应用。在设计过程中除了
产品层面
的指标，还需考虑
公平公正、和谐、友好、尊重隐私、安全可控、可解释等维度因素
，以此引导人工智能的健康发展。同时提倡
“技术+规则”
双轮驱动的算法治理，技术与规则联动，一方面研究更符合规则的人工智能算法，发展评估技术以度量现有人工智能算法的合规程度；另一方面通过规则自顶向下约束人工智能技术活动，牵引其健康发展。
科技猎
