新智元投稿来源：腾讯AI Lab编辑：元子【新智元导读】腾讯 AI Lab 年度回顾重磅出炉！文章回顾了在过去一年中取得的重大成就、以及有价值的新应用。2019年，腾讯AI在围棋、王者荣耀和星际争霸2等竞技项目上超越职业玩家，也向着“科技向善”的终极理念更近了一步！（福利：今晚8点，刘天义博士为您解读云游戏性能及优化，戳右边链接上新智元小程序参与直播！）2019 年，腾讯 AI Lab 不断完善技术，创造了很多价值的新应用。同时也继续秉承了「科技向善」的信念和「Make AI Everywhere」的愿景，在过去的一年中与国内外的大学、企业和研究机构积极合作，探索了 AI 技术在为人类创造美好世界方面的可能性。

　　下面我们带来腾讯 AI Lab 的年度回顾。

　　“绝悟”AI称霸《王者荣耀》，“绝艺”国际赛事折桂

　　用游戏仿真世界探索通用人工智能

　　很多游戏任务具有与现实任务相似的复杂性，同时游戏环境又是结构化的，能够为通用决策智能体的训练提供绝佳的训练环境。腾讯 AI Lab 立足于围棋、《王者荣耀》和《星际争霸 2》等游戏，在过去的一年里取得了一些值得分享的成绩：

　　2019 年 8 月 2 日，在吉隆坡举办的《王者荣耀》世界冠军杯（该竞技游戏最高规格赛事）半决赛的特设环节中，腾讯 AI Lab 策略协作型 AI 「绝悟」在与职业选手赛区联队的 5v5 竞技中获胜。这表明绝悟 AI 已经达到了《王者荣耀》电竞职业水平。

　　即时策略+团队协作：在赛区联队全队覆灭后， 「绝悟」的兵线尚未到达，下路高地塔还有过半血量，「绝悟」果断选择四人轮流抗塔，无兵线强拆塔。* 注：赛事尾声，赛区联队团灭后，「绝悟」未直接推水晶，而是计算整体收益后，选择先推最后一个高地塔，再推水晶直至胜利。

　　收同一时段，「绝悟」的 1v1 版本「SUPEX 战队」还在国际数码互动娱乐展览会 China Joy 上亮相，在 2100 多场顶级业余玩家体验测试中胜率达到 99.8%。此版本相关的技术论文被顶级学术会议 AAAI 2020 接收。

　　8 月 25 日，腾讯 AI Lab 开发的、目前担任中国国家围棋队的训练专用围棋 AI 的「绝艺」斩获世界智能围棋公开赛冠军，这是它在问世三年以来，第四次夺得国际赛事冠军。

　　绝悟和绝艺都用到了一种名为「强化学习」的技术，其思想源自心理学中的行为主义理论，因此这种学习方法与人类学习新知识的方式存在一些共通之处。而游戏作为真实世界的模拟与仿真，一直是检验和提升 AI 能力的试金石，复杂游戏更被业界认为是攻克 AI 终极难题——通用人工智能（AGI）的关键一步。

　　如果在模拟真实世界的虚拟游戏中，AI 学会跟人一样快速分析、决策与行动，就能执行更困难复杂的任务并发挥更大作用。世界顶级科技公司均在推进「AI+游戏」研究，腾讯也一直是此类研究的先行者，希望不断探索找到实现类似人类智能的通用智能的方法。这是一个宏大而又长远的目标，我们将砥砺前行。

　　我们也在积极建设相关的产学研生态。8 月 18 日，腾讯 AI Lab 与《王者荣耀》开发工作室宣布将将共建 AI+游戏开放平台「开悟」。

　　开悟平台将开放《王者荣耀》的游戏数据和游戏核心集群（Game Core），及腾讯 AI Lab 的强化学习和模仿学习能力与计算平台。我们希望能立足这一平台，促进和深化与高校和研究机构的合作，通过产学研结合的方式加速对 AI 的前沿研究探索和技术应用。12 月「开悟」开始在首批 4 所高校内测，开放范围还将在新的一年里进一步扩大。

　　用数字人探索多模态研究难题

　　多模态机器学习是一个热门的多学科研究领域，其研究的主题是通过整合和建模多种信息模态（比如语言、声音和视觉信息）来解决某些 AI 任务。腾讯自 2018 年 2 月就开始关注多模态方向的研究，并于 2018 年 11 月宣布探索下一代人机交互方式：多模态智能。

　　2019 年，我们继续探索如何整合计算机视觉、自然语言处理和理解、语音技术的多模态研究，并在原创研究和实际应用上都取得了进展。在 6 月 20 日 举办的「2019 全球电竞运动领袖峰会暨腾讯电竞年度发布会」上，腾讯 AI Lab 正式发布了首个电竞虚拟人「T.E.G（天鹅静）」。她是腾讯 AI Lab 所研发的数字人中的一员，有自然且感情充沛的声音，并且搭配有生动活力的唇形和表情。

　　数字人不仅可以担任游戏解说，而且还能成为虚拟歌手、虚拟主播、虚拟教师、新闻主持和智能助手。我们正以个性化、成长性、互动性为核心探索数字人在更多不同场景中的应用。

　　不同于以前依靠昂贵的电影工业级扫描设备和复杂的后期制作实现的数字人生成，我们开发的数字人诞生于对前沿 AI 技术的整合，包括 3D 人脸和人体重建、文本/语音/口型驱动和神经网络渲染等技术。此类技术虽然在探索期，拟人性和实际效果还不尽如人意，但长期看能降低个性化内容录制和制作的时间、人力和金钱成本。而且基于 AI 的数字人还有望实现与人类的实时动态交互，从而更好地融入人们的日常生活。

　　上图是数字人的基础能力和相关技术示意图。

　　具体来说，为了生成看起来真实自然的数字人形象，我们使用了基于深度神经网络的 3D 人脸人体重建、文本/语音/口型驱动和神经网络渲染等技术，使所生成的数字人能具备丰富的姿态和表情。这个技术流程分为三个阶段：1）DurIAN 模型生成同步音频和表情口型信息；2）基于此信息由 3D 动画技术生成人脸动画；3）卡通形象交给游戏引擎渲染，真人形象交给神经网络渲染。

　　数字人声音的 AI 合成及转换则采用了腾讯 AI Lab 今年研发的多模态语音合成算法DurIAN。该算法发布于 2019 年 9 月与顶级刊物 Nature 合办的世界首届「Nature Conference - AI & Robotics」大会。

　　该算法的实现使用了基于神经网络的自回归生成模型，并使用了诸如信号能量归一化、人声增强等信号预处理和后处理的模块处理低质量数据。在模型训练过程中，我们还使用了迁移学习方法，可以在只有少量目标说话人数据的情况下提升语音合成以及歌唱合成的效果。

　　DurIAN 在自然度、鲁棒性、可控性、泛化能力以及实时性都取得了显著进步，能够在保证端到端语音合成模型高自然度的同时又完全杜绝漏字、重复等问题，解决了一直困扰业界的端到端系统的稳定性和可控性问题。

　　我们研发的数字人还能实现说话转唱歌，所用技术是自创的 DurIAN-4S 的升级算法，可将说话数据和唱歌数据放在一个训练/生成框架下，从样本歌声提取基频和每一帧能量信息，在歌声生成时输入这些信息，可让 AI 自动学会样本歌声的唱歌方式和技巧。最终，我们实现了合成歌声、合成 Rap 和普通话转粤语歌的效果。

　　数字人的舞蹈动作生成还可以使用我们研发的生成对抗网络（Liquid Warping GAN）来自动生成，并参考了三维人体重建的信息来完成相应舞蹈动作迁移。为保留迁移后的人体相关信息（如衣服纹理和颜色等），AI 会从特征和图像的层面将静态图片里的人体信息不断融合到生成的目标视频中。

　　同时为了进一步保持静态图片里面的人体信息，我们使用了三维人体重建技术来同时建模人体关键点信息和人体身材信息。

　　综合起来，数字人形象的 AI 生成与实时驱动首先是训练一个动态信息预测器，学习文本/语音到三维特征数据（包括口型、表情、肢体动作）的映射关系，并综合文本、声音、视觉等多模态信息；然后再训练一个神经网络渲染器，学习目标人物的三维特征数据到最终视频画面的映射关系。我们采用了共享隐空间的方式来综合多种不同数据源信息。

　　与Nature Research 联合发布《AI与机器人(300024,股吧)的 42 个大问题》

　　行业报告

　　2019 年，我们发布了两份报告，即《AI与机器人的 42 个大问题》和《智能时代的技术伦理观——重塑数字社会的信任》。

　　《AI与机器人的 42 个大问题》由腾讯 AI Lab 携手 Nature Research 发布于共同举办的 AI & Robotics 大会。报告汇集了 AI 与机器人领域中 42 个有终极目标意涵的问题，并邀请了 11 位世界知名学者为这些宏大问题给出每个人独特而深刻的理解与答案。此外，本报告还整理了大量来自网络的见解和看法。我们希望这 42 个大问题能激发对人、AI与机器人未来的长远思考与规划。

　　《智能时代的技术伦理观——重塑数字社会的信任》由腾讯研究院和腾讯 AI Lab 联合发布，是一份旨在推动人工智能伦理道德发展的报告。

　　报告认为在「科技向善」理念之下，需要倡导面向人工智能的新的技术伦理观，包含三个层面：技术信任，人工智能等新技术需要价值引导，做到可用、可靠、可知、可控（「四可」）；个体幸福，确保人人都有追求数字福祉、幸福工作的权利，在人机共生的智能社会实现个体更自由、智慧、幸福的发展；社会可持续，践行「科技向善」，发挥好人工智能等新技术的巨大「向善」潜力，善用技术塑造健康包容可持续的智慧社会，持续推动经济发展和社会进步。

　　这两份报告是腾讯 AI Lab 面向「科技向善」的愿景所做出的贡献，我们希望它们可以帮助促进公众对人工智能技术和应用前景的认知、规范和引导企业与研究机构开发应用向善的科技。

　　AI+医疗

　　腾讯 AI Lab 一直以来都在拓展 AI 技术在医疗领域的应用。2019 年，我们在医疗领域取得了一些重要的研究成果：

　　2019 年 10 月，腾讯 AI Lab 四篇论文入选顶级医学影像会议 MICCAI，涉及病理癌症图像分类、医学影像分割、CT病灶检测等。

　　在全球医学影像学最顶级的会议 RSNA 上， 腾讯 AI Lab 的「SeuTao」采用多模型、多阶段、多信息融合的方法，通过添加 CT 图像的空间信息，融合医学图像病变的关联性以及有效的数据采样算法，短时间内从超过一百万幅脑部 CT 图像中找到了颅内出血的病变规律，从 1300 多支队伍中脱颖而出，取得了 Stage1 和 Stage2 双榜第一的好成绩。

　　应用方面，我们为腾讯的国家级影像产品「腾讯觅影」与辅诊导诊产品医疗科普平台「腾讯医典」提供了支持。智能病理显微镜也不断迭代，提升用户体验。

　　AI+农业

　　腾讯智慧农业解决方案：iGrow AIoT温室

　　过去的一年里，我们在农业领域也成果颇丰。通过与国内外的大学与机构合作，我们在农业科技的前沿探索与社区建设方面都做出了重要贡献：

　　腾讯 AI Lab 与农科院信息所成立联合实验室：借助信息所在农业领域深厚的积累整合腾讯在 AI 等前沿科技的实力，我们成立了智慧农业联合实验室，探索前沿科技和农业的跨领域研究，共同助力产业升级。

　　与荷兰瓦赫宁根大学联合举办第二届人工智能温室种植大赛：我们和瓦赫宁根大学一起打造自动化温室的算法控制平台，挖掘高效的人工智能种植策略。今年 9 月 12 日预赛结束，从全球来自于 26 个国家的 200 名专家与学生所组成的 21 支队伍中，来自三星电子、中国农科院、先正达（全球第一大农药、第三大种子农化公司）及首尔大学等的 5 支国际队伍脱颖而出，将在下一阶段挑战用 AI 和物联网技术等前沿技术远程控制温室种植番茄。我们将从五个方面：作物品质好、产量高、温室能耗少、操控自动化、技术可迁移，探索未来智慧农业的更大技术可能。

　　打造中国方案：基于在国际温室种植大赛不断累计的算法与研究基础上，我们搭建了可落地的中国智慧方案——iGrow AIoT 温室，目前已经启动线下试点。

　　将 AI 应用于农业是腾讯 AI Lab 发起的「AI+FEW」项目的一部分，即将人工智能应用于食物、能源和水资源（FEW），致力于解决人类所面临的重大挑战。

　　AI+工业

　　2019 年 8 月在上海举办的「2019 世界人工智能大会」上，腾讯 Robotics X 机器人实验室与腾讯 AI Lab 等多个部门协作研究项目「腾讯工业智能巡检操作机器人」首次展出，这是业界首次探索在常规巡检技术上增加远程实时的灵巧操控技术，可让机器人在石油化工等特种行业的极端环境下发挥更大作用。

　　在工作流程上，该机器人能利用 AI 视觉技术自主读取多种工业仪表，能辨识各类管道泄漏情况并检测物体姿态，还能实时监测物料摆放位置及监控区域人员违规行为。监测到特殊情况时，机器人会启动响应模式，自动规划路线移到事故区域。工作人员可使用自主或远程的智能遥操作，指挥机械臂对阀门或开关进行灵活抓取与操控。

　　该方案使用了腾讯云「云智天枢平台」机器人设备管理、云边端连接和调度能力，及面向能源化工行业的智能大数据可视化解决方案。后端处理上方案整合了公司的边缘计算能力，如TencentOS link的边缘视频处理、AI计算和数据上云。搭载5G能力时，该方案还可利用腾讯智能边缘计算网络平台TSEC（Tencent Smart Edge Connector），以更先进的网络服务提供高带宽、低延时的快捷稳定体验。

　　AI+内容

　　从个性化内容推荐到内容的自动生成，AI 与数字化内容有着天然的亲和性。依托于其庞大的内容相关业务（比如腾讯看点的整体日活跃用户量达 1.85 亿），腾讯公司一直以来都致力于推进智能技术在搜索和推荐等方面的应用。过去一年中，腾讯 AI Lab 与腾讯多个业务部门共同打造或继续改进基于机器学习的推荐引擎，并将其成功部署到了腾讯看点（看点快报、QQ看点）等重要业务中。相比于传统的基于规则的引擎，机器学习推荐引擎能够基于不同的用户画像（包含年龄、性别、地域等属性与阅读、评论、转发等行为）精准地为不同用户群体提供个性化的推荐服务。

　　尤其值得一提的是我们在 2019 年实现了视频内容推荐的实际应用部署。我们的方法可以通过分析视频内容和封面图来自动创建视频标签，然后根据用户的个性化模型做出视频推荐。这类技术在火热发展的短视频内容领域具有尤其重要的价值。

　　在内容搜索方面，我们打造了新一代海量数据(603138,股吧)搜索引擎 TurboSearch。其是我们对已有搜索系统的整体重构和优化，是一种大规模、轻量级、松耦合、可裁剪、低运营成本的完整解决方案。该引擎无缝对接了腾讯 AI Lab 的各项 NLP 能力，涵盖 Query 分析及排序等多个领域及丰富的应用场景。我们将逐步开源开放整个引擎，并构建协同开发生态系统。

　　2019年AI顶会无一缺席，论文数量位居国内企业前列

　　腾讯 AI Lab 是国内领先的企业人工智能实验室。2019 年，我们在通用人工智能探索、机器学习研究、计算机视觉和自然语言处理等更细分领域的技术研发方面都做出了业界领先的贡献。通过学术会议和开放平台，我们也一直在积极与 AI 社区分享我们的成果和思考。

　　2019 年，腾讯 AI Lab 积极参与了人工智能相关领域中所有主流的顶级会议，包括 ACL、CVPR、EMNLP、IJCAI、AAAI、ICML、ICLR 和 NeurIPS，并且在这些会议上发表的论文数量位居国内企业实验室前列。

　　自 2016 年腾讯 AI Lab 成立以来腾讯在 AI 领域的论文发表情况。可以看出，腾讯在 AI 方面的研究引领国内企业，2018 和 2019 年的论文发表数量增长尤其显著。（截图来自上海交通大学 Acemap：https://www.acemap.info/ranking）

　　腾讯 AI Lab 不仅积极参与 AI 社区的学术会议，也主动组织了大大小小多个学术分享活动，包括腾讯 AI Lab 与 Nature Research（自然科研）及旗下《自然-机器智能》、《自然-生物医学工程》在深圳联合举办世界首届「Nature Conference - AI 与机器人大会」。

　　在2019年，腾讯AI Lab总计与多个高校研究机构签署29项合作，其中17项为国际和中国港澳地区著名学者的合作，包括卡内基梅隆大学、加州大学戴维斯分校、伊利诺伊大学香槟分校、悉尼大学等国际顶尖高校，以及香港科技大学、理工大学、中文大学、城市大学等港澳地区一流高校。