原标题：网易推出超大模型推理引擎EET：超速响应 3秒创作一首歌词
近日，网易旗下AI研究与应用机构网易伏羲推出新一代Transformer推理引擎Easy and Efficient Transformer(简称：EET引擎)。该引擎具有可扩展、性能高、易使用等特点，能够在自然语言处理和多模态领域，有效提升Transformed-based超大模型的推理效率，让AI算法产生更大的社会价值，助力中国在超大模型生态研发领域领先全球。
目前，EET引擎已经应用在网易云音乐、Lofter，以及《逆水寒》、《天谕》等游戏中，在情境对话、语义判别、故事生成、AI作词、AI作曲等场景中发挥效能。
近年来，国内外掀起了对Transformed-based超大模型的研发热潮。Google、OpenAI、微软、NVIDIA等AI巨头纷纷投身其中，在多个领域展开“军备竞赛”。然而，超大模型庞大的参数量带来了巨大的计算压力，处在高速发展期的超大模型生态，急需好用、高效、具有扩展性的推理引擎，来助推工程落地。
而技术应用，正是网易伏羲的重点研究方向。据悉，此次推出的EET引擎相当于在超大模型和应用场景之间搭建了一座桥梁，把超大模型的算法成果运用到实际业务中，有效降低响应时间、增强用户体验、提高吞吐量、缓解线上部署压力。
在应用中，EET引擎主要解决两个问题：首先，针对AI线上服务的延迟问题，EET引擎可以在更短的时间内响应用户，提升用户体验。
举例来说，在网易伏羲研发的AI写歌产品中，用户可以通过设定关键词、韵脚、词格、段落属性等信息参数，在AI技术的帮助下，迅速创作一首歌词。由于其中涉及到海量参数的计算，一首歌词的创作大约需要20秒的时间。应用EET引擎的之后，同样一首歌词的创作时间被缩短到了3~4秒，用户体验大大提升。
第二，EET引擎还能降低硬件成本，提升线上模型的吞吐量。简单来说，假如完成一项计算任务需要部署10台服务器，在应用EET引擎之后，只需要2台服务器就能完成相同的任务。
与同类推理引擎相比，EET引擎的加速效果表现出色。在一组与字节公司推理引擎LightSeq的比较实验中，EET引擎的加速效果在小规模情况下比LightSeq高0.819到1.64倍；在中等模型情况下，EET引擎的加速效果比LightSeq高1.46到2.9倍。
图注：EET在小模型(hidden_units=768, sequence_length=769)的情况下与LightSeq进行比较
图注：EET在中等模型(hidden_units=1024, sequence_length=1024)的情况下与LightSeq进行比较目前，超大模型的规模已经发展到千亿级别，正在向万亿规模进发。网易伏羲也将进一步优化EET引擎，未来将支持千亿、乃至万亿规模的超大模型，为前沿技术发展和应用提供动力。
网易伏羲成立于2017年，是国内专业从事游戏和泛娱乐产业人工智能研究和应用的顶尖机构。网易伏羲的研究方向包括图像动画、自然语言、虚拟人、用户画像、大数据平台、云计算平台、云游戏等领域。在为网易众多产品提供高质量和前沿AI技术的同时，网易伏羲正在进一步把AI技术和产品开放给更多合作伙伴，全面释放创作者的生产力，革新用户体验。
