教练车厂家
免费服务热线

Free service

hotline

010-00000000
教练车厂家
热门搜索:
成功案例
当前位置:首页 > 成功案例

NVIDIA GPU再创壮举,距真正会话AI又进一步!-电子发烧友网

发布时间:2022-04-25 14:07:36 阅读: 来源:教练车厂家
NVIDIA GPU再创壮举,距真正会话AI又进一步!-电子发烧友网
会话 AI 服务已经存在多年,但不论是聊天机器人,还是智能个人助理或搜索引擎,其理解能力很难达到与人类相当的水平。主要瓶颈则在于超大型AI模型的实施部署无法实现。正因如此,不论是Google、Microsoft、Facebook,还是阿里巴巴、百度等,都在模型的部署方面孜孜以求。

NVIDIA于太平洋时间8月13日宣布重大突破:BERT训练时间实现创纪录的53分钟,推理时间缩短至2毫秒,并构建了迄今为止同类型中最大的语言模型,使得实时会话 AI与用户进行互动时更为自然。
超大模型面前,GPU再证强大可扩展性BERT(Bidirectional Encoder Representations from Transformers)是世界上最先进的AI语言模型之一,Google于去年发布不久就刷爆AI业界。作为一种新型的语言模型,它只需一个额外的输出层对预训练BERT进行微调就可以满足各种任务,而无需再对模型进行修改,实现了在11项NLP任务上取得突破进展。

在对BERT模型进行训练时,短信验证H5模板
NVIDIA使用搭载了92台 NVIDIA DGX-2H系统的 NVIDIA DGX SuperPOD运行该模型的大型版本,凭借1472个NVIDIA V100 GPU的强大性能,NVIDIA将BERT-Large的典型训练时间从几天缩短至仅仅 53 分钟。

此外,NVIDIA还在单独一台NVIDIA DGX-2系统上执行了BERT-Large 模型的训练任务,用时也仅为 2.8天,充分体现了GPU在会话 AI 方面的可扩展性。

推理方面,借助于运行了NVIDIA TensorRT的NVIDIA T4 GPU,NVIDIA 执行 BERT-Base SQuAD数据集的推理任务,用时仅为2.2毫秒,远低于许多实时应用程序所需的10毫秒处理阈值;与使用高度优化的CPU代码时所测得的40多毫秒相比,有着显著改进。

对此,NVIDIA 深度学习应用研究副总裁 Bryan Catanzaro 表示,“对于适用于自然语言的AI而言,大型语言模型正在为其带来革新。NVIDIA 所取得的突破性工作成果加速了这些模型的创建,它们能够帮助解决那些最为棘手的语言问题,让我们距离实现真正的会话 AI 更进了一步。 NVIDIA BERT推理解决方案Faster Transformer宣布开源开发者们对于更大模型的需求正在日益增长,NVIDIA 研究团队基于Transformer构建并训练了世界上最大的语言模型。Transformer是BERT的技术构件,正被越来越多的其他自然语言AI模型所使用。NVIDIA定制的模型包含83亿个参数,是BERT-Large的24 倍。

2017年12月Google在论文“Attention is All You Need”中首次提出了Transformer,将其作为一种通用高效的特征抽取器。至今,Transformer已经被多种NLP模型采用,比如BERT以及上月发布重刷其记录的XLNet,这些模型在多项NLP任务中都有突出表现。在NLP之外,TTS、ASR等领域也在逐步采用Transformer。可以预见,Transformer这个简洁有效的网络结构会像CNN和RNN一样被广泛采用。

不过,虽然Transformer在多种场景下都有优秀表现,但是在推理部署阶段,其计算性能却受到了巨大的挑战:以BERT为原型的多层Transformer模型,其性能常常难以满足在线业务对于低延迟(保证服务质量)和高吞吐(考虑成本)的要求。以BERT-BASE为例,超过90%的计算时间消耗在12层Transformer的前向计算上。因此,一个高效的Transformer 前向计算方案,既可以为在线业务带来降本增效的作用,也有利于以Transformer结构为核心的各类网络在更多实际工业场景中落地。

NVIDIA GPU计算专家团队针对Transformer推理提出的性能优化方案Faster Transformer宣布开源,其底层基于CUDA和cuBLAS,是一个BERT Transformer 单层前向计算的高效实现,其代码简洁明了,后续可以通过简单修改支持多种Transformer结构。目前优化集中在编码器(encoder)的前向计算(解码器decoder开发在后续特性规划中),能够助力于多种BERT的应用场景。Faster Transformer对外提供C++++ API,TensorFlow OP 接口,以及TensorRT插件,并提供了相应的示例,用以支持用户将其集成到不同的线上应用代码中。 2021年15%的客服互动将通过AI完成预计未来几年,基于自然语言理解的 AI 服务将呈指数级增长。根据Juniper Research 的研究表明,在未来4年中,仅数字语音助手的数量就将有望从25 亿攀升到 80 亿。此外,据Gartner预计,到 2021 年,15%的客服互动都将通过AI完成,相比2017年将增长4倍。

当前,全球数以百计的开发者都使用 NVIDIA 的 AI 平台,来推进他们自己的语言理解研究并创建新的服务。

Microsoft Bing正在通过先进的 AI 模型和计算平台,为客户提供更好的搜索体验。通过与 NVIDIA 密切合作,Bing 使用 NVIDIA GPU(Azure AI 基础设施的一部分)进一步优化了热门自然语言模型 BERT 的推理功能,从而大幅提升了 Bing 于去年部署的排名搜索的搜索质量。与基于 CPU 的平台相比,使用 Azure NVIDIA GPU 进行推理,延迟降低了一半,吞吐量提升了5倍。

多家初创公司(例如Clinc、Passage AI 和Recordsure等)正在使用 NVIDIA的AI平台为银行、汽车制造商、零售商、医疗服务提供商、旅行社和酒店等客户构建先进的会话 AI 服务。据悉,中国市场也有相应的合作伙伴,日后将进一步公开。

会话AI才是真正意义上的人工智能的基本特征,不论是语言模型还是训练、推理,底层技术的逐步强大,才是实现这一切的基础。距离我们所期望的人工智能虽然还很遥远,但技术上的每一次突破都值得记载。