百度人工智能怎么了？发表时间：2023-02-14 21:27
百度人工智能怎么了？百度在人工智能领域深耕十余年，拥有产业级知识增强文心大模型ERNIE，具备跨模态、跨语言的深度语义理解与生成能力，在搜索问答、内容创作生成、智办公等领域有着广阔的想象空间。 人工智能文心大模型ERNIE 3.0基于知识增强的多范式统一预训练框架，在 ERNIE 3.0 中，自回归和自编码网络被创新型地融合在一起进行预训练，其中自编码网络采用 ERNIE 2.0 的多任务学习增量式构建预训练任务，持续的进行语义理解学习。 通过新增的实体预测、句子因果关系判断、文章句子结构重建等语义任务，自编码网络创新性地增加了知识增强的预训练任务，自回归网络基于 Tranformer-XL 结构，支持长文本语言模型建模，多范式的统一预训练模式使得 ERNIE 3.0 能够在理解任务、生成任务和零样本学习任务上获取 SOTA 的表现。 传统的大规模 pre-training 模型主要基于纯文本数据进行预训练，忽略了常识知识或世界知识等信息，绝大多数的大规模预训练语言模型均是基于自回归网络进行预训练，并在 zero-shot/few-shot 任务上展现了很强的能力，但却无法很好地处理传统的 Finetune 任务。
百度人工智能怎么了？为了解决上述问题，在 ERNIE 3.0 中，提出了一个多范式统一的大规模预训练框架，基于该框架，ERNIE 3.0 融合了自回归网络和自编码网络，由于大规模知识图谱类数据的引入，使得模型能够在理解任务、生成任务、零样本学习任务和常识推理任务上均获取优秀的表现。 核心特点是多范式统一训练和通用知识文本预测，多范式统一预训练即是基于同一个网络进行多种自然语言处理学习范式的统一学习，如自然语言理解和自然语言生成的统一学习，不同的任务范式所需要的底层抽象语义信息是相同的，如词汇和语法信息，但是顶层的具象信息确实不同的，如，自然语言理解更倾向于学习 semantic coherence，而自然语言生成则需要进一步的上下文信息。
百度人工智能怎么了？文心大模型通过设置通用语义表示结构和任务特定表示结构进行多范式的统一预训练，训练模型全程可视化简易操作，在数据已经准备好的情况下，最快 15 分钟即可获得定制模型，BML 基于 Jupyter 提供了在线的交互式开发环境，帮助用户进行文心大模型的开发。 Notebook 不但免去了用户准备开发环境的过程，而且可以帮助用户轻松的实现数据集、代码以及模型的管理，通过文心大模型开发套件 ERNIEKit 使用 ERNIE 3.0 模型，提供了多种尺寸的 ERNIE3.0 中文模型，为 download_ernie_3.0_ch.sh，执行下载脚本，下载生成对应的目录，包含模型参数文件、词表文件、网络配置文件、模型版本信息文件 。 百度人工智能怎么了？事出有因，由人工智能实验室OpenAI研发的通用聊天机器人ChatGPT，于2022年11月30日上线后，押注人工智能的李彦宏坐不住了，ChatGPT网页应用允许用户免费使用，不限量向公众开放，关键是可以回答连续性的问题、承认自己的错误、质疑不正确的假设，还能拒绝不合理的需求，人机对话包括普通聊天、信息咨询、撰写诗词作文、修改代码等。 |
