bert

第五届“达观杯”自然语言处理算法竞赛——基于大规模预训练模型的风险事件标签识别已于10月中旬在第十届CCF自然语言处理与中文计算国际会议现场落下帷幕。 本届大赛达观数据提供了72G、上亿条通用领域经过脱敏的资讯信息用来支持预训练模型。训练集有14009条样本，数据来自于金融、政务、军事等多个领域，不均匀分布在3

自今年5月份TensorRT 8-EA版（Early Access，尝鲜版）发布之后，英伟达终于在本周二发布了TensorRT 8的正式版。作为支持英伟达GPU平台的深度学习推理框架，TensorRT 8正式版与以往的版本相比，能够在在1.2毫秒内运行全球最广为采用的基于transforemer模型之一——BERT-L

英伟达昨日发布了其 TensorRT 的 8.0 版本。TensorRT 可以看作是在英伟达各种 GPU 硬件平台下运行的一个深度学习推理框架，其核心是一个 C++ 库。 开发者可以将其他框架训练好的模型转化为 TensorRT 格式，并通过 TensorRT 推理引擎提升该模型的运行速度。芯东西等媒体和英伟达 AI

字幕组双语原文： NLP之文本分类：「Tf-Idf、Word2Vec和BERT」三种模型比较 英语原文： Text Classification with NLP: Tf-Idf vs Word2Vec vs BERT 翻译：雷锋字幕组（

字幕组双语原文： Keras 教程：BERT 文本摘要 英语原文： BERT (from HuggingFace Transformers) for Text Extraction 翻译：雷锋字幕组（ yhfwww 、 wiige

在去年11月份，NLP大神Manning联合谷歌做的ELECTRA一经发布，迅速火爆整个NLP圈，其中ELECTRA-small模型参数量仅为 BERT-base模型的1/10，性能却依然能与BERT、RoBERTa等模型相媲美。 在前不久，谷歌终于开源了ELECTRA，并发布了预训练模型，这对于缺大算力的高校

雷锋网(公众号：雷锋网) AI 源创评论按： 近日，谷歌宣布将 AI 语言模型 ELECTRA 作为 TensorFlow 之上的开源模型发布。该方法用到了一种称为替换令牌检测（RTD）的新预训练任务，使其能够在从所有输入位置学习的同时，训练双向模型。 并且，在同等计算资源的情况

Transformer 模型，特别是 BERT 模型，彻底改变了 NLP，并在诸如情感分析、实体抽取或问答等任务上开辟了新的天地。BERT 模型允许数据科学家站在巨人的肩膀上。当企业用这些模型在大型语料库中进预训练时，数据科学家可以将迁移学习应用到这些多用途的 transformer 模型中，并针对其领域特定的问题取得

模型压缩可减少受训神经网络的冗余，由于几乎没有 BERT 或者 BERT-Large 模型可直接在 GPU 及智能手机上应用，因此模型压缩方法对于 BERT 的未来的应用前景而言，非常有价值。软件工程师 Mitchell A. Gordon 在本文中总结了所有的 BERT 压缩模型的方法，并对该领域的论文进行罗列及分类

上个月，我尝试构建一个 reddit 评论机器人，通过结合两个预先训练的深度学习模型 GPT-2 和 BERT 生成自然语言回复。在这里我想一步一步地介绍一下我的工作，这样其他人就可以用我所建立的东西来工作了。如果愿意，可以直接跳转到项目代码： https://github.com/lots-of-t