- 博客(4)
- 收藏
- 关注
原创 EM 算法理解
EM 算法是一种迭代算法,1977 年由 Dempster 等人总结提出,用于含有隐变量(hidden variable)的概率模型参数的极大似然估计,或极大后验概率估计。EM 算法的每次迭代由两步组成:E 步,求期望(expectation);M 步,求极大(maximization)。所以这一算法称为期望极大算法(expectation maximization algorithm),简称 EM 算法。本篇博客通过具体的案例来介绍关于 EM 算法的理解。
2020-06-18 20:42:38
127
原创 Google Bert 框架简单蒸馏实践
预训练语言模型,然后对下游任务进行微调已成为自然语言处理的新范例。预训练语言模型(PLM),例如 BERT、XLNet、RoBERTa 在许多 NLP 任务中都取得了巨大的成功。但是,PLM 通常具有大量的参数,并且需要较长的推断时间,因此很难在移动设备上进行部署。此外,最近的研究也证明了 PLM 中存在冗余。因此,在保持性能的同时减少 PLM 的计算开销和模型存储至关重要且可行。本篇博客主要讲述论文《Distilling the Knowledge in a Neural Network》以及如何将论
2020-06-14 22:48:26
549
14
原创 基于词向量的相似度短语挖掘
本篇博客介绍了基于词向量的相似度短语挖掘方法,通过Word2Vec、ELMo 等词向量模型将词语映射到词向量空间,然后选择一批启动词,使用类似DBSCAN算法的方式不断从词向量空间中搜索相似度较高的新词,不断地迭代,直到找不到新的相似度较高的词语。
2020-06-09 14:41:00
514
原创 隐马尔可夫模型(上)基本概念
隐马尔可夫模型的介绍与基本概念整理,包括模型的基本概念,组成成分,以及各成分之间的计算过程,通过一个简单的例子带读者理解隐马尔可夫模型。
2020-06-02 22:05:22
138
空空如也
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝