浙江天气,心慌是怎么回事,甘肃地图

本文基于AllenNLP英文tut穿越四四的小老婆orial翻译,其中不少错误,仅作为个人学习记录

有一篇帖子总结了一下学习处理NLP问题中间的enimem坑。NLP数据预处理要比CV的麻烦很多。

  • 去除停用词,建立词典,加载各种预训练词向量,Sentence -> Word ID -> Word Embedding的过程(Tobias Lee:文本预处理方法小记),其中不仅需要学习pytorch,可能还要学习spacy,NLTK,numpy,pandas,tensorboardX等常用python包。
  • 用到RNN时,还要经过pad,pack,pad的过程,像这样的很多函数在使用时需要有数学基础加上简单的实践,感觉对一个新人来说,高维数据的流动有点抽象,不容易理解。
  • 数据集的读取,tensorboardX的使用。。。。各种东西要学习。在运行别人的代码后打印出信息,不仅看着上档次,而且可以看到很多实用的信息。。。

Al中国植物志在线查询lenNLP是在pytorch基王芊雯础上的封装,它的目标是处理NLP任务,可以减少很多额外的学习。

  • 分词,帮你用spacy,NLTK,或者简单的按空格分词处理。
  • 数据集的读取,它内置了很多数据集的读取,你可以在通过学习它的读取方式,在它的基础上对自己需要的数据集进行读取。 、
  • 在Sentence -> Word ID -> Word Embedding的过程中,Glove,ELMo,BERT等常用的都可以直接使用,需要word,char粒度的都可以。
  • log打印输出,在内置的输出项之外,你可以很方便地加入想要输出的信息。模型的各个组件中的参数都可以存在一个json/jsonnet文件中,修改参数进行实验很方便。

2. A Walk Through AllenNLP

第三部分 创建自己的模型

使用自带的模型很好,但是自定义更牛逼,这节就是如何自定义模型。

一般来说,为了实现一个新模型,需要实现一个DatasetRe莉亚迪桑38分35截图ader子类来读入数据集以及与要实现的模型相对应的Model子类。(如果您已经使用了数据集的DatasetReader,当然可以重用那个。)在本教程中,我们还浙江天气,心慌是怎么回事,甘肃地图将实现一个自定义PyTorch模块,但通常不需要我是吕岳这样做。

我们的Simple Tagger模型使用LSTM来捕获输入句子中单词之间的依赖关系(就是第一次实现的那个),但是没有很好的方法来捕获标记之间的依赖关系。

对于像命名实体识别(NER)这样的任务来说,这可能是一个问题。

我们将尝试构建一个NER模型,该模型可以胜过CoNLL 2003数据集上的简单标记器。Simple Tagger在验证数据集上获得大约88%sp久久久an_based_f1。在这里应该可以做的更好。

解决此问题的一种方法是在标记模型的末尾添加条件随机场层(Conditional Random Field layer)。 (如果你不熟悉CRF,这个概述文章是有用的,就像这个PyTorch教程一样。)

这个“线性链”CRF具有转换成本的num_tagsX 狼人拜恩num_tags矩阵,其中transition [i,j]表示从第j个标签转换到第i个标签的可能性。除了我们想要预测的任何标签之外,我们还会有特殊的“开始”和“结束”标签,我们将在每个句子之前和之后粘贴,以便捕捉作为标签的固有的“过渡”。句子的开头或结尾。

此外,我们的CRF将接受一组可选的约束,这些约束禁止“无效”转换(其中“无效”取决于您尝试建模的内容。)例如,我们的NER数据在每一个实体中都有代表开头,中间,结束的标签。

由于CRF只是我们模型的一个组成部分,我们将其作为模块实现。

实现CRF模块

为了实现PyTorch的模块,可以直接从torch.nn.Module中继承并覆盖

de继女f forward(self, *input):
pass

计算所提供输入的对数似然(log-likelihood)。

要初始化此模块,我们只需要标记的数量和可选的一些约束(表示为允许对的拔灰列表(fro权诗妍m_tag_index,to_tag_index)):

实现CRF的标签模块王可去向

CrfTagger与SimpleTagger模型非常相似,因此我们可以将其作为起点。我们需要进行以下更改:

  • 为模型提供一个包含适当初始化的ConditionalRandomField模块的crf属性
  • 用Viterbi-generated最可能的标签替换softmax类郭昶老婆概率
  • 用CRF对数似然的负数替换softmax +交叉熵损失函数
  • 然后我们可以将新模型注册为“crf_tagger”。

构建一个DatasetReader

CONLL data的格式

 U.N. NNP I-NP I-ORG
official NN I-NP O
Ekeus NNP I-NP I-PER
heads VBZ I-VP O
for IN I-PP O
Baghdad NNP I-NP I-LOC
. . O O

每一行包括:一个token,一个词性标签,一个语法块标签,一个命名实体标签。空行表明是句子的结尾。

-DOCSTART- -X- O O

这个段表明文本的结尾。

用户可以自己查看代码,但在较高的层次sis001上,我们使用itertools.groupby将输入组合成“分隔符”或“句子”组。然后,对于每个句子,我们将每行分成四列,为令牌创建一个TextField,并为标签创建SequenceLabelField(对我们来说,这将是NER标签)。

创建一个配置文件

这个就是双将长牌对之前配置文件的修改,可以参考Simpl加勒比女eTagger的JSON文件,只需要对以下几点进行修改。

  • 将model.type名称改为crf_tagger
  • 修改dataset_reader.type为conll2003
  • 增加dataset_reader.tag_label块,名称为ner,为了指明NER标草莓数码签是我们预测的。

整合在皇陵大盗一起

allennlp train tutorials/getting_started/walk_through_allennlp/crf_tagger.json -s /tmp/crf_model杨好霍道夫