1. 首页
  2. 教育
  3. 深度学习

textCNN论文与原理——短文本分类

前言之前书写了使用pytorch进行短文本分类,其中的数据处理方式比较简单粗暴。自然语言处理领域包含很多任务,很多的数据向之前那样处理的话未免有点繁琐和耗时。在pytorch中众所周知的数据处理包是处理图片的torchvision,而处理文本的少有提及,快速处理文本数据的包也是有的,那就是torchtext[1]。下面还是结合上一个案例:【深度学习】textCNN论文与原理——短文本分类(基于pytorch)[2],使用torchtext进行文本数据预处理,然后再使用torchtext进行模型分类。

前言

之前书写了使用pytorch进行短文本分类,其中的数据处理方式比较简单粗暴。自然语言处理领域包含很多任务,很多的数据向之前那样处理的话未免有点繁琐和耗时。在pytorch中众所周知的数据处理包是处理图片的torchvision,而处理文本的少有提及,快速处理文本数据的包也是有的,那就是torchtext[1]。下面还是结合上一个案例:【深度学习】textCNN论文与原理——短文本分类(基于pytorch)[2],使用torchtext进行文本数据预处理,然后再使用torchtext进行模型分类。

关于torchtext的基本使用除了可以参考官方文档,也可以看看这篇文章:TorchText用法示例及完整代码[3]。

下面就开始看看该如何进行处理吧。

1数据处理

首先导入包:

fromtorchtextimportdata

我们处理的语料中,主要涉及两个内容:文本,文本对应的类别。下面使用torchtext构建这两个字段:

#文本内容,使用自定义的分词方法,将内容转换为小写,设置最大长度等TEXT=data.Field(tokenize=utils.en_seg,lower=True,fix_length=config.MAX_SENTENCE_SIZE,batch_first=True)#文本对应的标签LABEL=data.LabelField(dtype=torch.float)

其中的一些参数在一个config.py文件中,如下:

#模型相关参数RANDOM_SEED=1000#随机数种子BATCH_SIZE=128#批次数据大小LEARNING_RATE=1e-3#学习率EMBEDDING_SIZE=200#词向量维度MAX_SENTENCE_SIZE=50#设置最大语句长度EPOCH=20#训练测轮次#语料路径NEG_CORPUS_PATH=‘。/corpus/neg.txt’POS_CORPUS_PATH=‘。/corpus/pos.txt’

utils.en_seg是自定义的文本分词函数,如下:

defen_seg(sentence):“”“简单的英文分词方法,:paramsentence:需要分词的语句返回分词结果”“”returnsentence.split()

当然也可以书写更复杂的,或者使用spacy。下面就是书写读取文本数据到torchtext对象的数据了,便于使用torchtext中的方法,如下:

defget_dataset(corpus_path,text_field,label_field,datatype):“”“构建torchtext数据集:paramcorpus_path:数据路径:paramtext_field:torchtext设置的文本域:paramlabel_field:torchtext设置的文本标签域:paramdatatype:文本的类别torchtext格式的数据集以及设置的域”“”fields=[(‘text’,text_field),(‘label’,label_field)]examples=[]withopen(corpus_path,encoding=‘utf8’)asreader:forlineinreader:content=line.rstrip()ifdatatype==‘pos’:label=1else:label=0#content[:-2]是由于原始文本最后的两个内容是空格和。,这里直接去掉,并将数据与设置的域对应起来examples.append(data.Example.fromlist([content[:-2],label],fields))returnexamples,fields

现在就可以获取torchtext格式的数据了,如下:

#构建data数据pos_examples,pos_fields=dataloader.get_dataset(config.POS_CORPUS_PATH,TEXT,LABEL,‘pos’)neg_examples,neg_fields=dataloader.get_dataset(config.NEG_CORPUS_PATH,TEXT,LABEL,‘neg’)all_examples,all_fields=pos_examples+neg_examples,pos_fields+neg_fields#构建torchtext类型的数据集total_data=data.Dataset(all_examples,all_fields)

有了上面的数据,下面就可以快速地为准备模型需要的数据了,如切分,构造批次数据,获取字典等,如下:

#数据集切分train_data,test_data=total_data.split(random_state=random.seed(config.RANDOM_SEED),split_ratio=0.8)#切分后的数据查看##数据维度查看print(‘lenoftraindata:%r’%len(train_data))#lenoftraindata:8530print(‘lenoftestdata:%r’%len(test_data))#lenoftestdata:2132##抽一条数据查看print(train_data.examples[100].text)#[‘never’,‘engaging’,‘,’,‘utterly’,‘predictable’,‘and’,‘completely’,‘void’,‘of’,‘anything’,‘remotely’,#‘interesting’,‘or’,‘suspenseful’]print(train_data.examples[100].label)#0#为该样本数据构建字典,并将子每个单词映射到对应数字TEXT.build_vocab(train_data)LABEL.build_vocab(train_data)#查看字典长度print(len(TEXT.vocab))#19206#查看字典中前10个词语print(TEXT.vocab.itos[:10])#[‘《unk》’,‘《pad》’,‘,’,‘the’,‘a’,‘and’,‘of’,‘to’,‘。’,‘is’]#查找‘name’这个词对应的词典序号,本质是一个dictprint(TEXT.vocab.stoi[‘name’])#2063#构建迭代(iterator)类型的数据train_iterator,test_iterator=data.BucketIterator.splits((train_data,test_data),batch_size=config.BATCH_SIZE,sort=False)

这样一看,是不是减少了我们书写的很多代码了。下面就是老生常谈的模型预测和模型效果查看了。

2构建模型并训练

模型的相关理论已在前文介绍,如果忘了可以回过头看看。模型还是那个模型,如下:

importtorchfromtorchimportnnimportconfigclassTextCNN(nn.Module):#output_size为输出类别(2个类别,0和1),三种kernel,size分别是3,4,5,每种kernel有100个def__init__(self,vocab_size,embedding_dim,output_size,filter_num=100,kernel_list=(3,4,5),dropout=0.5):super(TextCNN,self).__init__()self.embedding=nn.Embedding(vocab_size,embedding_dim)#1表示channel_num,filter_num即输出数据通道数,卷积核大小为(kernel,embedding_dim)self.convs=nn.ModuleList([nn.Sequential(nn.Conv2d(1,filter_num,(kernel,embedding_dim)),nn.LeakyReLU(),nn.MaxPool2d((config.MAX_SENTENCE_SIZE-kernel+1,1)))forkernelinkernel_list])self.fc=nn.Linear(filter_num*len(kernel_list),output_size)self.dropout=nn.Dropout(dropout)defforward(self,x):x=self.embedding(x)#[128,50,200](batch,seq_len,embedding_dim)x=x.unsqueeze(1)#[128,1,50,200]即(batch,channel_num,seq_len,embedding_dim)out=[conv(x)forconvinself.convs]out=torch.cat(out,dim=1)#[128,300,1,1],各通道的数据拼接在一起out=out.view(x.size(0),-1)#展平out=self.dropout(out)#构建dropout层logits=self.fc(out)#结果输出[128,2]returnlogits

为了方便模型训练,测试书写了两个函数,当然也和之前的相同,如下:

defbinary_acc(pred,y):“”“计算模型的准确率:parampred:预测值:paramy:实际真实值返回准确率”“”correct=torch.eq(pred,y).float()acc=correct.sum()/len(correct)returnaccdeftrain(model,train_data,optimizer,criterion):“”“模型训练:parammodel:训练的模型:paramtrain_data:训练数据:paramoptimizer:优化器:paramcriterion:损失函数该论训练各批次正确率平均值”“”avg_acc=[]model.train()#进入训练模式fori,batchinenumerate(train_data):pred=model(batch.text)loss=criterion(pred,batch.label.long())acc=binary_acc(torch.max(pred,dim=1)[1],batch.label)avg_acc.append(acc)optimizer.zero_grad()loss.backward()optimizer.step()#计算所有批次数据的结果avg_acc=np.array(avg_acc).mean()returnavg_accdefevaluate(model,test_data):“”“使用测试数据评估模型:parammodel:模型:paramtest_data:测试数据该论训练好的模型预测测试数据,查看预测情况”“”avg_acc=[]model.eval()#进入测试模式withtorch.no_grad():fori,batchinenumerate(test_data):pred=model(batch.text)acc=binary_acc(torch.max(pred,dim=1)[1],batch.label)avg_acc.append(acc)returnnp.array(avg_acc).mean()

涉及相关包的话,就自行导入即可。下面就是创建模型和模型训练测试了。好紧张,又到了这个环节了。

#创建模型text_cnn=model.TextCNN(len(TEXT.vocab),config.EMBEDDING_SIZE,len(LABEL.vocab))#选取优化器optimizer=optim.Adam(text_cnn.parameters(),lr=config.LEARNING_RATE)#选取损失函数criterion=nn.CrossEntropyLoss()#绘制结果model_train_acc,model_test_acc=[],[]#模型训练forepochinrange(config.EPOCH):train_acc=utils.train(text_cnn,train_iterator,optimizer,criterion)print(“epoch={},训练准确率={}”.format(epoch+1,train_acc))test_acc=utils.evaluate(text_cnn,test_iterator)print(“epoch={},测试准确率={}”.format(epoch+1,test_acc))model_train_acc.append(train_acc)model_test_acc.append(test_acc)#绘制训练过程plt.plot(model_train_acc)plt.plot(model_test_acc)plt.ylim(ymin=0.5,ymax=1.01)plt.title(“TheaccuracyoftextCNNmode”)plt.legend([‘train’,‘test’])plt.show()

模型最后的结果如下:

textCNN论文与原理——短文本分类

模型训练过程

这个和之前结果没多大区别,但是在数据处理中却省去更多的时间,并且也更加规范化。所以还是有时间学习一下torchtext咯。

3总结

torchtext支持的自然语言处理处理任务还是比较多的,并且自身还带有一些数据集。最近还在做实体识别任务,使用的算法模型是bi-lstm+crf。这个任务的本质就是序列标注,torchtext也是支持这种类型数据的处理的,后期有时间的话也会做相关的介绍,记得关注哦。对啦,本文的全部代码和语料,我都上传到github上了:https://github.com/Htring/NLP_Applications[4],后续其他相关应用代码也会陆续更新,也欢迎star,指点哦。

原文标题:textCNN论文与原理——短文本分类(基于pytorch和torchtext)

文章出处:【微信公众号:自然语言处理爱好者】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

免责声明:本站旨在传递信息,不代表有传资讯的观点和立场。本站遵循行业规范,如转载您的文章未标注版权,请联系我们(QQ:78799268)改正。本站的原创文章,如若转载,请注明出处:http://www.ainoline.cn/jiaoyu/shenduxuexi/15818.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:78799268@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code