NLP中那些没用的idea

2022年01月16日 阅读数:3
这篇文章主要向大家介绍NLP中那些没用的idea,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

前言


科研的每一天都会有一些idea涌入脑海,可是这些想法真的有用吗?下面就分析一下那些时常觉得是本身的灵光一现,但仔细分析后却发现是失败品的idea。网络

1. 分类时 ​​threshold​​ 的设置

咱们在作多分类时,咱们时常会考虑以下一个问题,就是对于一个多分类,咱们就很直接使用一个threshold来对最后的分类值进行过滤,但有个想法就是:若是针对每一个分类都有一个threshold,那么效果会好一些吗?ide

但实际问题是:咱们最后分类值中是有一个​​bias​​用于调整。例如在一个三分类问题上:即: y = W x + b y=Wx+b y=Wx+b学习

其中 W 768 ∗ 3 W^{768*3} W7683 x 1 ∗ 768 x^{1*768} x1768, b 1 ∗ 3 b^{1*3} b13 y 1 ∗ 3 y^{1*3} y13idea

使用的​​threshold​​假设为0.5,那么其实最后的bias 在不一样的分类上有着不一样的贡献,因此说这么想的idea其实没啥效果。spa

可是在一篇名叫 Document-Level Relation Extraction with Adaptive Thresholding and Localized Context 中提出了 ​​adpative threshold​​ 的方法。其具体思想是:code

2. 图+BERT

动态建立图,而后执行训练的过程效果很差,因而我想,能不能先用BERT训练到一段时间,而后将Bert 学习到的结果预测分类,而后再建立图,进行一个RGCN的训练,但其实整个过程效果并很差。blog

NLP中那些没用的idea_多分类

上图是使用纯RGCN网络训练,获得的效果是值还能够。it

可是若是先使用 BERT+MLP 训练必定epoch后再通过 RGCN 训练获得的结果以下:io

NLP中那些没用的idea_ide_02

坐下半部分使用的是MLP训练,右上部分使用的是 RGCN 网络class