mxs1123
mxs1123

Datawhale《深度学习-NLP》Task3- 特征选择

Datawhale《深度学习-NLP》Task3- 特征选择_第1张图片

 

5. 参考

文本挖掘预处理之TF-IDF：文本挖掘预处理之TF-IDF - 刘建平Pinard - 博客园

使用不同的方法计算TF-IDF值：使用不同的方法计算TF-IDF值 - 简书

sklearn-点互信息和互信息：sklearn：点互信息和互信息 - 专注计算机体系结构 - CSDN博客

如何进行特征选择（理论篇）机器学习你会遇到的“坑”：如何进行特征选择（理论篇）机器学习你会遇到的“坑”

 

TF-IDF原理

问题需求来源：

1. 每一个文档的关键词（或主题词）包括哪些？

 2. 给定一个（或一组）关键词，与这个（或组）词最相关的文档是哪一个？

3. 给定一个文档，哪个（或哪些）文档与它具有最大的相似度呢？

    回答上述三个问题的关键是：对于一个给定的词和一个给定的文档，定义一个可以用来衡量该词对该文档相关性（或重要性）的指标。那么，如何定义这样的一个指标呢？

词频-逆文档频度（Term Frequency - Inverse Document Frequency，TF-IDF）技术，它是一种用于资讯检索与文本挖掘的常用加权技术，可以用来评估一个词对于一个文档集或语料库中某个文档的重要程度。

概念解释

TF-IDF（termfrequency–inversedocumentfrequency，词频-逆文件频率)）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜寻引擎还会使用基于连结分析的评级方法，以确定文件在搜寻结果中出现的顺序。     在一份给定的文件里，词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化（分子一般小于分母区别于IDF），以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否。）
逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。

某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。

TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TF-IDF实际上是：TF * IDF，TF词频(TermFrequency)，IDF反文档频率(InverseDocumentFrequency)。TF表示词条在文档d中出现的频率（另一说：TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数）。IDF的主要思想是：如果包含词条t的文档越少，也就是n越小，IDF越大，则说明词条t具有很好的类别区分能力。如果某一类文档C中包含词条t的文档数为m，而其它类包含t的文档总数为k，显然所有包含t的文档数n=m+k，当m大的时候，n也大，按照IDF公式得到的IDF的值会小，就说明该词条t类别区分能力不强。（另一说：IDF反文档频率(Inverse Document Frequency)是指果包含词条的文档越少，IDF越大，则说明词条具有很好的类别区分能力。）但是实际上，如果一个词条在一个类的文档中频繁出现，则说明该词条能够很好代表这个类的文本的特征，这样的词条应该给它们赋予较高的权重，并选来作为该类文本的特征词以区别与其它类文档。这就是IDF的不足之处.


计算步骤

1.计算词频（TF）

             

以上式子中，分母是该词在文件中的出现次数，而分母则是在文件中所有字词的出现次数之和。

2.计算逆文档频率（IDF）

            

    分母表示语料库中的文件总数，分子表示包含词语的文件数目，如果该词语不在语料库中，就会导致被除数为零，因此一般情况下使用时会+1.

3.计算词频-逆文档频率（TF-IDF） 

            

 某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。

示例

 一：有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (DF)的方法是测定有多少份文件出现过“母牛”一词，然后除以文件集里包含的文件总数。所以，如果“母牛”一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是 log(10,000,000/ 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12。

    二：根据关键字k1,k2,k3进行搜索结果的相关性就变成TF1*IDF1+ TF2*IDF2+ TF3*IDF3。比如document1的term总量为1000，k1,k2,k3在document1出现的次数是100，200，50。包含了k1,k2,k3的docuement总量分别是 1000， 10000，5000。document set的总量为10000。 TF1 = 100/1000 = 0.1 TF2 = 200/1000= 0.2 TF3= 50/1000 = 0.05 IDF1 = log(10000/1000)= log(10)= 2.3 IDF2= log(10000/100000)= log(1)= 0; IDF3= log(10000/5000)= log(2)= 0.69 这样关键字k1,k2,k3与docuement1的相关性=0.1*2.3 + 0.2*0 + 0.05*0.69 = 0.2645 其中k1比k3的比重在document1要大，k2的比重是0.

    三：在某个一共有一千词的网页中“原子能”、“的”和“应用”分别出现了 2 次、35 次 和 5 次，那么它们的词频就分别是 0.002、0.035 和 0.005。我们将这三个数相加，其和 0.042 就是相应网页和查询“原子能的应用” 相关性的一个简单的度量。概括地讲，如果一个查询包含关键词w1,w2,...,wN, 它们在一篇特定网页中的词频分别是: TF1, TF2, ..., TFN。 （TF: termfrequency)。 那么，这个查询和该网页的相关性就是:TF1 + TF2 + ... + TFN。

    在上面的例子中，词“的”站了总词频的 80% 以上，而它对确定网页的主题几乎没有用。我们称这种词叫“应删除词”（Stopwords)，也就是说在度量相关性是不应考虑它们的频率。在汉语中，应删除词还有“是”、“和”、“中”、“地”、“得”等等几十个。忽略这些应删除词后，上述网页的相似度就变成了0.007，其中“原子能”贡献了 0.002，“应用”贡献了 0.005。细心的读者可能还会发现另一个小的漏洞。在汉语中，“应用”是个很通用的词，而“原子能”是个很专业的词，后者在相关性排名中比前者重要。因此我们需要给汉语中的每一个词给一个权重，这个权重的设定必须满足下面两个条件：

    1.一个词预测主题能力越强，权重就越大，反之，权重就越小。我们在网页中看到“原子能”这个词，或多或少地能了解网页的主题。我们看到“应用”一次，对主题基本上还是一无所知。因此，“原子能“的权重就应该比应用大。
    2. 应删除词的权重应该是零。我们很容易发现，如果一个关键词只在很少的网页中出现，我们通过它就容易锁定搜索目标，它的权重也就应该大。反之如果一个词在大量网页中出现，我们看到它仍然不很清楚要找什么内容，因此它应该小。概括地讲，假定一个关键词 ｗ 在 Ｄｗ 个网页中出现过，那么 Ｄｗ 越大，ｗ的权重越小，反之亦然。在信息检索中，使用最多的权重是“逆文本频率指数” （Inverse document frequency 缩写为ＩＤＦ），它的公式为ｌｏｇ（Ｄ／Ｄｗ）其中Ｄ是全部网页数。比如，我们假定中文网页数是Ｄ＝１０亿，应删除词“的”在所有的网页中都出现，即Ｄｗ＝１０亿，那么它的ＩＤＦ＝log(10亿/10亿）= log (1) = ０。假如专用词“原子能”在两百万个网页中出现，即Ｄｗ＝２００万，则它的权重ＩＤＦ＝log(500)=6.2。又假定通用词“应用”，出现在五亿个网页中，它的权重ＩＤＦ= log(2)则只有 0.7。也就只说，在网页中找到一个“原子能”的比配相当于找到九个“应用”的匹配。利用 IDF，上述相关性计算个公式就由词频的简单求和变成了加权求和，即TF1*IDF1+TF2*IDF2 ＋... + TFN*IDFN。在上面的例子中，该网页和“原子能的应用”的相关性为 0.0161，其中“原子能”贡献了 0.0126，而“应用”只贡献了0.0035。这个比例和我们的直觉比较一致了。


利用余弦相似度和TF-IDF及分词技术计算两段语句的相似度

 余弦有这样的性质：余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，夹角等于0，即两个向量相等，这就叫”余弦相似性”。 那么该怎么利用余弦来计算文本的相似性了？首先来看一个例子。

        文本1：我们喜欢足球 
        文本2：我喜欢踢足球

   大致思路是：我们认为用词越相似，则文本的相似度越高，所以计算文本相似性主要按照以下步骤进行：

分词 
此处利用 ansj 分词工具进行分词，文本1和文本2的分词结果为： 
文本1：我/喜欢/足球 
文本2：我们/喜欢/踢/足球
列出所有的词 
我, 喜欢, 踢, 我们, 足球
计算词频 
文本1： 我：1，喜欢：1，踢：0，我们：0，足球：1 
文本2： 我：0，喜欢：1，踢：1，我们：1，足球：1
转化为向量 
文本1：[1, 1, 0, 0, 1] 
文本2：[0, 1, 1, 1, 1]
         5. 计算两个词向量的余弦相似度

     以上结果是0.5773502691896258，经验证结果是正确的。 

    注意：以上程序只符合简单的应用情况,不适用复杂的情况。另外，余弦相似性还可以用来判别文档的相似性，大致思路是：首先求出文档的关键词（可以利用TF-IDF 方法），以后可以按照以上2，3，4步骤进行计算。

TF-IDF不足之处
    TF-IDF算法是建立在这样一个假设之上的：对区别文档最有意义的词语应该是那些在文档中出现频率高，而在整个文档集合中出现频率少的词语，所以如果特征空间坐标系取TF词频作为测度，就可以提现同类文档的特点，另外考虑到单词区别不同类别的能力，TF-IDF认为一个单词出现的文档频数越小，它区别不同类别文档的能力就越大。因此引入了逆文档频度IDF的概念，以TF和IDF的乘积作为特征空间坐标系的取值测度并用它完成对权值TF的调整，调整权值得目的在于突出重要单词，抑制次要单词。

    但是，本质上IDF是一种试图抑制噪声的加权，并且单纯地认为文档频率小的单词就越重要，文档频率大的单词就越无用，显然这并不是完全正确的（例如，对于一些生僻词，它们的文档频率小，但不一定有意义）。IDF的简单结构并不能有效反映单词的重要程度和特征词的分布情况，使其无法很好地完成对权值调整的功能，因此TF-IDF的精度并不是很高。

   此外，在TF-IDF算法中并没有体现出单词的位置信息，对于Web文档而言，权重的计算方法应该体现出HTML的结构特征，特征词在不同的标记符中对文章内容的反映程度不同，其权重的计算方法也不相同，因此应该对处于网页不同位置的特征词分别赋予不同的系数，然后乘以特征词的词频，以提高文本表示的效果。

优点：是简单快速，结果比较符合实际情况。

缺点：单纯以"词频"衡量一个词的重要性，不够全面，有时重要的词可能出现次数并不多。而且，这种算法无法体现词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。（一种解决方法是，对全文的第一段和每一段的第一句话，给予较大的权重。）

TF-IDF的缺陷
由于IDF值的公式，使其存在一些天然的缺陷：

  • 没有考虑特征词的位置因素对文本的区分度，词条出现在文档的不同位置时，对区分度的贡献大小是不一样的。
  • 按照传统TF-IDF函数标准，往往一些生僻词的IDF(反文档频率)会比较高、因此这些生僻词常会被误认为是文档关键词。(换句话说，如果一个特征项只在某一个类别中的个别文本中大量出现，在类内的其他大部分文本中出现的很少，那么不排除这些个别文本是这个类中的特例情况，因此这样的特征项不具有代表性。)
  • TF-IDF没有考虑到特征项在类间和类内的分布情况，比如某个特征项在某类文档中大量分布，而在其它文档中少量分布，那么该特征项其实能很好的作为区分特征，但根据TF-IDF的公式，该特征就会受到抑制。

 

文本矩阵化, 词袋模型(以TF-IDF特征值为权重)

词集模型 DictVectorizer：单词构成的集合，集合中每个元素只有一个，即词集中的每个单词都只有一个。

词袋模型 CountVectorizer：在词集的基础上加入了频率这个维度，即统计单词在文档中出现的次数（令牌化和出现频数统计），通常我们在应用中都选用词袋模型。

from sklearn.feature_extraction.text import CountVectorizer
#使用默认参数实例化分词对象
vec=CountVectorizer()
#查看词袋模型的参数
vec.get_params()
输出：
{'analyzer': 'word',
 'binary': False,
 'decode_error': 'strict',
 'dtype': numpy.int64,
 'encoding': 'utf-8',
 'input': 'content',
 'lowercase': True,
 'max_df': 1.0,
 'max_features': None,
 'min_df': 1,
 'ngram_range': (1, 1),
 'preprocessor': None,
 'stop_words': None,
 'strip_accents': None,
 'token_pattern': '(?u)\\b\\w\\w+\\b',
 'tokenizer': None,
 'vocabulary': None}
##让我们使用它对文本corpus进行简单文本全集令牌化，并统计词频:
corpus = [
...     'This is the first document.',
...     'This is the second second document.',
...     'And the third one.',
...     'Is this the first document?',
... ]

X = vec.fit_transform(corpus)
#在拟合期间发现的每个项都被分配一个与所得矩阵中的列对应的唯一整数索引
X
输出：
<4x9 sparse matrix of type ''
    with 19 stored elements in Compressed Sparse Row format>

#获取特征名称（列名）
vec.get_feature_names()
输出：
['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this']

X.toarray()   
输出：
array([[0, 1, 1, 1, 0, 0, 1, 0, 1],
       [0, 1, 0, 1, 0, 2, 1, 0, 1],
       [1, 0, 0, 0, 1, 0, 1, 1, 0],
       [0, 1, 1, 1, 0, 0, 1, 0, 1]], dtype=int64)

#获取词汇表（训练语料库），词汇表由特征名和出现频次构成
vec.vocabulary_
输出：
{'and': 0,
 'document': 1,
 'first': 2,
 'is': 3,
 'one': 4,
 'second': 5,
 'the': 6,
 'third': 7,
 'this': 8}

针对其他文本进行词袋处理时， 可以直接使用现有的词汇表

voc=vec.vocabulary_
new_vec=CountVectorizer(vocabulary=voc)

在将来的调用转换方法中，在训练语料库vocabulary_中未出现的词将被完全忽略:

vec.transform(['Something third new.']).toarray()
输出：
array([[0, 0, 0, 0, 0, 0, 0, 1, 0]])

以词袋模型为例2

from sklearn.feature_extraction.text import CountVectorizer
#词袋模型，这里的min_df取值为3，即该向量在整个payload中至少出现了三次
vec=CountVectorizer(min_df=3,ngram_range=(1,1))
content=[
    'alert(1)X',
    '\'>