信息熵，信息增益

大家好，欢迎来到IT知识分享网。

概要

信息增益表示得知特征A的信息而使得类Z的信息的不确定性减少的程度。
特征A对数据集D的信息增益 G(D,A)，定义为集合的信息熵 H(D) 与特征A给定条件下D的信息条件熵 H(D|A) 之差，即公式为：$$G(D,A)=H(D)-H(D|A)$$

由贷款数据来看我们的公式：

信息熵的计算：$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}{\log }_2\frac{|C_k|}{|D|}$$

条件熵的计算：$$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|}$$

注：$C_k$表示属于某个类别的样本数。

实例一

样本D如下（银行贷款数据）：

样本信息熵：$H(D)=-(\frac{9}{15}{\log }_2\frac{9}{15}+\frac{6}{15}{\log }_2\frac{6}{15})=0.97095$
求样本信息熵时，只看类别这一列。因为其他的列都是特征列，是决定类别的值的因素。

年龄的信息增益：$G(D,年龄)=H(D)-H(D|年龄)$
将数据代入计算：
$G(D,年龄)=0.97095-(\frac{5}{15}H(青年)+\frac{5}{15}H(中年)+\frac{5}{15}H(老年))$
解析：年龄一共有三类，总数是15，青年有5个，中年有5个，老年有5个

• 在年龄为青年条件下，类别为“是”的有两个，类别为“否”的有三个
  $H(青年)=-(\frac{2}{5}{\log }_2\frac{2}{5}+\frac{3}{5}{\log }_2\frac{3}{5})=0.97095$
  
• 在年龄为中年条件下，类别为“是”的有三个，类别为“否”的有两个
  $H(中年)=-(\frac{3}{5}{\log }_2\frac{3}{5}+\frac{3}{5}{\log }_2\frac{2}{5})=0.97095$
  
• 在年龄为老年条件下，类别为“是”的有四个，类别为“否”的有一个
  $H(老年)=-(\frac{4}{5}{\log }_2\frac{4}{5}+\frac{1}{5}{\log }_2\frac{1}{5})=0.7219281$
  

最终结果：G(D,年龄)=0.083

同理：

信息增益（Information Gain）的计算公式其实就是父节点的信息熵与其下所有子节点总信息熵之差。也就是以下代码的计算思路。

import numpy as np import pandas as pd def createDataset(): # 银行贷款数据 row_data = { 
    '年龄': ['青年','青年','青年','青年','青年','中年','中年','中年','中年','中年','老年','老年','老年','老年','老年'], '有工作': ['否', '否', '是', '是', '否', '否', '否', '是', '否', '否', '否', '否', '是', '是', '否',], '有房子': ['否', '否', '否', '是', '否', '否', '否', '是', '是', '是', '是', '是', '否', '否', '否',], '信贷情况': ['一般','好','好','一般','一般','一般', '好', '好','非常好','非常好','非常好','好','好','非常好','一般'], '类型': ['否', '否', '是', '是', '否', '否', '否', '是', '是', '是', '是', '是', '是', '是', '否',] } dataset = pd.DataFrame(row_data) return dataset """ 函数功能：计算香农熵(信息熵):解决了对信息的量化度量问题 参数说明： dataSet：原始数据集 返回：ent:香农熵 """ def calEnt(dataSet): n = dataSet.shape[0] # 数据集总行数 iset = dataSet.iloc[:,-1].value_counts() # 标签的所有类别 p = iset/n # 每一类标签所占比 ent = (-p*np.log2(p)).sum() # 计算信息熵 return ent """ 函数功能：根据信息增益选择出最佳数据集切分的列 参数说明： dataSet：原始数据集 返回：axis:数据集各特征列的信息增益（字典形式，降序排序） """ def bestSplit(dataSet): baseEnt = calEnt(dataSet) # 原始信息熵 axis = { 
   } # 存放对应列的序号，以及它的信息增益 for i in range(dataSet.shape[1]-1): # 对特征的每一列进行循环 levels= dataSet.iloc[:,i].value_counts().index # 提取出当前列的所有取值 ents = 0 for j in levels: childSet = dataSet[dataSet.iloc[:,i]==j] # 筛选dataframe ent = calEnt(childSet) ents += (childSet.shape[0]/dataSet.shape[0])*ent # 计算当前列的信息熵 # print(f'第{i}列的信息熵为{ents}') infoGain = baseEnt - ents # 计算当前列的信息增益 print(f'第{ 
     i}列的信息增益为{ 
     infoGain}') axis["第"+str(i)+"列"] = infoGain axis = sorted(axis.items(), key=lambda elem:elem[1], reverse=True) return axis DataSet = createDataset() h = calEnt(DataSet) dit = bestSplit(DataSet) print(f"样本的信息熵为：{ 
     h}") print(f"信息增益字典：{ 
     dit}") ''' 第0列的信息增益为0.076883 第1列的信息增益为0. 第2列的信息增益为0.19749 第3列的信息增益为0. 样本的信息熵为：0.46686 信息增益字典：[('第2列', 0.19749), ('第3列', 0.), ('第1列', 0.), ('第0列', 0.076883)] ''' 

实例二

海洋生物数据

所以信息增益的计算公式为：$$Gani(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$

海洋生物数据集中第0列的信息增益：$$Gani(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$

$$\begin{array}{rl}Gain{(}^{\prime }NoSurfacin{g}^{\prime })& =Ent(D)-[\frac{3}{5}Ent(D_1)+\frac{2}{5}Ent(D_2)]\\ & =calEnt(DataSet)-[\frac{3}{5}(-\frac{2}{3}{\log }_2\frac{2}{3}-\frac{1}{3}{\log }_2\frac{1}{3})+\frac{2}{5}(-\frac{2}{2}{\log }_2\frac{2}{2})]\\ & =0.97-0.55\\ & =0.42\end{array}$$

import numpy as np import pandas as pd def createDataset(): # 海洋生物数据集 row_data = { 
    'no surfacing': [1, 1, 1, 0, 0], 'flippers': [1, 1, 0, 1, 1], 'fish': ['yes', 'yes', 'no', 'no', 'no'] } dataset = pd.DataFrame(row_data) return dataset def calEnt(dataSet): n = dataSet.shape[0] # 数据集总行数 iset = dataSet.iloc[:,-1].value_counts() # 标签的所有类别 p = iset/n # 每一类标签所占比 ent = (-p*np.log2(p)).sum() # 计算信息熵 return ent def bestSplit(dataSet): baseEnt = calEnt(dataSet) # 原始信息熵 axis = { 
   } # 存放对应列的序号，以及它的信息增益 for i in range(dataSet.shape[1]-1): # 对特征的每一列进行循环 levels= dataSet.iloc[:,i].value_counts().index # 提取出当前列的所有取值 ents = 0 for j in levels: childSet = dataSet[dataSet.iloc[:,i]==j] # 筛选dataframe ent = calEnt(childSet) ents += (childSet.shape[0]/dataSet.shape[0])*ent # 计算当前列的信息熵 # print(f'第{i}列的信息熵为{ents}') infoGain = baseEnt - ents # 计算当前列的信息增益 print(f'第{ 
     i}列的信息增益为{ 
     infoGain}') axis["第"+str(i)+"列"] = infoGain axis = sorted(axis.items(), key=lambda elem:elem[1], reverse=True) return axis DataSet = createDataset() h = calEnt(DataSet) dit = bestSplit(DataSet) print(f"样本的信息熵为：{ 
     h}") print(f"信息增益字典：{ 
     dit}") ''' 第0列的信息增益为0.19749 第1列的信息增益为0. 样本的信息熵为：0.46686 信息增益字典：[('第0列', 0.19749), ('第1列', 0.)] '''