LOFO （特征选择方法）

大家好，欢迎来到IT知识分享网。

LOFO

一、LOFO(目前适用于所有模型)

LOFO是一种特征重要性绘制方案，和其他特征重要性方法（线性相关回归模型的截距项、随机森林的特征重要性、XGBoost和LightGBM的特征重要性-plot_importance，线性数据的相关性等）相比，其特点简要概括为：

• 可以较好的泛华到未知测试集
• 对于带来负面效果的特征会给予一个负的值
• 对特征进行分组，特别适用于高维特征，如TFIDF或ONE-HOT特征
• 可以自动对高度相关的特征进行分组，以防止低估其重要性

LOFO(Leave one Feature Out) 的特征重要性过程：

• 迭代的从特征集合中删除一个特征，并基于选择的度量，使用选择的验证方案评估模型的性能来计算一组集合的特征重要性。

步骤：

• 注意：如果我们不传入任何模型，LOFO默认运行的模型是LightGBM.
  1. 输入所有特征，LOFO基于所有特征评估包含全部特征的模型效果；
  2. 一次迭代删除一个特征，重新训练模型，并在验证集上评估其效果；
  3. 记录每个特征重要性的平均值和标准偏差。

二、FastLOFO(目前适用于所有模型)

因为枚举的缘故，LOFO