决策树（Decision Tree）

1. 决策树的基本概念

• 树的结构：
  • 根节点（Root Node）：包含所有数据的起始节点。
  • 内部节点（Internal Node）：表示一个特征的测试。
  • 分支（Branch）：表示特征测试的结果。
  • 叶节点（Leaf Node）：表示最终的决策结果（分类标签或回归值）。
• 决策过程：
  • 从根节点开始,根据特征的测试结果沿着分支向下移动,直到到达叶节点。
  • 叶节点的输出即为预测结果。

2. 决策树的构建过程

(1) 特征选择

• 信息增益（Information Gain）：
  • 基于信息熵（Entropy）计算,选择使信息增益最大的特征。
  • 信息熵衡量数据的不确定性,信息增益则表示通过特征划分后不确定性的减少。
• 增益率（Gain Ratio）：
  • 信息增益的改进版本,通过引入分裂信息（Split Information）对信息增益进行调整,避免偏向于选择分支较多的特征。
• 基尼不纯度（Gini Impurity）：
  • 衡量数据的纯度,值越小表示数据越纯净。
  • 基尼不纯度越低,说明特征划分后的数据分布越均匀。

(2) 递归分裂

(3) 剪枝

• 预剪枝（Pre-pruning）：在树完全生长之前停止生长,例如限制树的最大深度或节点的最小样本数。
• 后剪枝（Post-pruning）：先让树完全生长,然后剪掉一些分支,例如通过成本复杂度剪枝（Cost-Complexity Pruning）。

3. 决策树的优缺点

优点

1. 可解释性强：决策树的规则直观易懂,适合需要解释模型决策的场景。
2. 适用性广：既可以用于分类任务,也可以用于回归任务。
3. 无需特征缩放：决策树对特征的缩放不敏感。
4. 处理非线性关系：能够自然地处理特征之间的非线性关系。

缺点

1. 容易过拟合：如果树生长得过于复杂,可能会对训练数据过度拟合。
2. 对噪声敏感：数据中的噪声或异常值可能影响树的结构。
3. 特征选择的局限性：如果特征之间存在强相关性,可能会导致某些特征被忽略。

4. 常见的决策树算法

1. ID3（Iterative Dichotomiser 3）：
   • 基于信息增益选择特征,是最经典的决策树算法之一。
   • 适用于分类任务。
2. C4.5：
   • ID3的改进版本,使用增益率选择特征。
   • 能够处理连续特征和缺失值。
3. CART（Classification and Regression Tree）：
   • 既可以用于分类也可以用于回归。
   • 使用基尼不纯度作为分裂标准。
4. 随机森林（Random Forest）：
   • 通过集成多个决策树来提高模型的泛化能力和稳定性。
   • 是一种强大的集成学习方法。

5. 应用场景

• 医疗诊断：根据患者的症状和检查结果判断疾病类型。
• 信用评估：根据客户的财务和信用记录判断是否批准贷款。
• 图像识别：对图像进行分类或识别。
• 自然语言处理：如文本分类、情感分析等。

6. 示例

[天气]
├── 晴
│   ├── 湿度=高 -> 不去野餐
│   └── 湿度=低 -> 去野餐
├── 阴 -> 去野餐
└── 雨 -> 不去野餐

总结