熵和集成算法

信息熵基础

熵衡量概率分布的不确定性。分布越平均，不确定性越高；分布越集中，不确定性越低。

• 在信用风险中，如果某类客户的违约与不违约概率接近，模型面对该客户群的不确定性较高。
• 在市场预测中，熵可以衡量价格方向预测分布是否集中。如果上涨、下跌、震荡三个状态概率相近，交易决策应更保守。
• 连续变量的微分熵写作 $h(X)=-\int f(x)\log f(x)\,dx$，但它与离散熵的解释并不完全相同，不能简单比较绝对值。

交叉熵与分类损失

交叉熵衡量真实分布与预测分布之间的距离，是分类模型中最常用的损失函数之一。

• 在二分类违约预测中，交叉熵可写为 $-[y\log \hat y+(1-y)\log(1-\hat y)]$。模型对真实类别越自信，损失越小；对真实类别给出极低概率时，损失会迅速放大。
• 交叉熵比简单错误率更适合训练概率模型，因为它不仅关心分类是否正确，也关心预测概率是否校准。
• 金融风控报告中应同时观察 AUC、KS、Brier score 与概率校准曲线，避免只看准确率。

KL 散度、JS 散度与分布漂移

金融数据会随宏观周期、监管政策和平台行为变化而发生分布漂移。散度指标可以帮助识别模型何时失效。

• KL 散度不对称，即 $D_{KL}(P\Vert Q)\neq D_{KL}(Q\Vert P)$。因此解释时要明确谁是基准分布，谁是当前分布。
• JS 散度通过中间分布 $M=\frac{1}{2}(P+Q)$ 对称化：$D_{JS}(P,Q)=\frac{1}{2}D_{KL}(P\Vert M)+\frac{1}{2}D_{KL}(Q\Vert M)$。
• 在反欺诈系统中，如果近期交易金额、时间分布或设备指纹分布与训练期显著不同，应触发模型重训或策略复核。

互信息与特征选择

互信息衡量一个变量对另一个变量不确定性的减少程度。它能捕捉非线性依赖，是金融特征筛选的重要工具。

• 互信息高说明某个变量对目标变量有信息贡献，但不等于因果关系成立。
• 与相关系数相比，互信息能识别非线性关系。例如交易频率与违约风险可能呈 U 型关系，线性相关系数会低估其价值。
• 在金融建模中，可先用互信息筛选候选变量，再结合经济含义、稳定性检验和模型解释方法进行保留。

决策树中的熵应用

决策树通过不断寻找能够最大幅度降低不确定性的划分变量来建立规则。

• ID3 使用信息增益，C4.5 使用信息增益率，CART 常使用基尼不纯度。三者目标相近，都是为了找到更纯的子节点。
• 基尼不纯度为 $Gini(S)=1-\sum_{k=1}^{K}p_k^2$，计算简单，常用于 CART 和随机森林。
• 在信贷审批中，树模型生成的分裂规则容易被业务部门理解，但单棵树方差较高，因此需要集成学习提升稳定性。

Bagging、随机森林与 Boosting

集成学习通过组合多个弱学习器降低方差或偏差。Bagging 侧重降低方差，Boosting 侧重逐步修正偏差。

• Bagging 使用 Bootstrap 重采样训练多个模型，再平均或投票。随机森林进一步在每个节点随机抽取候选特征，降低树之间的相关性。
• Boosting 使用加法模型 $F_M(x)=\sum_{m=1}^{M}\eta f_m(x)$，每一轮重点拟合前一轮的残差或负梯度。
• XGBoost 强调二阶梯度、正则化和稀疏感知；LightGBM 通过直方图和叶子优先生长提升大规模数据效率。

反欺诈中的模型融合

• 欺诈样本稀少且策略快速变化，应结合监督模型、异常检测、规则引擎和人工复核队列。
• Isolation Forest 适合发现少数异常点，但不能直接等同于欺诈标签。异常只是风险线索，需要结合业务证据。
• 高级融合策略包括加权投票、Stacking、分层模型和成本敏感学习。关键是把误报成本、漏报成本和审核资源纳入目标函数。