递归回归算法与正则化

最小二乘法的局限性

普通最小二乘的闭式解清晰优雅，但在大规模、高维、实时更新的金融场景中存在计算和稳定性问题。

• 当特征数量大、样本持续流入或 $X^{\top}X$ 接近奇异时，直接求逆会带来较高计算成本和数值不稳定。
• 金融数据常出现强相关特征，例如多个消费频率指标、多个资产价格指标或多个宏观变量。多重共线性会放大参数估计方差。
• 递归算法的目标是在不反复重算全部历史样本的情况下，随新数据到来更新参数。

梯度下降与 SGD

梯度下降把参数估计看作目标函数最小化问题。SGD 每次使用一个或一小批样本更新，适合数据流和大规模训练。

• 负号表示沿损失函数下降最快的方向移动。学习率 $\eta_t$ 决定每一步移动幅度。
• 在实时信用评分系统中，新申请、新还款、新逾期会持续进入系统。SGD 可以逐步吸收新信息，而不必每天完整重训。
• SGD 的噪声既是缺点也是优点：它会带来震荡，但也可能帮助模型跳出局部不佳区域。

动量方法与 Adam

动量方法通过累积历史梯度方向减少震荡；Adam 进一步为不同参数设置自适应学习率。

• 动量项 $v_t$ 类似“速度”，能够在稳定方向上加速，在来回震荡方向上相互抵消。
• Adam 使用一阶矩和二阶矩估计：$m_t=\beta_1m_{t-1}+(1-\beta_1)g_t$, $v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2$。
• 参数更新为 $\theta_t=\theta_{t-1}-\alpha\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}$。在金融神经网络、文本模型和高维特征模型中较常见。

递归最小二乘

递归最小二乘直接更新参数估计和协方差矩阵，适合参数可能随时间缓慢变化的金融时间序列问题。

• 其中 $K_t$ 是增益向量，$P_t$ 是参数不确定性的矩阵表达，$\lambda$ 是遗忘因子。
• 遗忘因子小于一时，模型会更重视近期数据，适合市场结构变化、客户行为迁移或宏观周期转换。
• 递归方法需要监控数值稳定性；异常样本可能快速改变参数，因此要结合异常检测和稳健损失。

正则化的基本原理

正则化通过在损失函数中加入复杂度惩罚，牺牲少量训练集拟合能力，换取样本外稳定性。

• L0 范数计算非零参数个数，直接对应变量选择，但优化困难。
• L1 范数 $\|\beta\|_1=\sum_j|\beta_j|$ 会产生稀疏解，适合自动特征选择。
• L2 范数 $\|\beta\|_2^2=\sum_j\beta_j^2$ 会收缩参数，适合处理多重共线性和提升数值稳定性。
• L∞ 范数限制最大参数绝对值，可用于控制极端暴露或最大敏感度。

LASSO、Ridge 与 Elastic Net

三类正则化回归对应不同的业务需求：变量筛选、稳定预测和相关特征组处理。

• LASSO 会把部分系数压缩为零，适合从大量候选变量中形成较简洁的评分卡特征集合。
• Ridge 会保留所有变量但压缩系数，适合多个变量共同反映同一风险维度的情形。
• Elastic Net 同时具备稀疏性和稳定性，适合高维且相关性强的金融特征。

本章练习

• 解释为什么高维信用评分模型容易过拟合，并说明 L1 与 L2 惩罚的不同作用。
• 为实时风控场景设计一个递归更新流程，写出数据进入、参数更新、异常监控和人工复核四个环节。
• 比较 SGD、Momentum 和 Adam 在收敛速度、稳定性和可解释性上的差异。