聚类算法与金融应用

无监督学习的本质与价值

聚类不依赖预先标注的违约、欺诈或流失标签，而是从数据内在结构中发现相似群体。

• 在普惠金融中，许多客户缺少完整征信记录。聚类可以从交易行为、经营周期和资金流特征中形成客户画像。
• 聚类结果不是最终决策，而是分析入口。每个簇都需要结合业务解释、风险指标和后续表现进行验证。
• 无监督学习尤其适合探索性分析、特征构造、策略分层和异常样本识别。

相似性度量方法

不同距离度量对应不同的“相似”定义。度量选择错误会直接导致聚类结果失真。

• 欧式距离适合量纲一致、变量已标准化且簇形状接近球形的数据。
• 余弦相似度 $\cos(x,y)=\frac{x^{\top}y}{\|x\|\|y\|}$ 更关注方向而非规模，适合消费结构、资产配置比例和文本向量。
• 动态时间规整 DTW 适合比较时间序列形状，例如两家企业现金流节奏相似但时间上存在滞后。
• 马氏距离 $d_M(x,\mu)=\sqrt{(x-\mu)^{\top}\Sigma^{-1}(x-\mu)}$ 能考虑变量相关性，适合金融多指标联合异常识别。

K-means 算法

K-means 通过最小化簇内平方和寻找簇中心，是最经典的聚类方法。

• 算法交替执行两步：把样本分配到最近簇中心；根据簇内样本重新计算中心。
• 簇中心更新为 $\mu_k=\frac{1}{|C_k|}\sum_{x_i\in C_k}x_i$。这个更新有明确均值解释，但对异常值敏感。
• K-means++ 通过更稳健的初始化降低陷入较差局部解的概率。

肘部法则与聚类评估

聚类没有真实标签时，不能只凭视觉效果判断。需要结合内部指标、稳定性和业务可解释性。

• 肘部法则观察簇内平方和随簇数增加的下降速度。当下降幅度明显变缓时，可作为候选簇数。
• 轮廓系数同时考虑簇内紧密度和簇间分离度，值越高通常表示聚类结构越清晰。
• 金融场景还需要看簇的业务稳定性：不同时间窗口、不同抽样下，同一类客户画像是否仍然存在。

高斯混合模型 GMM

GMM 把数据视为多个高斯分布的混合，允许样本以概率形式属于多个簇，因此属于软聚类。

• GMM 输出责任度 $\gamma_{ik}=p(z_i=k\mid x_i)$，可以解释为客户属于第 $k$ 类的概率。
• 与 K-means 相比，GMM 能表达椭圆形簇和不同方差结构，更适合风险边界不清晰的客户群体。
• GMM 对分布假设更强，且需要注意协方差矩阵估计稳定性。

EM 算法的统一框架

EM 用于含有隐变量的最大似然估计。聚类中的簇标签就是典型隐变量。

• E 步估计隐变量的后验分布，例如每个样本属于每个簇的概率。
• M 步在当前隐变量分布下更新模型参数，例如混合权重、均值和协方差。
• K-means 可被视为硬分配版本的 EM 思想；GMM 则保留了概率责任度。

金融应用案例

• 农户数字信贷：根据经营周期、收入季节性、交易频率和历史还款行为进行客户分群，形成差异化授信策略。
• 交易反欺诈：使用聚类发现正常交易模式，再把远离主要簇或频繁跨簇迁移的账户列为风险线索。
• 供应链金融：根据企业上下游关系、应收账款周期和现金流结构识别核心企业、稳定配套企业和高波动企业。