model-comparison

多模型效果对比 (portable)

基于同一份数据切分，横向运行多种算法，统一评估并生成客观事实报告。

设计原则（v3 重要变更）：

• 只陈述事实，不做主观推荐：删除了旧版的"五维加权综合评分"与"门禁淘汰"。主观权重本质上将多个不可比指标压成一个数，丢失信息并引入拍脑袋假设；门禁阈值则不同业务差异巨大。
• Pareto 前沿（无主观权重）：在 OOT AUC / OOT KS / BCR@10% / KS Gap / PSI 五个方向明确的目标上，识别未被任何算法严格优于的候选集。
• LLM 推理接手：报告末尾提供「已知事实清单 + 开放问题」，交由对话中的 AI 结合业务背景推理取舍。
• 同数据同切分 → 消除数据差异对对比结论的干扰
• 多维指标原始陈述 → OOT AUC/KS/BCR/Brier + KS Gap + PSI + 特征数 + 可解释性
• 统计显著性 → DeLong 检验回答"差距是真的还是采样噪声"

---

推荐工作流：先调参再对比

"哪个算法好"这个问题只有在三个算法都调优后对比才公平。默认超参下对比只能作为初筛。推荐三步调用：

1. xgb-tuning  → 产出 xgb_tuning_best_*_meta.json
2. lr-tuning   → 产出 lr_tuning_best_*_meta.json
3. dnn-tuning  → 产出 dnn_tuning_best_*_meta.json
4. model-comparison --use_tuned   → 自动扫描上述产物使用最优超参跑对比

---

参数说明

---

场景预设（--scenario）

场景仅作为业务上下文标签，供 LLM 推理时使用；不再参与加权评分、不做门禁淘汰。

---

执行方式

默认三算法 + 通用场景：

python scripts/comparison.py \
  --data_path ./data.parquet --target y_label \
  --exclude_cols "cust_code,busi_dt" \
  --output_dir ./outputs/compare

评分卡场景（只跑 XGB + LR）：

python scripts/comparison.py \
  --data_path ./data.parquet --target y_label \
  --algorithms "xgb,lr" --scenario scorecard \
  --output_dir ./outputs/compare

使用历史调参最优参数：

python scripts/comparison.py \
  --data_path ./data.parquet --target y_label \
  --use_tuned --scenario fraud \
  --output_dir ./outputs/compare

---

对比维度（原始指标，不做加权）

---

统计显著性（DeLong 检验）

两两算法 AUC 差异通过 Fast-DeLong 做渐近正态检验（O(N log N)，10w+ 样本也秒级完成）：

• p < 0.05 → 差距统计显著
• p ≥ 0.05 → 差距可能是采样波动

---

输出产物

1. 对比报告（Markdown，倒金字塔结构）：

   • 执行摘要（客观指标速览 + Pareto 前沿标记，无推荐列）
   • 多算法叠加曲线（ROC/KS/Lift）
   • 数据概览
   • 详细指标总表（train/val/oot × 8 指标）
   • Pareto 前沿候选集（无主观权重）
   • DeLong 显著性检验
   • 稳定性（真实 PSI + 分月 KS）
   • 样本级一致性（Top-K Jaccard / Spearman / 分歧数）
   • 跨算法特征重叠（Jaccard + 共识特征）
   • 每算法独立评估图
   • LLM 推理引导：事实清单 + 开放问题，交由对话中的 AI 推理取舍
   • 各算法适用场景背景知识

2. 各模型文件：XGB(.json) / LR(.joblib) / DNN(.pt，含 imputer+scaler 元数据)

---

与其他技能的关系

---

注意事项

1. 公平对比："哪个算法好"只有在三个算法都调优后对比才公平
2. 同数据同切分：本技能确保所有算法使用完全相同的数据切分
3. DeLong 检验：p < 0.05 才认为差距统计显著
4. Pareto 前沿：只识别未被任何算法严格优于的候选集，不做主观排序
5. 场景标签：--scenario 仅作文本标签，不参与加权评分
6. 产物位置：模型和报告保存到 <output_dir>/