Kaggle 竞赛实战：从 Baseline 到前排——打比赛教会你的真功夫

Kaggle 能让你在明确的数据、指标和提交规则下练习建模，但排行榜只反馈一部分测试数据。分数上升可能来自改进，也可能来自反复试探公开榜。想把比赛经历转成作品集，先建立本地验证，再记录每次改动的理由；名次是结果之一，不是对整个工程能力的证明。

但 Kaggle 也有自己的陷阱（过拟合公开榜、fork 氛围），这篇讲怎么打才能真正长本事。

前置阅读：建议先读模型评估指标、特征工程、集成学习。

先立规矩：本地验证体系是生命线

新手最常犯的错误：把提交当验证——每天 5 次提交机会用来试参数，公开榜分数当目标。这是用尺子量自己的手。正确姿势：

本地交叉验证（CV）→ 可信的本地分数 → 只在有把握时提交

建立本地验证的纪律：

CV 方案要匹配数据特性：时序数据用时间切分（不能用随机 KFold，未来信息泄漏）、分组数据用 GroupKFold（同一用户/患者的样本别跨折）、类别不平衡用 StratifiedKFold。
CV 和 LB（公开榜）的相关性监控：记录每次提交的「CV 分数 vs LB 分数」——两者走势一致说明验证体系可信；背离立刻排查（数据泄漏？分布漂移？）。
单次提交原则：每次提交只改一个变量——改了三处涨了 0.002，你不知道是谁的功劳。

from sklearn.model_selection import StratifiedKFold
import numpy as np

def cv_score(model_fn, X, y, n_splits=5):
    skf = StratifiedKFold(n_splits=n_splits, shuffle=True, random_state=42)
    scores, oof = [], np.zeros(len(y))
    for fold, (tr_idx, va_idx) in enumerate(skf.split(X, y)):
        model = model_fn()
        model.fit(X[tr_idx], y[tr_idx])
        pred = model.predict_proba(X[va_idx])[:, 1]
        oof[va_idx] = pred
        scores.append(roc_auc_score(y[va_idx], pred))
    print(f"CV: {np.mean(scores):.5f} ± {np.std(scores):.5f}")
    return oof   # out-of-fold 预测，后面做集成分析的金矿

oof（每折的验证集预测）是进阶玩法的原材料：分析模型在哪类样本上错、做 stacking 的第二层输入。

标准节奏：一场比赛的四个阶段

第一周：EDA + Baseline（分数不重要，跑通最重要）

看数据：分布、缺失、类别基数、目标与特征的粗关系（EDA 工具）
建验证体系（上节）
跑一个最简 baseline：数值特征 + LightGBM 默认参数——它的意义是锚点，之后每个改动都问「比 baseline 强吗」

第二三周：迭代期（收益按序来）

按历史经验，收益从大到小排：

特征工程（最大头）：时间特征拆解、目标编码、聚合统计（groupby 用户算均值/次数）、业务交叉。特征工程篇的武器库全用上。
验证体系修正：发现 CV 和 LB 背离时停下一切修验证——方向错了跑越快离越远。
模型调参：LightGBM/XGBoost 的 learning_rate + num_leaves + min_data_in_leaf 三件套，Optuna 跑 100 轮。收益通常 <0.005，别沉迷。
多模型：LightGBM + XGBoost + CatBoost 三件套相关性低，平均就涨。

最后一周：集成期

简单平均 → 加权平均（按 CV 分数配权）→ stacking（oof 训练第二层逻辑回归）
加多样性：不同种子、不同特征子集、不同模型族（树 + 神经网络）
集成收益通常 0.003~0.01，是前排队伍的分水岭

公开榜陷阱：shake up 是成人礼

公开榜只用测试集的一部分（常 20~30%）算分，最终私榜（剩余部分）才定排名。过度刷公开榜 = 在 20% 的数据上过拟合——比赛结束时的私榜大洗牌（shake up）：公开榜前 10 掉到 100 开外的故事每届都有。

防御：信 CV 不信 LB、提交次数留给 CV 改进的确认、临近结束选提交时选「CV 最好」而非「LB 最好」的方案。把公开榜当参考系，不当目标函数——这句话值一块奖牌。

阅读优胜方案：最快的学习方法

每场比赛结束后，前排选手会分享方案（discussion 区）。阅读顺序建议：先看你卡住的环节他们怎么做（特征？验证？），再完整复现一个金牌方案——复现金牌方案的收获超过自己摸索三场比赛。注意甄别：有些方案赢在「数据泄漏」或「外部数据」，学思路不学投机。

竞赛经验怎么变现到工作

面试和工作里真正值钱的迁移：

竞赛技能	工作对应
验证体系设计	离线/在线指标 gap 的处理
快速 EDA 找信号	新业务数据冷启动
特征工程直觉	业务特征的构造
集成与 stacking	多模型融合的生产实践
「CV 涨了 LB 不涨」的排查	训练-服务一致性问题

不迁移的部分：为 0.001 刷分的偏执（工作里 0.001 换不来业务价值）、巨型集成（生产维护不起 50 个模型）、奇特 trick（稳定复现性差的技巧）。工作的目标函数是业务价值，不是排行榜——打比赛时记住这个差别，你就是用 Kaggle 练兵而不是被它带偏。

踩坑排查

现象	原因	解法
CV 涨 LB 跌	验证体系与测试分布不一致	检查切分方式（时序/分组）；重设计 CV
公开榜一路涨私榜崩盘	过拟合 leaderboard	以 CV 为准；少刷榜
LightGBM 调参一周不涨	收益瓶颈在特征不在参数	回去做特征工程
stacking 反而掉分	第二层用了原始特征导致过拟合	第二层只用 oof 预测，或加正则
fork 别人 notebook 不涨分	公开内核已过拟合公开榜	学思路，建自己的验证体系

练习

选一场入门赛（Titanic 或 House Prices），不写任何特征工程，先建 CV 体系跑 baseline，记录 CV 与 LB 的差。
同一比赛做三轮「单变量迭代」：每轮只加一个特征或改一个参数，记录 CV 变化——体会单变量纪律。
实现 LightGBM + XGBoost 的 oof stacking：第一层两模型的 oof 做第二层逻辑回归的特征，对比简单平均。
读一篇金牌方案，列出它和你方案的三个关键差异，挑一个复现进自己的 pipeline。

面试常问

Q：怎么设计交叉验证方案？ 看数据依赖结构：独立同分布 → KFold/StratifiedKFold；时序 → 前向滚动（TimeSeriesSplit 或按时间窗）；组内相关（同用户/同设备多条）→ GroupKFold；有多重依赖叠加定制（如「按时间切且保证组不跨折」）。原则只有一条：验证集的「信息可见性」要和真实预测场景一致——预测未来就用过去验证，预测新用户就保证用户不跨折。

Q：LightGBM 和 XGBoost 的实际差异？ LightGBM：leaf-wise 生长（快、易过拟合小数据）、直方图加速、原生类别特征支持；XGBoost：level-wise 生长（稳）、正则项更全。实践：大表格数据 LightGBM 快且略强；小数据（<1 万）XGBoost 稳；CatBoost 在高基数类别特征上省心（自动 ordered target encoding）。三者同用做集成多样性是竞赛标配。

Q：stacking 为什么有效？怎么做才安全？ 不同模型的错误相关性低，第二层模型学「什么情况下信谁」。安全要点：第二层只能用 out-of-fold 预测训练（用训练集内预测会严重过拟合——模型在训练数据上的预测是乐观的）；第二层要简单（逻辑回归/浅层树）；多层 stacking 收益递减且脆弱，两层是甜点。

Q：Kaggle 奖牌对求职的价值？ 能过简历筛选（尤其 Master/Grandmaster），但面试赢不赢得了靠讲出「为什么这么设计」——验证体系怎么建的、特征怎么想到的、失败实验排除了什么。银牌 + 讲得透 > 金牌 + 说不清。写在简历上的正确姿势：比赛名 + 排名百分比 + 你主导的技术决策（量化）。附一句：面试官里打过比赛的人，专门爱问「你的 CV 和 LB 差多少」。

Q：比赛的 ensemble 为什么工业界少用？ 维护成本：50 个模型的预测管道、版本管理、特征一致性，生产事故风险随模型数线性涨；边际收益：0.005 的提升在生产噪声里淹没；延迟成本：每个模型都要算。工业界的折中：单模型调优 + 3 模型以内的小集成，把精力花在特征和数据质量上——那里的收益比集成大一个量级。