1. 从数据到洞察:泰坦尼克号生存预测实战
第一次接触Kaggle的泰坦尼克号数据集时,我被这个看似简单却暗藏玄机的数据集深深吸引了。这份记录着1912年那场著名海难乘客信息的数据,包含了每位乘客的年龄、性别、舱位等级等基本信息。但真正让我着迷的是,如何从这些原始数据中挖掘出影响生存的关键因素。
记得刚开始分析时,我习惯性地先看整体数据分布。用pandas的info()和describe()快速扫描后,立刻发现了两个棘手问题:年龄字段有约20%的缺失值,而舱位信息缺失更严重,达到77%。这给我的第一个教训是:真实世界的数据从来不会完美,如何处理这些缺失值往往决定了模型的成败。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 特征工程的魔法:从原始数据到有效特征
2.1 挖掘姓名中的黄金
最初看到"Name"字段时,我差点直接把它删掉——毕竟名字看起来和生存率毫无关系。但仔细一看,每个名字前都有"Mr."、"Mrs."这样的称谓。灵机一动,我用正则表达式提取出这些称谓:
python复制data['Title'] = data['Name'].str.extract(' ([A-Za-z]+)\.', expand=False)
结果发现了有趣的现象:不同称谓对应的生存率差异巨大。"Master"(未成年男性)生存率高达57%,而"Mr."只有15%。这促使我创建了"称谓"这个新特征,用它来更精确地填充缺失的年龄值。
2.2 家庭规模的秘密
原始数据中有"SibSp"(兄弟姐妹/配偶数量)和"Parch"(父母/子女数量)两个字段。单独看它们与生存率的关系时,我发现一个矛盾现象:有1-2个家庭成员的人生存率较高,但大家庭(4人以上)生存率骤降。
于是我将两者相加创建了"FamilySize"特征,并衍生出"IsAlone"标志。可视化分析证实了我的猜想:中等规模家庭(2-4人)生存率最高,而单独旅行或大家庭生存率较低。这个发现完美印证了"互助但资源有限"的现实场景。
2.3 票价分箱的艺术
"Fare"(票价)字段的分布极不均匀,从0到512不等。直接使用原始值会导致模型过分关注极端值。我尝试了等宽分箱和等频分箱两种方法:
python复制# 等频分箱
data['FareBin'] = pd.qcut(data['Fare'],
