每年奥斯卡颁奖礼结束后,社交平台上总会冒出各种“明星关系图”、“合作网络图”。但你有没有想过,如果把过去将近一百年的所有获奖者放到同一张图里,用他们共同参与过的作品去连线,最终会得到一张什么样的“人脉网络”?这个项目的标题叫“绘制奥斯卡获奖者之间的联系”,我前后花了一周时间把它完整跑通:数据采集、关系建模、交互可视化,每一步都踩了不少坑。这篇博文不是给一份静态成品图,而是把整个可复现的流程、代码思路和失误盘点都写出来,适合正在学习网络爬虫和关系图谱的数据分析爱好者、影视数据研究者,以及想拿真实数据做可视化作品的人参考。
1. 项目想解决什么问题:从“获奖名单”到“关系图谱”
1.1 为什么值得画一张“获奖者关系网”
很多人的第一反应是:奥斯卡获奖名单不就是一份表格吗,把名字列出来不就行了,为什么要画成图?这个思路能回答“谁在哪一年得了什么奖”,但回答不了几个更有意思的问题:
- 哪些获奖者在拿奖之前就已经合作过?
- 哪位获奖者是整个网络里的“桥梁人物”,连接着多个原本不相干的圈子?
- 某个年代的获奖者群体是不是特别抱团,比如新好莱坞时期那批人频繁出现在彼此的作品里?
- 从数据上看,是否存在“铁打的配角,流水的影帝”这种结构性现象?
这类问题天然适合用图来承载。人与人之间的合作关系本质上就是图结构,节点是获奖者,边是合作经历。用表格查询“A和B有没有关系”很容易,但想回答“A和B之间隔着几个人”、“谁在中间起连接作用”,表格就力不从心了。这个项目要做的,就是把奖项数据从二维表转换成语义丰富的网络图,让用户通过拖拽、缩放、点击节点直观地观察这些关系。
1.2 核心概念:节点、边和权重
在动手写代码之前,得先把“关系”这个词翻译成数据模型。我采用最经典的图定义:
| 要素 | 含义 | 我使用的数据 |
|---|---|---|
| 节点 | 一个人,即获奖者 | 姓名 + 出生年做唯一ID |
| 边 | 两个人之间发生过一次合作 | 共同出现在同一部影片的演职员表中 |
| 权重 | 合作次数或合作紧密程度 | 合作次数越多,边越粗 |
| 类别 | 获奖者身份类型 | 演员、导演、制片人、编剧、摄影指导等 |
这里有个容易忽略的细节:边不一定非要在“同一场戏”里。只要两个人都出现在同一部影片的演职员表里,我就认为他们之间产生了一次合作连接。这种定义有点粗,但好处是数据收集成本低、覆盖范围广。如果你想做得更精细,可以再引入“同届获奖”关系,即两个获奖者在同一届颁奖典礼上获奖,这也是一种弱连接,在后续扩展里我会讲。
1.3 方案选型:用 Python 全家桶还是图数据库
最初我犹豫过要不要上 Neo4j,毕竟图数据库是处理这类问题的“正统”工具。但后来发现,这个项目的数据量其实远没有想象中那么大:历届获奖者加在一起也就是一千人左右,合作边撑死几万条,主流配置的电脑完全能扛住。直接上数据库反而是杀鸡用牛刀,还得多学一套查询语言。
因此最终方案是:requests + BeautifulSoup 负责抓公开页面数据,pandas 做清洗,NetworkX 在内存里建图,最后用 pyecharts 输出一个 HTML 交互页面。整条链路都用 Python,安装依赖只需要一条命令:
bash复制pip install requests beautifulsoup4 pandas networkx pyecharts
这套组合的好处是上手门槛低。如果你只对可视化感兴趣,可以直接跳过爬虫部分,拿公开数据集构建 NetworkX 图,再用 pyecharts 渲染;如果你只想练爬虫,也可以只做到 CSV 清洗那一步。每个环节都能独立验证,不用一条路走到黑。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据采集:从零构建获奖者数据集
2.1 数据源和字段设计
做任何数据项目,第一步不是写爬虫,而是想清楚要哪
