Python爬虫入门：从零开始抓取豆瓣电影数据-代码聚汇网

Python爬虫入门：从零开始抓取豆瓣电影数据

RED韵

1. Python爬虫入门：从零开始的网络数据抓取

我至今还记得第一次用Python写爬虫时的兴奋感——短短十几行代码就能自动获取网页上的数据，那种"机器替我干活"的成就感至今难忘。作为数据获取的利器，Python爬虫已经成为数据分析师、市场研究人员甚至普通办公人员的必备技能。不同于市面上那些复杂晦涩的教程，今天我要分享的是真正适合新手的实战路径。

Python爬虫的核心价值在于自动化获取网络公开数据。想象一下你需要收集某电商平台100页商品信息，手动复制粘贴可能需要一整天，而一个简单的爬虫脚本可能只需要几分钟。这正是我三年前接手市场竞品分析项目时的真实场景，当时靠着自学爬虫技术，把原本需要团队一周完成的数据收集工作压缩到了半天。

2. 环境准备与工具选型

2.1 Python环境配置

我强烈建议初学者使用Anaconda来管理Python环境，它预装了数据分析常用的库，避免了自己逐个安装的麻烦。最新版的Anaconda可以从官网直接下载，安装时务必勾选"Add to PATH"选项（Windows用户特别注意）。安装完成后，在命令行输入以下命令验证：

bash复制python --version
pip --version

如果看到Python 3.x和pip的版本信息，说明环境配置成功。我遇到过不少初学者卡在环境配置这一步，主要问题出在系统环境变量未正确设置。有个小技巧：安装完成后重启电脑，这能解决90%的环境变量识别问题。

2.2 必备库安装

对于基础爬虫，我们主要需要三个库：

requests：用于发送HTTP请求
BeautifulSoup：用于解析HTML
lxml：作为BeautifulSoup的解析引擎

安装命令如下：

bash复制pip install requests beautifulsoup4 lxml

为什么选择这组工具？经过多年实践，我发现这组合在易用性和性能之间取得了最佳平衡。早期我尝试过urllib标准库，但其API设计不够友好；也用过Scrapy框架，但对于简单任务显得过于重型。这套组合既能快速上手，又能应对中等规模的爬取需求。

3. 第一个爬虫实例：抓取豆瓣电影Top250

3.1 分析目标网页结构

我们以豆瓣电影Top250为例（https://movie.douban.com/top250）。打开网页后按F12进入开发者工具，通过元素检查器可以看到每部电影的信息都包裹在<div class="item">中，包含：

电影标题：<span class="title">
评分：<span class="rating_num">
评价人数：<div class="star">中的<span>文本

这种结构化的HTML正是爬虫最爱的目标。我建议新手在写爬虫前至少花10分钟仔细研究网页结构，这能节省后面大量的调试时间。

3.2 编写基础爬虫代码

python复制import requests
from bs4 import BeautifulSoup

def scrape_douban_top250():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    }
    url = 'https://movie.douban.com/top250'
    response = requests.get(url, headers=headers)
    
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'lxml')
        movie_items = soup.find_all('div', class_='item')
        
        for item in movie_items[:10]:  # 只取前10条作为示例
            title = item.find('span', class_='title').text
            rating = item.find('span', class_='rating_num').text
            print(f"电影：{title}，评分：{rating}")
    else:
        print(f"请求失败，状态码：{response.status_code}")

scrape_douban_top250()

这段代码有几个关键点需要注意：

User-Agent头是必须的，否则会被豆瓣识别为爬虫而拒绝
使用lxml解析器比Python内置的html.parser速度更快
find_all返回的是列表，需要用循环处理每个元素

3.3 处理分页数据

豆瓣Top250分布在10个页面，每页25条。观察URL规律可以发现：

第一页：https://movie.douban.com/top250
第二页：https://movie.douban.com/top250?start=25
以此类推，start参数每次增加25

修改我们的函数来处理所有页面：

python复制def scrape_all_pages():
    base_url = 'https://movie.douban.com/top250'
    headers = {...}  # 同上
    
    for start in range(0, 250, 25):
        url = f"{base_url}?start={start}"
        response = requests.get(url, headers=headers)
        # 解析逻辑同上
        # 建议添加2秒延迟，避免请求过于频繁
        time.sleep(2)

重要提示：务必在循环中添加time.sleep(2)这样的延迟，这是对目标网站的基本尊重。我见过太多人因为频繁请求导致IP被封的案例。

4. 爬虫进阶：应对常见反爬机制

4.1 处理动态加载内容

现代网站越来越多地使用JavaScript动态加载内容。比如用我们上面的代码尝试爬取微博评论会发现获取不到数据，因为评论是通过AJAX加载的。解决方法有两种：

分析XHR请求：通过开发者工具的Network面板找到真实数据接口
使用Selenium模拟浏览器：适合复杂的动态页面

以微博为例，我们可以找到类似这样的API：

code复制https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=...

4.2 登录与会话保持

有些内容需要登录后才能查看，这时我们需要使用requests.Session()来保持登录状态：

python复制session = requests.Session()
login_data = {
    'username': 'your_username',
    'password': 'your_password'
}
session.post('https://example.com/login', data=login_data)

# 后续请求会自动携带cookies
response = session.get('https://example.com/protected-page')

4.3 代理IP的使用

当频繁请求同一个网站时，很容易触发IP限制。这时需要使用代理IP池：

python复制proxies = {
    'http': 'http://proxy_ip:port',
    'https': 'https://proxy_ip:port'
}
response = requests.get(url, proxies=proxies, headers=headers)

5. 数据存储与后续处理

5.1 常见存储方式

爬取到的数据通常需要持久化存储，常见选择有：

CSV文件：适合表格型数据

python复制import csv

with open('movies.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['Title', 'Rating'])
    for movie in movies:
        writer.writerow([movie['title'], movie['rating']])

MySQL数据库：适合大量结构化数据

python复制import pymysql

conn = pymysql.connect(host='localhost', user='root', password='', db='spider')
cursor = conn.cursor()
sql = "INSERT INTO movies(title, rating) VALUES(%s, %s)"
cursor.execute(sql, (title, rating))
conn.commit()

MongoDB：适合非结构化或半结构化数据

python复制from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')
db = client['spider']
collection = db['movies']
collection.insert_one({'title': title, 'rating': rating})

5.2 数据清洗技巧

原始爬取的数据往往包含噪音，常见清洗操作包括：

去除HTML标签：BeautifulSoup.get_text()
处理空白字符：str.strip()
统一日期格式：datetime.strptime()
处理特殊编码：str.encode().decode('unicode_escape')

6. 法律与道德注意事项

爬虫技术是把双刃剑，使用不当可能带来法律风险。以下是我总结的几条红线：

尊重robots.txt：这是网站的爬虫协议，比如豆瓣的https://www.douban.com/robots.txt明确规定了哪些目录不允许爬取
控制请求频率：即使没有明确禁止，也应设置合理延迟（建议≥2秒/请求）
不爬取个人隐私数据：用户手机号、身份证等敏感信息绝对不要碰
不进行商业性大规模爬取：特别是竞争对手网站的数据
注意版权问题：爬取的内容如果用于商业用途可能需要获得授权

我曾接手过一个项目，客户要求每小时爬取某网站数万次，我果断拒绝了。三个月后，那家网站起诉了几个类似行为的公司，这再次验证了谨慎行事的重要性。

7. 常见问题与解决方案

7.1 编码问题

中文字符乱码是新手常遇到的问题，解决方法：

python复制# 方法1：手动指定编码
response.encoding = 'utf-8'  # 或 'gbk'

# 方法2：使用chardet自动检测
import chardet
encoding = chardet.detect(response.content)['encoding']
response.encoding = encoding

7.2 图片文字处理

有些网站会把文字做成图片防止爬取，这时可以考虑：

使用OCR技术识别（如pytesseract）
寻找替代数据源
如果是少量关键数据，人工补全可能更经济

7.3 验证码破解

遇到验证码时的策略：

尝试降低请求频率避免触发
使用第三方打码平台（成本较高）
对于简单验证码，可以用OpenCV图像处理

8. 项目实战：构建一个完整的小型爬虫系统

让我们综合运用以上知识，构建一个爬取天气数据并可视化的完整项目：

python复制# weather_spider.py
import requests
from bs4 import BeautifulSoup
import pandas as pd
import matplotlib.pyplot as plt

def get_weather(city):
    url = f'http://www.weather.com.cn/weather/101{city}01.shtml'
    headers = {...}
    response = requests.get(url, headers=headers)
    
    soup = BeautifulSoup(response.text, 'lxml')
    weather_data = []
    
    for item in soup.select('.t li'):
        date = item.select_one('h1').text
        weather = item.select_one('.wea').text
        temp = item.select_one('.tem').text.strip()
        weather_data.append([date, weather, temp])
    
    return weather_data

def save_and_plot(data):
    df = pd.DataFrame(data, columns=['Date', 'Weather', 'Temperature'])
    df.to_csv('weather.csv', index=False)
    
    # 简单的温度趋势图
    df['HighTemp'] = df['Temperature'].str.extract('(\d+)℃').astype(int)
    df.plot(x='Date', y='HighTemp', kind='line')
    plt.title('Temperature Trend')
    plt.savefig('temp_trend.png')

if __name__ == '__main__':
    # 北京的城市代码是0101
    weather_data = get_weather('0101')
    save_and_plot(weather_data)

这个项目展示了爬虫的典型工作流程：获取数据→清洗存储→分析可视化。你可以尝试扩展它，比如添加多城市支持、异常天气预警等功能。

最后分享一个我多年爬虫实践的心得：最好的学习方式不是看教程，而是找一个你真正需要数据的网站，从零开始构建爬虫。过程中遇到的所有问题都会成为你最宝贵的经验。记住，每个网站都是独特的，通用的爬虫解决方案往往不如针对特定网站的定制方案有效。