Python爬取百度图片实战：破解反爬与性能优化-代码聚汇网

Python爬取百度图片实战：破解反爬与性能优化

蝨孨槑黽·2026-08-23·阅读 21 GEO检测（免费）

Python爬虫Requests库百度图片爬取

|难度：普通|阅读约 14 分钟

1. 项目概述：爬取百度图片的技术价值与挑战

百度图片作为国内最大的图像搜索引擎之一，蕴藏着海量的可视化数据资源。通过程序化获取这些图片数据，能够为机器学习训练集构建、竞品分析、内容聚合等场景提供原材料支持。而Requests库作为Python生态中最简洁高效的HTTP客户端工具，以其人性化的API设计和优秀的性能表现，成为轻量级爬虫开发的首选方案。

在实际操作中，百度图片搜索页面采用动态加载技术，传统静态页面爬取方法难以奏效。更棘手的是，百度针对爬虫行为部署了多层次反爬机制：包括请求频率限制（429状态码）、Cookie验证、Headers校验等。近期许多开发者反馈遇到"exceeded retry limit, last status: 429 too many requests"的典型反爬响应，这正是我们需要攻克的技术难点。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 核心原理与准备工作

2.1 百度图片搜索的接口分析

通过浏览器开发者工具分析网络请求可以发现，百度图片搜索采用XHR动态加载方式。核心数据接口为：

code复制https://image.baidu.com/search/acjson

该接口接收以下关键参数：

tn: 固定为"resultjson_com"
ipn: 固定为"rj"
word: 经过URL编码的搜索关键词
pn: 当前页码（每页通常30张图）
rn: 每页返回数量

2.2 必需的工具与环境

开发环境建议配置：

bash复制Python 3.8+
requests 2.28.1
fake_useragent 1.1.1

关键依赖安装：

python复制pip install requests fake_useragent

提示：建议使用虚拟环境隔离项目依赖，避免包版本冲突

3. 完整爬取实现方案

3.1 基础请求构造

首先构建符合百度要求的请求头：

python复制from fake_useragent import UserAgent

headers = {
    'User-Agent': UserAgent().random,
    'Referer': 'https://image.baidu.com/',
    'X-Requested-With': 'XMLHttpRequest'
}

搜索参数处理示例：

python复制import urllib.parse

def build_params(keyword, page=0, per_page=30):
    return {
        'tn': 'resultjson_com',
        'ipn': 'rj',
        'word': urllib.parse.quote(keyword),
        'pn': page * per_page,
        'rn': per_page
    }

3.2 请求重试机制实现

针对429状态码设计智能重试策略：

python复制import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retries = Retry(
    total=5,
    backoff_factor=1,
    status_forcelist=[429, 500, 502, 503, 504]
)
session.mount('https://', HTTPAdapter(max_retries=retries))

3.3 图片数据解析与下载

解析返回的JSON数据获取真实图片URL：

python复制def parse_image_urls(response):
    try:
        data = response.json()
        return [item['thumbURL'] for item in data['data'] if 'thumbURL' in item]
    except:
        return []

图片下载函数实现：

python复制def download_image(url, save_path):
    try:
        resp = session.get(url, stream=True, timeout=10)
        if resp.status_code == 200:
            with open(save_path, 'wb') as f:
                for chunk in resp.iter_content(1024):
                    f.write(chunk)
            return True
    except:
        return False

4. 反爬对抗策略详解

4.1 请求频率控制

建议采用动态间隔策略：

python复制import random

def smart_delay(last_request_time):
    elapsed = time.time() - last_request_time
    delay = random.uniform(1.5, 3.5) - elapsed
    if delay > 0:
        time.sleep(delay)

4.2 请求特征伪装

轮换User-Agent和IP策略：

python复制class RotatingUA:
    def __init__(self):
        self.ua = UserAgent()
    
    def get(self):
        return {'User-Agent': self.ua.random}

会话保持实现方案：

python复制def init_session():
    session = requests.Session()
    # 先访问一次首页获取基础Cookie
    session.get('https://image.baidu.com', headers=headers)
    return session

5. 完整工作流实现

将各模块组合成完整流程：

python复制def crawl_baidu_images(keyword, max_pages=10, output_dir='images'):
    os.makedirs(output_dir, exist_ok=True)
    session = init_session()
    
    for page in range(max_pages):
        params = build_params(keyword, page)
        resp = session.get(
            'https://image.baidu.com/search/acjson',
            params=params,
            headers=headers.update(ua_rotator.get())
        )
        
        if resp.status_code != 200:
            print(f"请求失败: {resp.status_code}")
            break
            
        img_urls = parse_image_urls(resp)
        for i, url in enumerate(img_urls):
            filename = f"{keyword}_{page}_{i}.jpg"
            if download_image(url, os.path.join(output_dir, filename)):
                print(f"下载成功: {filename}")
        
        smart_delay(time.time())

6. 常见问题与解决方案

6.1 高频出现的429错误

典型表现：

code复制WARNING: Exceeded retry limit, last status: 429 Too Many Requests

解决方案：

降低请求频率至3秒/次以上
增加代理IP池
完善请求头伪装

6.2 返回数据为空的情况

排查步骤：

检查参数编码是否正确
验证Cookie是否有效
测试直接浏览器访问接口URL

6.3 图片下载失败处理

增强下载函数：

python复制def robust_download(url, path, retry=3):
    for i in range(retry):
        if download_image(url, path):
            return True
        time.sleep(2**i)  # 指数退避
    return False

7. 性能优化建议

7.1 异步加速方案

采用aiohttp实现异步请求：

python复制import aiohttp
import asyncio

async def async_fetch(session, url):
    async with session.get(url) as response:
        return await response.read()

7.2 分布式扩展思路

使用Redis实现任务队列：

python复制import redis

r = redis.Redis()
def push_task(keyword, pages):
    for page in range(pages):
        r.lpush('baidu:task', f"{keyword}|{page}")

7.3 断点续爬实现

记录爬取状态：

python复制def save_progress(keyword, page):
    with open('progress.log', 'a') as f:
        f.write(f"{keyword},{page}\n")

8. 法律与伦理边界

重要注意事项：

严格遵守robots.txt协议（百度图片的robots.txt明确禁止某些路径的爬取）
单次爬取数量控制在合理范围（建议不超过1000张/天）
图片仅用于个人学习研究，禁止商用
在代码中添加明显的延迟控制，避免对服务器造成压力

技术伦理建议：

python复制# 在代码开头添加伦理声明
ETHICS_NOTICE = """
本代码仅用于技术学习交流，下载内容24小时内应删除
请勿用于商业用途或大规模爬取
"""

在实际项目中，我通常会设置硬性限制：

python复制MAX_PAGES = 10  # 最多爬取10页
DELAY = 3.0     # 最小间隔3秒

这种自我约束既能满足学习需求，又不会对目标网站造成实质性影响。当我们需要更大规模数据时，建议考虑官方API或授权合作方案。