1. 理解TimeoutError的本质
当你第一次看到TimeoutError: [WinError 10060]这个报错时,可能会觉得一头雾水。这个错误其实就像你打电话时对方一直不接听,最终系统自动挂断一样。在网络请求中,客户端(你的爬虫)向服务器发出连接请求后,如果服务器在指定时间内没有响应,就会触发这个超时错误。
我遇到过最典型的场景是爬取某电商网站商品数据时,连续请求20次后突然开始出现超时。后来发现对方的防火墙已经把我的IP识别为爬虫,故意不响应请求。这种时候单纯增加timeout时间是没有用的,需要更系统的解决方案。
超时错误的核心参数是TCP三次握手的SYN包等待时间。在Windows系统下默认是21秒(Linux系统通常是20秒)。你可以通过这个命令查看当前系统的TCP参数:
python复制import socket
print(socket.getdefaulttimeout()) # 通常显示None,表示使用系统默认
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 基础解决方案:请求重试机制
最简单的解决方案就是自动重试。但要注意,粗暴的重试可能会让问题更糟。我推荐使用指数退避算法(Exponential Backoff),这种算法在AWS等云服务中广泛使用。
这是我经过多次调试后的最佳实践版本:
python复制import random
import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
def requests_retry_session(
retries=3,
backoff_factor=1,
status_forcelist=(500, 502, 504),
session=None,
):
session = session or requests.Session()
retry = Retry(
total=retries,
read=retries,
connect=retries,
backoff_factor=backoff_factor,
status_forcelist=status_forcelist,
)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)
return session
使用时只需要:
python复制session = requests_retry_session()
response = session.get('https://example.com', timeout=5)
这个方案有三大优势:
- 对不同HTTP错误码可以区别处理
- 重试间隔会指数级增长(0.5s, 1s, 2s, 4s...)
- 同时处理连接超时和读取超时
3. 高级伪装:动态请求头与IP轮换
单一User-Agent是爬虫最大的
