1. HTTP协议与Requests库入门指南
作为一名Python开发者，掌握HTTP协议和Requests库的使用是必备技能。无论是爬虫开发还是API调用，这些知识都是基础中的基础。今天我们就来深入探讨这个主题，分享一些我在实际项目中积累的经验。
1.1 HTTP协议基础解析
HTTP协议是互联网通信的基础，理解它的工作原理对后续开发至关重要。简单来说，HTTP协议定义了客户端和服务器之间通信的规则和格式。
请求(Request)的组成要素：
- 请求方法：GET、POST、PUT、DELETE等
- URL：统一资源定位符
- 请求头：包含客户端信息、接受的内容类型等
- 请求体：POST请求时携带的数据
响应(Response)的关键部分：
- 状态码：200表示成功，404表示未找到等
- 响应头：包含服务器信息、内容类型等
- 响应体：实际返回的数据内容
在实际开发中，我们最常使用的是GET和POST方法。GET用于获取数据，POST用于提交数据。理解这些基础概念是后续使用Requests库的前提。
2. Requests库安装与基础使用
2.1 安装Requests库
Requests库是Python中最受欢迎的HTTP客户端库，安装非常简单：
bash复制pip install requests
如果你使用的是Anaconda环境，也可以用conda安装：
bash复制conda install requests
2.2 发送第一个GET请求
让我们从一个最简单的例子开始：
python复制import requests
response = requests.get('https://www.example.com')
print(response.status_code) # 打印状态码
print(response.text[:200]) # 打印前200个字符的网页内容
这个简单的例子展示了Requests库的基本用法。在实际项目中，我们通常需要处理更复杂的情况，比如设置超时、处理异常等。
3. 请求参数与请求头设置
3.1 GET请求带参数
在实际开发中，我们经常需要在URL中添加查询参数。Requests库提供了非常方便的方式来处理这种情况：
python复制params = {
'q': 'python',
'page': 1,
'sort': 'relevance'
}
response = requests.get('https://www.example.com/search', params=params)
print(response.url) # 查看实际请求的URL
这种方式比手动拼接URL更安全、更易读，而且会自动处理特殊字符的编码问题。
3.2 POST请求提交数据
POST请求通常用于提交表单数据或JSON数据：
python复制# 表单数据提交
form_data = {
'username': 'admin',
'password': 'secret'
}
response = requests.post('https://www.example.com/login', data=form_data)
# JSON数据提交
json_data = {
'title': 'New Post',
'content': 'This is the content'
}
response = requests.post('https://www.example.com/api/posts', json=json_data)
在实际项目中，我建议始终明确指定content-type头部，特别是当API对内容类型有严格要求时。
4. 请求头伪装与反爬策略
4.1 设置User-Agent
许多网站会检测User-Agent来判断请求是否来自浏览器。为了避免被识别为爬虫，我们需要设置合理的User-Agent：
python复制headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'en-US,en;q=0.5',
}
response = requests.get('https://www.example.com', headers=headers)
4.2 其他反爬应对策略
除了User-Agent外，还有一些常见的反爬措施需要注意：
- 频率限制：控制请求频率，避免被封IP
- Cookies验证：某些网站需要维持会话状态
- JavaScript渲染：有些内容是通过JS动态加载的
- 验证码：遇到验证码时需要人工干预或使用OCR技术
在实际项目中，我通常会使用time.sleep()来控制请求频率，并配合使用requests.Session()来维持会话状态。
5. 响应内容处理与解析
5.1 处理文本响应
对于HTML或纯文本响应，我们可以直接使用response.text属性：
python复制response = requests.get('https://www.example.com')
print(response.text) # 获取解码后的文本内容
需要注意的是，有时需要手动设置编码：
python复制response.encoding = 'utf-8' # 如果出现乱码，尝试设置编码
5.2 处理JSON响应
对于API返回的JSON数据，Requests提供了方便的.json()方法：
python复制response = requests.get('https://api.example.com/data')
data = response.json() # 自动解析为Python字典或列表
print(data['key'])
在实际项目中，我通常会添加错误处理：
python复制try:
data = response.json()
except ValueError:
print("Invalid JSON response")
data = None
5.3 处理二进制响应
对于图片、PDF等二进制文件，使用response.content：
python复制response = requests.get('https://www.example.com/image.jpg')
with open('image.jpg', 'wb') as f:
f.write(response.content)
6. 高级功能与实战技巧
6.1 会话保持与Cookie处理
使用requests.Session()可以在多个请求之间保持Cookie：
python复制session = requests.Session()
# 登录
login_data = {'username': 'user', 'password': 'pass'}
session.post('https://www.example.com/login', data=login_data)
# 后续请求会自动携带Cookie
profile = session.get('https://www.example.com/profile')
这个功能在需要登录的网站爬取中非常有用。
6.2 超时设置与重试机制
网络请求可能会因为各种原因失败，合理的超时设置和重试机制很重要：
python复制try:
response = requests.get('https://www.example.com', timeout=5)
except requests.exceptions.Timeout:
print("请求超时")
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
对于重要的请求，可以实现简单的重试逻辑：
python复制max_retries = 3
for attempt in range(max_retries):
try:
response = requests.get(url, timeout=5)
break
except requests.exceptions.RequestException:
if attempt == max_retries - 1:
raise
time.sleep(1)
6.3 代理设置
在某些情况下，我们需要使用代理服务器：
python复制proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
response = requests.get('https://www.example.com', proxies=proxies)
7. 实战项目：构建一个简单的爬虫
7.1 网页内容采集器
让我们实现一个可以采集网页内容并保存到本地的工具：
python复制import os
import requests
from urllib.parse import urlparse
def save_webpage(url, folder='pages'):
try:
response = requests.get(url, timeout=10)
response.raise_for_status()
# 创建保存目录
os.makedirs(folder, exist_ok=True)
# 从URL提取文件名
parsed = urlparse(url)
filename = parsed.netloc.replace('.', '_') + '.html'
if not filename:
filename = 'index.html'
# 保存文件
filepath = os.path.join(folder, filename)
with open(filepath, 'w', encoding='utf-8') as f:
f.write(response.text)
print(f"成功保存到 {filepath}")
return filepath
except Exception as e:
print(f"保存网页失败: {e}")
return None
7.2 API数据采集器
对于提供JSON API的网站，我们可以构建一个更专业的数据采集器：
python复制import json
import time
class APICollector:
def __init__(self, base_url, headers=None):
self.base_url = base_url
self.session = requests.Session()
if headers:
self.session.headers.update(headers)
self.data = []
def fetch_data(self, endpoint, params=None):
url = f"{self.base_url}/{endpoint}"
try:
response = self.session.get(url, params=params, timeout=5)
response.raise_for_status()
return response.json()
except Exception as e:
print(f"获取数据失败: {e}")
return None
def collect(self, endpoints, delay=1):
for endpoint in endpoints:
data = self.fetch_data(endpoint)
if data:
self.data.extend(data)
time.sleep(delay) # 礼貌性延迟
def save_to_file(self, filename):
with open(filename, 'w', encoding='utf-8') as f:
json.dump(self.data, f, ensure_ascii=False, indent=2)
print(f"数据已保存到 {filename}")
8. 常见问题与解决方案
8.1 SSL证书验证问题
在开发环境中，有时会遇到SSL证书验证失败的问题：
python复制# 不推荐在生产环境使用
response = requests.get('https://example.com', verify=False)
更好的解决方案是：
- 更新证书包
- 指定自定义CA证书包路径
python复制response = requests.get('https://example.com', verify='/path/to/certfile')
8.2 大文件下载
下载大文件时，应该使用流式请求避免内存问题：
python复制url = 'https://example.com/largefile.zip'
with requests.get(url, stream=True) as r:
r.raise_for_status()
with open('largefile.zip', 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)
8.3 编码问题处理
编码问题在爬虫开发中很常见，以下是一些处理技巧：
- 首先尝试自动检测编码：
python复制import chardet
encoding = chardet.detect(response.content)['encoding']
response.encoding = encoding
- 对于顽固的编码问题，可以尝试手动解码：
python复制text = response.content.decode('gbk', errors='replace')
- 对于混合编码的内容，可能需要逐行处理或使用专门的HTML解析器
9. 性能优化建议
9.1 连接池复用
Requests的Session对象会自动管理连接池，复用TCP连接可以显著提高性能：
python复制with requests.Session() as session:
for url in urls:
response = session.get(url)
# 处理响应
9.2 异步请求
对于大量请求，可以考虑使用异步方式：
python复制import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main():
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
return await asyncio.gather(*tasks)
results = asyncio.run(main())
9.3 缓存策略
对于不常变化的数据，实现简单的缓存可以避免重复请求：
python复制from datetime import datetime, timedelta
class SimpleCache:
def __init__(self, ttl=3600):
self.cache = {}
self.ttl = timedelta(seconds=ttl)
def get(self, key):
entry = self.cache.get(key)
if entry and datetime.now() - entry['time'] < self.ttl:
return entry['data']
return None
def set(self, key, data):
self.cache[key] = {'data': data, 'time': datetime.now()}
10. 安全注意事项
10.1 敏感信息处理
在代码中避免硬编码敏感信息：
python复制# 错误做法
requests.get('https://api.example.com', auth=('username', 'password'))
# 正确做法
import os
from dotenv import load_dotenv
load_dotenv()
username = os.getenv('API_USER')
password = os.getenv('API_PASS')
requests.get('https://api.example.com', auth=(username, password))
10.2 输入验证
对所有用户提供的输入进行验证：
python复制def sanitize_url(url):
"""验证并清理URL"""
parsed = urlparse(url)
if not parsed.scheme or not parsed.netloc:
raise ValueError("Invalid URL")
if parsed.scheme not in ('http', 'https'):
raise ValueError("Only HTTP/HTTPS URLs are allowed")
return url
10.3 速率限制
遵守目标网站的robots.txt规则，并实施合理的速率限制：
python复制import time
from urllib.robotparser import RobotFileParser
def check_robots(url):
rp = RobotFileParser()
rp.set_url(urlparse(url)._replace(path='/robots.txt').geturl())
rp.read()
return rp
rp = check_robots('https://www.example.com')
if rp.can_fetch('*', 'https://www.example.com/data'):
time.sleep(1) # 遵守爬取延迟
response = requests.get('https://www.example.com/data')
在实际项目中，我通常会创建一个请求调度器来管理请求频率，避免对目标服务器造成过大压力。