Python爬虫开发：从基础到合规实践-代码聚汇网

Python爬虫开发：从基础到合规实践

不吃章鱼烧·2026-06-22·阅读 67 GEO检测（免费）

Python爬虫requestsBeautifulSoup

|难度：普通|阅读约 28 分钟

1. 爬虫基础认知与合规原则

在开始动手编写爬虫代码之前，我们需要先建立对爬虫技术的正确认知，特别是要明确爬虫开发的合规边界。这不仅是技术问题，更是法律和道德问题。

1.1 爬虫的本质与工作原理

爬虫本质上是一种自动化程序，它模拟人类浏览网页的行为，但能以更高的效率和更大的规模获取网络数据。一个典型的爬虫工作流程包含以下几个关键环节：

请求发送：爬虫程序会构造HTTP/HTTPS请求，向目标服务器发送数据获取请求。这相当于你在浏览器地址栏输入网址后按回车的行为。
响应接收：服务器接收到请求后，会返回响应数据，通常是HTML文档，也可能是JSON、XML等格式的数据。
数据解析：爬虫程序会对接收到的数据进行解析，提取出有价值的信息。这类似于人类浏览网页时"阅读"并"理解"网页内容的过程。
数据存储：提取出的结构化数据会被保存到本地文件或数据库中，供后续使用。
自动化控制：通过循环、队列等机制，爬虫可以自动处理大量页面，实现批量数据采集。

1.2 爬虫开发的合规边界

爬虫开发必须严格遵守法律法规和网站的使用规则，否则可能面临法律风险或技术限制。以下是几个关键的合规原则：

重要提示：任何爬虫开发都必须首先考虑合规性问题，这是不可逾越的红线。

尊重robots协议：robots.txt是网站放置在根目录下的文本文件，明确规定了哪些内容允许爬取，哪些禁止爬取。例如，访问https://www.example.com/robots.txt 可以查看该网站的爬虫规则。
控制请求频率：过于频繁的请求会对服务器造成负担，可能被视为攻击行为。合理的做法是在请求之间加入延时，模拟人类浏览的速度。

python复制import time
time.sleep(1)  # 每次请求后暂停1秒

遵守版权和隐私规定：不得爬取受版权保护的内容或个人隐私信息，也不得将爬取的数据用于商业用途，除非获得明确授权。
设置合理的请求头：在HTTP请求中添加User-Agent等信息，表明爬虫的身份和意图，避免被误认为是恶意程序。

python复制headers = {
    'User-Agent': 'MyCrawler/1.0 (+http://example.com/crawler)',
    'From': 'contact@example.com'  # 可选的联系方式
}

不规避反爬措施：对于设置了反爬机制的网站，除非获得明确许可，否则不应尝试绕过这些保护措施。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. Python爬虫技术栈

Python拥有丰富的爬虫相关库，使得开发网络爬虫变得相对简单。下面介绍几个最常用的工具和技术。

2.1 网络请求库：requests

requests是Python中最流行的HTTP客户端库，它简化了HTTP请求的发送和响应的处理过程。

基本GET请求示例：

python复制import requests

url = 'https://example.com/api/data'
response = requests.get(url, headers=headers, timeout=10)

if response.status_code == 200:
    print(response.text)  # 获取响应文本内容
else:
    print(f"请求失败，状态码：{response.status_code}")

处理不同类型的响应数据：

python复制# 获取JSON数据
json_data = response.json()

# 获取二进制数据（如图片）
binary_data = response.content
with open('image.jpg', 'wb') as f:
    f.write(binary_data)

2.2 数据解析工具

2.2.1 BeautifulSoup4

BeautifulSoup4(简称bs4)是一个HTML/XML解析库，它能够从复杂的网页文档中提取所需的数据。

基本用法：

python复制from bs4 import BeautifulSoup

html_doc = """
<html>
<head><title>测试页面</title></head>
<body>
<p class="content">这是一个段落</p>
<a href="http://example.com">链接</a>
</body>
</html>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# 查找第一个p标签
first_p = soup.find('p')
print(first_p.text)  # 输出：这是一个段落

# 查找所有a标签
all_links = soup.find_all('a')
for link in all_links:
    print(link['href'])  # 输出链接地址

2.2.2 正则表达式

对于非结构化的文本数据，正则表达式提供了强大的模式匹配能力。

python复制import re

text = "联系电话：123-4567-8910，邮箱：contact@example.com"

# 提取电话号码
phone_pattern = r'\d{3}-\d{4}-\d{4}'
phone_match = re.search(phone_pattern, text)
if phone_match:
    print(phone_match.group())  # 输出：123-4567-8910

# 提取邮箱地址
email_pattern = r'[\w\.-]+@[\w\.-]+'
email_match = re.search(email_pattern, text)
if email_match:
    print(email_match.group())  # 输出：contact@example.com

2.3 数据存储方案

爬取的数据通常需要持久化存储，常用的方式包括：

JSON文件：适合存储结构化的数据

python复制import json

data = {'name': '示例', 'value': 123}
with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=2)

CSV文件：适合表格型数据

python复制import csv

data = [
    {'name': 'Alice', 'age': 25},
    {'name': 'Bob', 'age': 30}
]

with open('data.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.DictWriter(f, fieldnames=['name', 'age'])
    writer.writeheader()
    writer.writerows(data)

数据库：对于大量数据，可以使用SQLite、MySQL等数据库

python复制import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()

# 创建表
cursor.execute('''CREATE TABLE IF NOT EXISTS items
                  (id INTEGER PRIMARY KEY, name TEXT, value INTEGER)''')

# 插入数据
cursor.execute("INSERT INTO items (name, value) VALUES (?, ?)", ('test', 123))
conn.commit()
conn.close()

3. 实战项目：构建一个合规的网页爬虫

现在我们将综合运用前面介绍的技术，构建一个完整的网页爬虫项目。为了确保合规性，我们选择一个允许爬取的公开数据源作为示例。

3.1 项目概述

我们将开发一个爬取公开图书信息的爬虫，具有以下功能：

从指定网站获取图书列表
提取每本书的标题、作者、价格等信息
将数据保存为JSON和CSV格式
实现分页爬取功能
包含完善的错误处理和日志记录

3.2 项目结构设计

采用模块化设计，将不同功能分离到不同模块