Python爬虫入门：基础爬取与反爬应对实践

1. 项目背景与需求解析

"码上爬1-4题"这个标题看起来像是某个Python爬虫学习课程或练习集中的前四道题目。作为爬虫初学者常见的练习项目，这类题目通常包含以下几个典型特征：

1. 基础爬取技术：涉及requests库使用、HTML解析等基础操作
2. 目标网站选择：常见于豆瓣、知乎等对爬虫相对友好的网站
3. 数据存储：要求将爬取结果保存为CSV、JSON等格式
4. 反爬应对：可能需要处理简单的反爬机制如User-Agent、请求频率控制

从相关热搜词可以看出，当前Python爬虫学习的热点集中在：

• 基础语法与环境配置（如vscode配置、python安装）
• 具体平台爬取案例（豆瓣电影、小红书、网易云音乐等）
• 反爬相关技术（robots.txt、请求限制等）

提示：在实际爬虫开发中，务必遵守robots.txt协议，控制请求频率，避免对目标网站造成过大压力。这也是为什么热搜中会出现"robots.txt ! shabi ! 写爬虫要限制下"这样的用户反馈。

2. 环境准备与基础工具链

2.1 Python环境配置

对于爬虫开发，推荐使用Python 3.7+版本。关键库包括：

bash复制pip install requests beautifulsoup4 lxml pandas

• requests：用于发送HTTP请求
• beautifulsoup4 + lxml：HTML解析组合
• pandas：数据清洗与存储

2.2 开发工具选择

1. VS Code：轻量级编辑器，适合初学者

   • 安装Python扩展
   • 配置代码格式化工具（如autopep8）

2. PyCharm：专业级IDE，提供更完善的调试功能

   • 建议配置虚拟环境
   • 启用HTTP请求调试工具

2.3 基础爬虫模板

以下是一个可用于解决"码上爬"前4题的通用模板：

python复制import requests
from bs4 import BeautifulSoup
import pandas as pd

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

def get_page(url):
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return None

def parse_html(html):
    soup = BeautifulSoup(html, 'lxml')
    # 在这里添加具体的解析逻辑
    return data

def save_data(data, filename):
    df = pd.DataFrame(data)
    df.to_csv(filename, index=False, encoding='utf_8_sig')

if __name__ == '__main__':
    url = "目标URL"
    html = get_page(url)
    if html:
        data = parse_html(html)
        save_data(data, "result.csv")

3. 典型题目解析与实现

3.1 题目1：静态页面基础爬取

常见要求：爬取某个页面的标题、链接等基础信息

实现要点：

1. 使用requests获取页面HTML
2. 通过BeautifulSoup定位目标元素
3. 提取href、text等属性

python复制def parse_html(html):
    soup = BeautifulSoup(html, 'lxml')
    items = soup.select('.item')  # 根据实际页面结构调整选择器
    results = []
    for item in items:
        title = item.select_one('.title').text.strip()
        link = item.select_one('a')['href']
        results.append({'title': title, 'link': link})
    return results

3.2 题目2：分页爬取

常见要求：爬取多页数据并合并存储

实现要点：

1. 分析分页URL规律
2. 构造循环请求
3. 添加适当延迟（如time.sleep(1)）

python复制import time

base_url = "https://example.com/page={}"

for page in range(1, 5):  # 假设爬取前4页
    url = base_url.format(page)
    html = get_page(url)
    if html:
        data = parse_html(html)
        save_data(data, f"page_{page}.csv")
    time.sleep(1)  # 礼貌性延迟

3.3 题目3：数据清洗与存储

常见要求：对爬取的数据进行清洗并保存为指定格式

实现技巧：

1. 使用pandas进行数据清洗
2. 处理缺失值和异常值
3. 多格式存储支持

python复制def clean_data(data):
    df = pd.DataFrame(data)
    # 去除空值
    df = df.dropna()
    # 去重
    df = df.drop_duplicates()
    return df

def save_data(df, filename):
    if filename.endswith('.csv'):
        df.to_csv(filename, index=False, encoding='utf_8_sig')
    elif filename.endswith('.json'):
        df.to_json(filename, orient='records', force_ascii=False)

3.4 题目4：简单反爬应对

常见要求：处理User-Agent检测等基础反爬

解决方案：

1. 轮换User-Agent
2. 添加Referer等必要头信息
3. 使用会话保持

python复制from fake_useragent import UserAgent

ua = UserAgent()
headers = {
    'User-Agent': ua.random,
    'Referer': 'https://www.example.com/'
}

session = requests.Session()
session.headers.update(headers)

4. 爬虫开发中的常见问题与解决方案

4.1 请求被拒绝（错误412）

如示例中bilibili返回的412错误，常见原因包括：

1. 请求头信息不完整
2. 触发网站风控策略
3. IP被暂时限制

解决方案：

1. 完善headers信息（包括Accept、Accept-Language等）
2. 降低请求频率
3. 使用代理IP（需谨慎合法使用）

4.2 数据解析失败

常见原因：

1. 页面结构发生变化
2. 选择器编写错误
3. 动态加载内容未处理

调试技巧：

1. 保存原始HTML用于调试
2. 使用浏览器开发者工具验证选择器
3. 打印中间解析结果

python复制with open('debug.html', 'w', encoding='utf-8') as f:
    f.write(html)
    
# 在解析代码中添加调试打印
print(soup.select('.target-class'))

4.3 编码问题处理

常见问题：

1. 中文乱码
2. 特殊字符处理

解决方案：

1. 明确指定响应编码

python复制response.encoding = 'utf-8'

2. 使用chardet检测编码

python复制import chardet

detected = chardet.detect(response.content)
response.encoding = detected['encoding']

5. 爬虫伦理与最佳实践

5.1 遵守robots.txt协议

在项目根URL后添加/robots.txt查看爬取规则，例如：

code复制User-agent: *
Disallow: /search/
Crawl-delay: 10

5.2 请求频率控制

建议实现以下限制：

1. 单域名请求间隔≥2秒
2. 并发连接数≤3
3. 夜间（如0:00-6:00）减少爬取频率

python复制import time
from random import uniform

time.sleep(uniform(1, 3))  # 随机延迟

5.3 数据使用规范

1. 仅用于个人学习与研究
2. 不进行商业用途
3. 不批量公开原始数据

6. 项目进阶方向

完成基础题目后，可以尝试以下扩展：

1. 使用Scrapy框架重构代码
2. 添加自动化测试（如pytest）
3. 实现分布式爬虫架构
4. 结合数据库存储（MySQL/MongoDB）
5. 添加可视化分析（Matplotlib/Seaborn）

对于希望深入学习的开发者，建议研究：

1. 动态渲染页面处理（Selenium/Playwright）
2. 验证码识别技术
3. 高级反爬对抗策略
4. 爬虫任务调度与管理（Celery/Airflow）

我在实际爬虫开发中发现，良好的代码结构和异常处理往往比复杂的反爬破解技术更重要。建议初学者先从编写健壮的基础爬虫开始，逐步深入理解HTTP协议和网页技术原理，这比一味追求破解各种反爬措施更能获得长期的技术成长。