Python爬虫入门：用requests+BeautifulSoup抓取糗事百科

1. 项目概述

作为一个Python初学者，想要快速上手爬虫开发，糗事百科确实是个不错的练手对象。记得我刚开始学爬虫那会儿，也是从这个网站入门的。它的页面结构清晰，反爬机制相对宽松，特别适合新手理解爬虫的基本原理和工作流程。

这个项目我们会用最基础的requests+BeautifulSoup组合来实现，这也是Python爬虫最经典的入门工具链。相比Scrapy这样的框架，这种轻量级方案更利于初学者理解爬虫的核心概念。我会带你从零开始，一步步完成一个能实际运行的段子爬虫，并分享一些我当初踩过的坑和实用技巧。

2. 环境准备与工具选型

2.1 Python环境配置

建议使用Python 3.6+版本，这是目前最稳定的选择。我个人习惯用virtualenv创建独立环境：

bash复制python -m venv qiushi_spider
source qiushi_spider/bin/activate  # Linux/Mac
# 或者 qiushi_spider\Scripts\activate  # Windows

注意：Windows用户如果遇到执行策略限制，需要先以管理员身份运行PowerShell，执行Set-ExecutionPolicy RemoteSigned

2.2 必备库安装

我们需要三个核心库：

bash复制pip install requests beautifulsoup4 lxml

• requests：比urllib更人性化的HTTP库
• beautifulsoup4：HTML解析神器
• lxml：BeautifulSoup的解析引擎（比Python内置的html.parser更快更准确）

小技巧：国内用户如果安装慢，可以加上清华源：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名

2.3 开发工具选择

新手推荐使用VS Code或PyCharm Community版。我个人更倾向VS Code，因为：

• 轻量级启动快
• 丰富的Python插件（如Pylance、Python Docstring Generator）
• 内置终端方便调试

3. 爬虫核心原理剖析

3.1 HTTP请求与响应

爬虫本质上就是模拟浏览器发送HTTP请求，然后解析服务器返回的响应。糗事百科的热门页面是典型的GET请求：

code复制GET /hot/ HTTP/1.1
Host: www.qiushibaike.com
User-Agent: Mozilla/5.0...

服务器会返回HTML源码，我们的任务就是从这一堆标签中提取出需要的段子信息。

3.2 HTML解析原理

BeautifulSoup的工作原理是将HTML文档转换为树形结构（DOM树），然后通过各种查找方法定位元素。以糗事百科为例：

html复制<div class="article">
  <h2>段子标题</h2>
  <div cl