Python爬虫入门：从零开始掌握数据抓取技术-代码聚汇网

Python爬虫入门：从零开始掌握数据抓取技术

淡于水·2026-08-24·阅读 22 GEO检测（免费）

Python爬虫数据抓取requests

|难度：普通|阅读约 14 分钟

1. 网络爬虫入门：从零开始掌握数据抓取

刚接触爬虫时，我也曾被各种专业术语和复杂代码吓到。但实际用起来才发现，只要掌握几个核心概念，任何人都能快速上手数据抓取。网络爬虫本质上就是模拟人类浏览网页的行为，自动获取并提取我们需要的信息。无论是追踪商品价格、收集行业数据，还是做市场分析，爬虫都能帮我们节省大量重复劳动的时间。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 爬虫基础概念解析

2.1 爬虫工作原理

爬虫工作的基本原理其实很简单：发送请求→获取响应→解析内容→存储数据。就像我们平时用浏览器访问网页一样，只不过这个过程由程序自动完成。当你在浏览器输入网址时，浏览器会向服务器发送请求，服务器返回HTML代码，浏览器再渲染成我们看到的页面。爬虫做的事情类似，但它不渲染页面，而是直接处理原始代码。

注意：在编写爬虫前，务必了解目标网站的robots.txt文件，遵守网站的爬取规则。这个文件通常放在网站根目录下（如https://example.com/robots.txt），会说明哪些页面允许爬取，哪些禁止。

2.2 核心工具与技术栈

Python是目前最流行的爬虫开发语言，主要得益于它丰富的第三方库。最基础的爬虫只需要用到requests和BeautifulSoup两个库：

python复制import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

对于更复杂的动态网页，可能需要用到Selenium或Playwright这类能模拟浏览器操作的库。存储数据则常用csv、json格式，或者MySQL、MongoDB等数据库。

3. 第一个爬虫实战：天气预报数据抓取

3.1 确定目标与分析页面

假设我们要抓取某城市的天气预报数据。首先用浏览器打开天气网站，按F12打开开发者工具，查看网络请求。找到返回天气数据的请求，观察它的URL结构和参数。很多网站会提供API接口，返回json格式的数据，这比解析HTML更方便。

3.2 编写基础爬虫代码

python复制import requests
import json

def get_weather(city):
    url = f'https://weather-api.example.com/data?city={city}'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
    }
    
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()  # 检查请求是否成功
        data = json.loads(response.text)
        
        print(f"{city}天气：")
        print(f"温度：{data['temp']}℃")
        print(f"天气状况：{data['condition']}")
        print(f"更新时间：{data['update_time']}")
        
    except requests.exceptions.RequestException as e:
        print(f"获取天气数据失败：{e}")

get_weather("北京")

3.3 处理反爬机制

很多网站会设置反爬措施，常见的有：

User-Agent检查：通过设置合理的headers模拟浏览器
频率限制：控制请求速度，添加随机延迟
验证码：遇到验证码需要考虑使用打码平台或更换IP
登录验证：需要模拟登录获取cookie

python复制import time
import random

# 添加随机延迟
delay = random.uniform(1, 3)
time.sleep(delay)

4. 爬虫进阶技巧与最佳实践

4.1 高效数据解析方法

对于HTML页面，XPath和CSS选择器通常比传统的BeautifulSoup方法更高效：

python复制from lxml import etree

html = '''
<div class="weather-info">
    <span class="temp">25℃</span>
    <p class="condition">晴天</p>
</div>
'''

tree = etree.HTML(html)
temperature = tree.xpath('//span[@class="temp"]/text()')[0]
condition = tree.xpath('//p[@class="condition"]/text()')[0]

4.2 数据存储方案

根据数据量和使用场景选择合适的存储方式：

存储方式	适用场景	优点	缺点
CSV文件	小规模数据，需要Excel查看	简单易用，无需数据库	不适合复杂查询
JSON文件	结构化数据，需要保留层次	保持数据结构，易读	文件可能较大
SQLite	中小规模，需要简单查询	轻量级，单文件数据库	并发性能有限
MySQL	大规模数据，高频查询	性能好，功能完善	需要单独部署
MongoDB	非结构化或变化频繁的数据	灵活，扩展性好	占用空间较大

4.3 爬虫项目管理建议

使用面向对象的方式组织代码，提高可维护性
添加完善的日志记录，方便排查问题
考虑使用Scrapy框架管理大型爬虫项目
设置合理的请求间隔，避免给目标网站造成负担
定期检查爬虫是否正常工作，网站结构可能变化

python复制import logging

logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s',
    filename='spider.log'
)

class WeatherSpider:
    def __init__(self, city):
        self.city = city
        self.session = requests.Session()
        
    def fetch_data(self):
        try:
            # 爬取逻辑...
            logging.info(f"成功获取{self.city}天气数据")
        except Exception as e:
            logging.error(f"获取{self.city}天气数据失败：{str(e)}")

5. 常见问题与解决方案

5.1 爬虫返回安全验证页面

当遇到百度安全验证或其他验证页面时，通常是因为：

请求头不完整，缺少必要的headers
IP被识别为爬虫，需要更换IP或使用代理
请求频率过高，需要降低速度

解决方案：

完善headers，包括User-Agent、Referer等
使用requests.Session保持会话
添加随机延迟和代理IP

python复制headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Referer': 'https://example.com',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Accept-Encoding': 'gzip, deflate, br',
    'Connection': 'keep-alive'
}

5.2 动态加载内容处理

现代网站越来越多地使用JavaScript动态加载内容。对于这种情况：

首先检查是否有隐藏的API接口
如果必须渲染JS，考虑使用Selenium或Playwright
对于单页应用(SPA)，可能需要分析XHR请求

python复制from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.headless = True  # 无头模式
driver = webdriver.Chrome(options=options)

driver.get("https://example.com")
dynamic_content = driver.find_element_by_class_name("dynamic").text
driver.quit()

5.3 数据清洗与去重

爬取的数据常常需要清洗：

去除HTML标签和空白字符
统一日期、数字等格式
处理编码问题（特别是中文）
使用集合或数据库主键去重

python复制import re

def clean_text(text):
    text = re.sub(r'<[^>]+>', '', text)  # 去除HTML标签
    text = re.sub(r'\s+', ' ', text)  # 合并多个空格
    return text.strip()

# 使用集合自动去重
unique_items = set()
unique_items.add("data1")
unique_items.add("data2")  # 自动处理重复

6. 爬虫的法律与道德考量

虽然技术本身是中立的，但使用爬虫时需要注意：

尊重网站的robots.txt协议
不要爬取个人隐私数据
控制请求频率，避免影响网站正常运行
查看网站的服务条款，有些明确禁止爬取
对于商业用途，考虑获取官方API授权

在实际项目中，我通常会：

设置3秒以上的请求间隔
只爬取公开可访问的数据
不绕过明显的反爬措施
在数据使用中注明来源

爬虫是一项强大的工具，合理使用可以帮助我们获取有价值的信息，提高工作效率。但切记要遵守法律法规和道德规范，做一个负责任的爬虫开发者。