Python爬虫实战：出版社新书数据采集与处理

1. 项目概述：出版社新书数据采集实战

作为一名常年与数据打交道的Python开发者，我发现出版社官网的新书信息是图书行业从业者获取最新出版动态的重要渠道。这个项目将带你从零开始构建一个完整的爬虫系统，专门用于采集出版社官网上的新书信息（包括书名、作者、ISBN、定价和上市时间等关键字段），并对数据进行清洗和存储，最终形成可供书店选品、图书馆采购或个人藏书参考的结构化数据。

提示：在实际操作前，请务必确认目标网站的robots.txt文件是否允许爬取相关页面，并控制请求频率避免对服务器造成过大压力。

2. 核心需求与技术选型

2.1 目标数据字段清单

我们需要采集的图书信息包括以下核心字段：

• 书名（必选）
• 作者（必选，可能多位）
• ISBN（必选，国际标准书号）
• 定价（必选，需统一货币单位）
• 上市时间（必选，需统一日期格式）
• 出版社（可选）
• 分类/标签（可选）
• 图书简介（可选）

2.2 技术方案设计

基于出版社官网通常采用静态页面的特点，我们选择以下技术栈：

• 请求库：Requests（简单稳定）或aiohttp（异步高性能）
• 解析库：BeautifulSoup（易上手）或lxml（高性能）
• 数据存储：SQLite（轻量级）或MySQL（生产环境）
• 辅助工具：Fake-useragent（模拟浏览器）、tqdm（进度条）

3. 环境准备与项目结构

3.1 Python环境配置

建议使用Python 3.8+版本，并创建虚拟环境：

bash复制python -m venv book_spider
source book_spider/bin/activate  # Linux/Mac
book_spider\Scripts\activate  # Windows

3.2 依赖安装

bash复制pip install requests beautifulsoup4 fake-useragent tqdm sqlalchemy

3.3 项目目录结构

code复制book_spider/
├── config.py       # 配置文件
├── fetcher.py      # 请求模块
├── parser.py       # 解析模块
├── cleaner.py      # 数据清洗模块
├── storage.py      # 存储模块
├── main.py         # 主程序入口
└── data/           # 数据存储目录

4. 核心实现：请求与解析

4.1 请求层实现（fetcher.py）

python复制import requests
from fake_useragent import UserAgent
from time import sleep

class BookFetcher:
    def __init__(self, base_url):
        self.base_url = base_url
        self.ua = UserAgent()
        self.session = requests.Session()
        
    def fetch_page(self, url, retry=3):
        headers = {'User-Agent': self.ua.random}
        for _ in range(retry):
            try:
                resp = self.session.get(url, headers=headers, timeout=10)
                resp.raise_for_status()
                return resp.text
            except Exception as e:
                print(f"请求失败: {e}, 剩余重试次数: {retry-1}")
                sleep(2)
        return None

4.2 解析层实现（parser.py）

python复制from bs4 import BeautifulSoup
import re

class BookParser:
    @staticmethod
    def parse_book_list(html):
        """解析图书列表页"""
        soup = BeautifulSoup(html, 'html.parser')
        books = []
        
        # 假设每本书信息在class="book-item"的div中
        for item in soup.select('.book-item'):
            book = {
                'title': item.select_one('.title').text.strip(),
                'author': item.select_one('.author').text.strip(),
                'price': item.select_one('.price').text.strip(),
                'pub_date': item.select_one('.date').text.strip(),
                'detail_url': item.select_one('a')['href']
            }
            books.append(book)
        return books
    
    @staticmethod
    def parse_book_detail(html):
        """解析图书详情页获取ISBN等更多信息"""
        soup = BeautifulSoup(html, 'html.parser')
        isbn = re.search(r'ISBN:\s*(\d+)', soup.text)
        return {
            'isbn': isbn.group(1) if isbn else None,
            'description': soup.select_one('.desc').text.strip()
        }

5. 数据清洗与存储

5.1 数据清洗（cleaner.py）

python复制import re
from datetime import datetime

class DataCleaner:
    @staticmethod
    def clean_price(price_str):
        """清洗价格数据，统一转换为数字"""
        match = re.search(r'[\d\.]+', price_str)
        return float(match.group()) if match else 0.0
    
    @staticmethod
    def clean_date(date_str):
        """清洗日期数据，统一格式"""
        formats = ['%Y-%m-%d', '%Y年%m月%d日', '%Y/%m/%d']
        for fmt in formats:
            try:
                return datetime.strptime(date_str, fmt).date()
            except:
                continue
        return None
    
    @staticmethod
    def clean_isbn(isbn_str):
        """验证ISBN格式"""
        return isbn_str if len(isbn_str) in (10, 13) else None

5.2 数据存储（storage.py）

python复制from sqlalchemy import create_engine, Column, String, Float, Date
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

Base = declarative_base()

class Book(Base):
    __tablename__ = 'books'
    
    isbn = Column(String(13), primary_key=True)
    title = Column(String(200), nullable=False)
    author = Column(String(100))
    price = Column(Float)
    pub_date = Column(Date)
    publisher = Column(String(100))
    
class BookStorage:
    def __init__(self, db_url='sqlite:///data/books.db'):
        self.engine = create_engine(db_url)
        Base.metadata.create_all(self.engine)
        self.Session = sessionmaker(bind=self.engine)
        
    def save_book(self, book_data):
        session = self.Session()
        book = Book(
            isbn=book_data['isbn'],
            title=book_data['title'],
            author=book_data['author'],
            price=book_data['price'],
            pub_date=book_data['pub_date'],
            publisher=book_data.get('publisher')
        )
        try:
            session.merge(book)
            session.commit()
        except Exception as e:
            session.rollback()
            raise e
        finally:
            session.close()

6. 主程序整合与运行

6.1 主程序（main.py）

python复制from fetcher import BookFetcher
from parser import BookParser
from cleaner import DataCleaner
from storage import BookStorage
from tqdm import tqdm
import time

def main():
    base_url = "https://example-publisher.com/new-books"
    fetcher = BookFetcher(base_url)
    parser = BookParser()
    cleaner = DataCleaner()
    storage = BookStorage()
    
    # 获取列表页
    html = fetcher.fetch_page(base_url)
    if not html:
        print("获取列表页失败")
        return
    
    books = parser.parse_book_list(html)
    print(f"发现{len(books)}本新书")
    
    for book in tqdm(books, desc="处理图书"):
        # 获取详情页
        detail_html = fetcher.fetch_page(book['detail_url'])
        if not detail_html:
            continue
            
        # 解析详情页
        detail = parser.parse_book_detail(detail_html)
        book.update(detail)
        
        # 数据清洗
        book['price'] = cleaner.clean_price(book['price'])
        book['pub_date'] = cleaner.clean_date(book['pub_date'])
        book['isbn'] = cleaner.clean_isbn(book['isbn'])
        
        # 存储数据
        if book['isbn']:  # ISBN为必填项
            storage.save_book(book)
            time.sleep(1)  # 礼貌性延迟
    
    print("数据采集完成")

if __name__ == '__main__':
    main()

7. 常见问题与解决方案

7.1 ISBN获取为空

问题现象：解析详情页时无法获取ISBN号
排查步骤：

1. 检查详情页HTML结构是否变化
2. 确认ISBN在页面中的显示位置
3. 尝试不同的正则表达式模式

解决方案：

python复制# 改进后的ISBN提取方法
def extract_isbn(text):
    patterns = [
        r'ISBN[:：]\s*([\d\-X]+)',  # 中文冒号情况
        r'国际标准书号[:：]\s*([\d\-X]+)',
        r'ISBN\s*<\/strong>\s*[:：]?\s*([\d\-X]+)'  # 带HTML标签情况
    ]
    for pattern in patterns:
        match = re.search(pattern, text)
        if match:
            return match.group(1).replace('-', '')
    return None

7.2 价格格式不一致

问题现象：价格字段包含货币符号、文字说明等
解决方案：

python复制def clean_price(price_str):
    """增强版价格清洗"""
    # 处理常见货币符号
    price_str = price_str.replace('￥', '').replace('$', '').replace('€', '')
    # 处理中文描述
    price_str = price_str.replace('定价:', '').replace('人民币', '')
    # 提取数字部分
    match = re.search(r'[\d\.]+', price_str)
    return float(match.group()) if match else 0.0

7.3 翻页URL处理

问题现象：列表页翻页时URL没有变化（可能是AJAX加载）
解决方案：

1. 使用浏览器开发者工具分析网络请求
2. 找到实际的API接口
3. 可能需要添加请求头参数

python复制def get_page_urls(base_url, total_pages):
    """生成分页URL"""
    return [f"{base_url}?page={i}" for i in range(1, total_pages+1)]

8. 进阶优化方案

8.1 异步请求加速

使用aiohttp替代requests实现异步请求：

python复制import aiohttp
import asyncio

async def fetch_page_async(url, session):
    async with session.get(url) as response:
        return await response.text()

async def process_books_async(book_urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch_page_async(url, session) for url in book_urls]
        return await asyncio.gather(*tasks)

8.2 反反爬策略

1. 随机User-Agent
2. 请求延迟随机化
3. 代理IP池
4. 请求头完整性

python复制from random import uniform

class AdvancedFetcher(BookFetcher):
    def fetch_page(self, url):
        headers = {
            'User-Agent': self.ua.random,
            'Accept': 'text/html,application/xhtml+xml',
            'Accept-Language': 'en-US,en;q=0.9',
            'Referer': self.base_url
        }
        sleep(uniform(1, 3))  # 随机延迟
        return super().fetch_page(url, headers=headers)

8.3 数据导出功能

增加CSV和Excel导出支持：

python复制import csv
import pandas as pd

class DataExporter:
    @staticmethod
    def to_csv(books, filename):
        with open(filename, 'w', newline='', encoding='utf-8') as f:
            writer = csv.DictWriter(f, fieldnames=books[0].keys())
            writer.writeheader()
            writer.writerows(books)
    
    @staticmethod
    def to_excel(books, filename):
        df = pd.DataFrame(books)
        df.to_excel(filename, index=False)

9. 项目部署与定时运行

9.1 使用计划任务

Linux系统可以使用crontab设置定时任务：

bash复制0 8 * * * /path/to/python /path/to/main.py >> /path/to/log.log 2>&1

9.2 日志记录

添加日志功能记录运行情况：

python复制import logging

logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler('book_spider.log'),
        logging.StreamHandler()
    ]
)
logger = logging.getLogger(__name__)

10. 实际应用建议

1. 数据更新策略：建议每周运行一次，获取最新上架图书
2. 多出版社采集：可以扩展支持多个出版社官网的采集
3. 数据可视化：使用Pandas和Matplotlib分析图书价格分布、作者产出等
4. 价格监控：对重点图书进行价格变动监控

注意：在实际应用中，请确保遵守各出版社官网的使用条款，控制采集频率，避免对服务器造成过大负担。建议在非高峰时段运行爬虫，并设置合理的请求间隔。