Python爬虫实战：批量获取影视资源链接-代码聚汇网

Python爬虫实战：批量获取影视资源链接

JuicyMio

1. 项目背景与需求分析

最近在整理个人收藏的影视资源时，发现手动复制粘贴每个剧集的下载链接实在太费时间。作为一个Python开发者，我决定写个爬虫来自动化这个枯燥的过程。这个项目主要解决的是如何通过Python脚本批量获取特定影视网站上的番剧链接。

选择Python来实现这个需求有几个明显优势：

Requests和BeautifulSoup等库对网页解析非常友好
开发效率高，可以快速验证想法
丰富的第三方库生态能应对各种特殊情况
代码可读性强，方便后期维护

提示：在实际开发前，请务必确认目标网站的robots.txt文件和相关服务条款，遵守网络爬虫道德规范。

2. 环境准备与工具选型

2.1 Python环境配置

推荐使用Python 3.8+版本，这个版本在第三方库兼容性和性能之间取得了很好的平衡。我个人的开发环境配置如下：

bash复制# 使用conda创建虚拟环境
conda create -n spider_env python=3.8
conda activate spider_env

# 安装核心依赖
pip install requests beautifulsoup4 lxml

为什么选择这些库？

requests：比urllib更人性化的HTTP库
beautifulsoup4：HTML解析神器
lxml：比Python内置的html.parser更快更准确

2.2 开发工具选择

根据个人偏好可以选择：

PyCharm：专业版对爬虫调试非常友好
VSCode：轻量级，配合Python插件体验不错
Jupyter Notebook：适合快速原型验证

我最终选择了VSCode，因为：

启动速度快
内存占用低
丰富的插件生态（特别是Python和REST Client）

3. 爬虫核心实现

3.1 页面请求与反爬应对

python复制import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Referer': 'https://example.com'
}

def get_page(url):
    try:
        resp = requests.get(url, headers=headers, timeout=10)
        resp.raise_for_status()
        return resp.text
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return None

关键点说明：

必须设置合理的User-Agent
适当添加Referer可以绕过一些基础防护
超时设置避免长时间等待
异常处理要完善

3.2 页面解析与数据提取

python复制def parse_links(html):
    soup = BeautifulSoup(html, 'lxml')
    episodes = []
    
    # 根据实际页面结构调整选择器
    for item in soup.select('.episode-list li a'):
        title = item.get('title', '').strip()
        href = item.get('href', '').strip()
        if href and title:
            episodes.append({
                'title': title,
                'url': href
            })
    
    return episodes

解析技巧：

先用浏览器开发者工具分析页面结构
优先使用CSS选择器而非XPath（更易读）
添加空值判断避免异常
提取后立即做strip()处理

3.3 分页处理与增量爬取

大多数影视网站都会分页显示内容，我们需要处理分页逻辑：

python复制def crawl_all_pages(base_url, max_pages=10):
    all_episodes = []
    
    for page in range(1, max_pages+1):
        url = f"{base_url}?page={page}"
        print(f"正在抓取第 {page} 页...")
        
        html = get_page(url)
        if not html:
            break
            
        episodes = parse_links(html)
        if not episodes:
            break
            
        all_episodes.extend(episodes)
        time.sleep(1)  # 礼貌性延迟
    
    return all_episodes

注意事项：

设置合理的max_pages防止无限循环
遇到空页面及时终止
添加适当的请求间隔（1-3秒）
可以考虑记录最后抓取位置实现增量爬取

4. 数据存储与后续处理

4.1 链接存储方案

根据数据量大小可以选择不同存储方式：

python复制# 小量数据 - JSON文件
import json

def save_to_json(data, filename):
    with open(filename, 'w', encoding='utf-8') as f:
        json.dump(data, f, ensure_ascii=False, indent=2)

# 大量数据 - SQLite数据库
import sqlite3

def init_db(db_file):
    conn = sqlite3.connect(db_file)
    c = conn.cursor()
    c.execute('''CREATE TABLE IF NOT EXISTS episodes
                 (id INTEGER PRIMARY KEY AUTOINCREMENT,
                  title TEXT,
                  url TEXT,
                  created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP)''')
    conn.commit()
    return conn

4.2 生成可执行文件

如果想分享给不会Python的朋友，可以用PyInstaller打包：

bash复制pip install pyinstaller
pyinstaller --onefile --icon=app.ico spider.py

打包注意事项：

添加--onefile生成单个exe
可以用--icon指定程序图标
复杂的项目可能需要编写.spec文件
杀毒软件可能会误报，需要添加信任

5. 常见问题与优化建议

5.1 反爬虫策略应对

现代网站常用的反爬手段和应对方法：

User-Agent检测：
- 解决方案：轮换多个常见浏览器的User-Agent
- 示例UA列表可以放在配置文件中
IP频率限制：
- 解决方案：使用代理IP池（注意合法合规）
- 免费代理可用但稳定性差
- 商业代理服务更可靠但需要成本

JavaScript渲染：

解决方案：使用selenium或playwright

示例代码：

python复制from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get(url)
html = driver.page_source

5.2 性能优化技巧

并发请求：
- 使用concurrent.futures实现简单并发
- 注意控制并发数量（建议5-10个线程）
缓存已抓取页面：
- 对不变的内容建立本地缓存
- 可以用requests-cache库轻松实现
增量抓取：
- 记录最后抓取时间/位置
- 下次只抓取新增内容

5.3 代码混淆与保护

如果担心代码被轻易反编译，可以考虑：

使用pyarmor进行代码混淆
将核心逻辑封装成C扩展
使用商业加密方案如VMProtect

但要注意：

没有100%安全的方案
过度保护可能影响性能
开源方案有时反而更安全

6. 完整示例代码

以下是整合了上述所有功能的完整示例：

python复制import requests
from bs4 import BeautifulSoup
import time
import json
from typing import List, Dict

class FanJuSpider:
    def __init__(self):
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
            'Referer': 'https://example.com'
        }
        self.timeout = 10
        self.delay = 1
        
    def get_page(self, url: str) -> str:
        try:
            resp = requests.get(url, headers=self.headers, timeout=self.timeout)
            resp.raise_for_status()
            return resp.text
        except requests.exceptions.RequestException as e:
            print(f"请求失败: {e}")
            return None
    
    def parse_links(self, html: str) -> List[Dict]:
        soup = BeautifulSoup(html, 'lxml')
        episodes = []
        
        for item in soup.select('.episode-list li a'):
            title = item.get('title', '').strip()
            href = item.get('href', '').strip()
            if href and title:
                episodes.append({
                    'title': title,
                    'url': href
                })
        
        return episodes
    
    def crawl(self, base_url: str, max_pages: int = 10) -> List[Dict]:
        all_episodes = []
        
        for page in range(1, max_pages + 1):
            url = f"{base_url}?page={page}"
            print(f"正在抓取第 {page} 页...")
            
            html = self.get_page(url)
            if not html:
                break
                
            episodes = self.parse_links(html)
            if not episodes:
                break
                
            all_episodes.extend(episodes)
            time.sleep(self.delay)
        
        return all_episodes
    
    def save_results(self, data: List[Dict], filename: str):
        with open(filename, 'w', encoding='utf-8') as f:
            json.dump(data, f, ensure_ascii=False, indent=2)

if __name__ == '__main__':
    spider = FanJuSpider()
    results = spider.crawl('https://example.com/fanju')
    spider.save_results(results, 'fanju_links.json')
    print(f"共抓取到 {len(results)} 条剧集链接")

这个爬虫在实际使用中有几个小技巧：

将核心功能封装成类，方便复用和扩展
添加了类型注解，提高代码可读性
所有配置参数都可以通过实例属性调整
主程序入口简洁明了

7. 扩展思路与进阶方向

如果基础功能已经实现，可以考虑以下扩展：

自动下载功能：
- 集成aria2c或wget实现自动下载
- 添加断点续传和速度限制功能
可视化界面：
- 用PyQt或Tkinter开发简单GUI
- 或者构建Web界面使用Flask/Django
定时任务：
- 用APScheduler实现定时抓取
- 配合邮件/Telegram通知新剧更新
分布式爬虫：
- 使用Scrapy-Redis搭建分布式系统
- 配合RabbitMQ实现任务队列
数据分析：
- 统计剧集更新频率
- 分析热门剧集类型趋势

在开发这类工具时，最重要的是保持代码的灵活性和可维护性。我通常会采用这些实践：

将配置参数外置到config文件
完善的日志记录
单元测试覆盖核心功能
使用类型注解提高代码质量