Python爬虫实战：定时抓取影视网站更新链接

4.2 数据去重处理

为了避免重复记录，可以：

1. 每次抓取前读取已有CSV文件
2. 使用MD5对URL进行哈希存储
3. 只保存新增的链接

改进后的存储函数示例：

python复制def save_to_csv(data):
    existing = set()
    try:
        with open('movies.csv', 'r', encoding='utf-8') as f:
            reader = csv.DictReader(f)
            existing = {row['url'] for row in reader}
    except FileNotFoundError:
        pass
    
    new_data = [item for item in data if item['url'] not in existing]
    
    with open('movies.csv', 'a', newline='', encoding='utf-8') as f:
        writer = csv.DictWriter(f, fieldnames=['title', 'url', 'date'])
        if f.tell() == 0:
            writer.writeheader()
        
        for item in new_data:
            item['date'] = datetime.now().strftime('%Y-%m-%d')
            writer.writerow(item)

5. 部署与运行方案

5.1 本地运行方案

最简单的部署方式是使用任务计划程序：

1. 将脚本保存为daily_spider.py
2. 设置系统定时任务(Windows任务计划或Linux crontab)
3. 配置Python环境路径

Linux crontab示例：

bash复制0 10 * * * /usr/bin/python3 /path/to/daily_spider.py

5.2 服务器部署建议

如果需要长期稳定运行，建议：

1. 使用supervisor管理进程
2. 添加日志记录功能
3. 设置异常报警机制

日志记录改进示例：

python复制import logging

logging.basicConfig(
    filename='spider.log',
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s'
)

def daily_task():
    try:
        logging.info("任务开始执行")
        links = get_movie_links()
        if links:
            save_to_csv(links)
            logging.info(f"成功保存{len(links)}条数据")
        else:
            logging.warning("未获取到有效数据")
    except Exception as e:
        logging.error(f"任务执行失败: {e}", exc_info=True)

6. 扩展思路与进阶方案

6.1 多页面抓取扩展

如果需要抓取分页内容，可以：

1. 分析网站分页规则
2. 使用循环处理多页
3. 控制请求间隔避免被封

示例代码：

python复制def get_all_pages(base_url, pages=5):
    all_links = []
    for page in range(1, pages+1):
        url = f"{base_url}?page={page}"
        print(f"正在抓取第{page}页")
        links = get_movie_links(url)
        all_links.extend(links)
        time.sleep(2)  # 礼貌性延迟
    return all_links

6.2 数据可视化分析

收集的数据可以做进一步分析：

1. 统计每日新增数量
2. 分析热门类型分布
3. 追踪资源更新频率

使用pandas进行简单分析：

python复制import pandas as pd

def analyze_data():
    df = pd.read_csv('movies.csv')
    
    # 每日新增统计
    daily_count = df.groupby('date').size()
    print(daily_count)
    
    # 标题关键词分析
    words = df['title'].str.split().explode().value_counts()
    print(words.head(10))

7. 注意事项与经验分享

7.1 爬虫道德规范

虽然目标网站没有反爬措施，但仍需注意：

1. 控制请求频率，避免影响网站正常运行
2. 只抓取公开可用数据
3. 考虑添加robots.txt检查

7.2 实际踩坑经验

1. 网站改版是常态，选择器要尽量宽松
2. 定时任务要注意时区设置
3. CSV文件要注意编码问题(建议统一使用utf-8)
4. 长期运行脚本需要完善的日志和监控

7.3 性能优化建议

当数据量增大时可以考虑：

1. 改用SQLite替代CSV
2. 使用多线程处理多个页面
3. 添加缓存机制避免重复请求

SQLite存储示例：

python复制import sqlite3

def init_db():
    conn = sqlite3.connect('movies.db')
    c = conn.cursor()
    c.execute('''CREATE TABLE IF NOT EXISTS movies
                 (title text, url text UNIQUE, date text)''')
    conn.commit()
    conn.close()

def save_to_db(data):
    conn = sqlite3.connect('movies.db')
    c = conn.cursor()
    
    for item in data:
        try:
            c.execute("INSERT INTO movies VALUES (?,?,?)",
                     (item['title'], item['url'], datetime.now().strftime('%Y-%m-%d')))
        except sqlite3.IntegrityError:
            pass  # 忽略重复项
    
    conn.commit()
    conn.close()

这个项目虽然技术上不复杂，但完整实现了一个可用的爬虫系统。在实际使用中，根据需求可以继续扩展功能，比如添加自动邮件通知、开发简单的Web界面等。最重要的是理解每个环节的实现原理，这样才能灵活应对各种变化。