Python爬取B站热榜与实时在线人数数据分析实战-代码聚汇网

Python爬取B站热榜与实时在线人数数据分析实战

狐狸晨曦·2026-08-15·阅读 22 GEO检测（免费）

Python爬虫B站数据分析requests

|难度：普通|阅读约 23 分钟

1. 项目背景与核心价值

在当今这个数据驱动的时代，掌握内容平台的实时动态已经成为许多从业者的刚需。作为一名长期关注视频平台数据分析的开发者，我发现B站的热榜和实时在线人数数据蕴含着巨大的分析价值——无论是内容创作者寻找选题方向，运营人员制定推广策略，还是商业分析师研究用户行为模式，这些数据都能提供关键参考。

Python作为数据分析领域的瑞士军刀，其丰富的生态库和简洁的语法，使得获取和处理这些数据变得异常高效。通过requests、BeautifulSoup等库的组合使用，我们可以在短短几十行代码内完成从数据采集到初步分析的全流程。更重要的是，这种技术方案完全基于公开数据接口，无需破解或绕过任何平台限制，完全符合数据使用的合规要求。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与工具选型

2.1 Python基础环境配置

建议使用Python 3.8及以上版本，这个区间的版本在第三方库兼容性和性能表现上达到了最佳平衡。对于包管理，我强烈推荐使用conda而非pip，因为它在处理科学计算相关的依赖时更加可靠：

bash复制conda create -n bilibili_analysis python=3.8
conda activate bilibili_analysis

2.2 核心依赖库详解

requests：这是我们的HTTP请求主力库。选择它而不是urllib的原因是它的API设计更加人性化，且自动处理了连接池和重试逻辑。安装时建议锁定2.28.x版本，这个版本在稳定性方面表现突出：

bash复制conda install requests=2.28.1

BeautifulSoup4：HTML解析的首选工具。配合lxml解析器使用时，其性能比内置的html.parser快3-5倍：

bash复制conda install beautifulsoup4 lxml

pandas：数据分析的核心框架。这里有个重要细节——安装时一定要包含openpyxl依赖，否则后续导出Excel时会报错：

bash复制conda install pandas openpyxl

注意：如果环境中已安装这些库但版本不匹配，建议先执行conda remove --force彻底卸载后再重新安装，避免隐式依赖冲突。

3. 热榜数据获取实战

3.1 接口分析与逆向工程

通过浏览器开发者工具分析，B站热榜数据的官方接口为：

code复制https://api.bilibili.com/x/web-interface/ranking/v2?rid=0&type=all

这个GET接口有几个关键参数需要注意：

rid：分区ID，0表示全站
type：时间维度，all表示综合
ps：每页条目数（默认为100）

3.2 请求头伪装策略

B站接口对未经验证的请求会返回412错误。经过实测，以下请求头组合可以稳定获取数据：

python复制headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Origin': 'https://www.bilibili.com',
    'Referer': 'https://www.bilibili.com/ranking/all/',
    'Accept-Encoding': 'gzip, deflate'
}

3.3 数据解析与清洗

获取到的JSON数据中，我们需要特别关注以下几个字段：

python复制def parse_ranking_data(json_data):
    items = json_data['data']['list']
    processed = []
    for item in items:
        processed.append({
            'aid': item['aid'],  # 视频av号
            'bvid': item['bvid'],  # 新版视频ID
            'title': item['title'].strip(),  # 去除首尾空格
            'play': int(item['stat']['view']),  # 播放量
            'danmaku': int(item['stat']['danmaku']),  # 弹幕数
            'score': int(item['score']),  # 热度评分
            'ctime': datetime.fromtimestamp(item['ctime'])  # 创建时间
        })
    return pd.DataFrame(processed)

关键细节：B站的score热度算法综合了播放、弹幕、收藏等多维度数据，是内容质量的重要指标。

4. 实时在线人数抓取技巧

4.1 网页版数据定位

通过分析B站视频页的HTML结构，发现实时在线人数藏在以下DOM位置：

html复制<div class="video-online-number">12.3万</div>

对应的XPath选择器为：

code复制//div[contains(@class,'video-online-number')]/text()

4.2 动态渲染应对方案

对于SPA页面，直接请求HTML可能无法获取动态渲染的数据。这时我们可以：

使用requests-html库（内置Chromium）
或者解析接口数据（推荐）

实测发现这个数据来自另一个接口：

code复制https://api.bilibili.com/x/player/online/total?bvid=BV1xx411x7xx

4.3 数据采样策略

由于在线人数波动较大，建议采用定时采样的方式：

python复制def monitor_online(bvid, duration=3600, interval=60):
    points = []
    for _ in range(duration//interval):
        data = get_online_data(bvid)
        points.append({
            'time': datetime.now(),
            'count': data['total']
        })
        time.sleep(interval)
    return pd.DataFrame(points)

5. 数据分析与可视化

5.1 热榜内容分析

使用pandas进行快速统计分析：

python复制def analyze_ranking(df):
    # 播放量分布
    play_stats = df['play'].describe()
    
    # 标题词云分析
    from wordcloud import WordCloud
    text = ' '.join(df['title'])
    wordcloud = WordCloud(font_path='msyh.ttc').generate(text)
    
    # 分区热度对比
    zone_hot = df.groupby('tname')['score'].mean().sort_values()
    
    return {
        'play_stats': play_stats,
        'wordcloud': wordcloud,
        'zone_hot': zone_hot
    }

5.2 在线人数时序分析

对于采样得到的在线人数数据，我们可以：

python复制def analyze_online(df):
    # 移动平均平滑
    df['smooth'] = df['count'].rolling(5).mean()
    
    # 时段特征提取
    df['hour'] = df['time'].dt.hour
    hourly = df.groupby('hour')['count'].mean()
    
    # 异常点检测
    from scipy import stats
    df['zscore'] = stats.zscore(df['count'])
    outliers = df[df['zscore'].abs()>3]
    
    return {
        'hourly': hourly,
        'outliers': outliers
    }

6. 完整案例实现

6.1 热榜采集脚本

python复制import requests
import pandas as pd
from datetime import datetime

def get_bilibili_ranking():
    url = "https://api.bilibili.com/x/web-interface/ranking/v2"
    params = {'rid': 0, 'type': 'all'}
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        'Referer': 'https://www.bilibili.com/ranking/all/'
    }
    
    resp = requests.get(url, params=params, headers=headers)
    data = resp.json()
    
    records = []
    for item in data['data']['list']:
        records.append({
            'rank': item['rank'],
            'title': item['title'],
            'bvid': item['bvid'],
            'score': item['score'],
            'view': item['stat']['view'],
            'danmaku': item['stat']['danmaku'],
            'reply': item['stat']['reply'],
            'favorite': item['stat']['favorite'],
            'coin': item['stat']['coin'],
            'share': item['stat']['share'],
            'up': item['owner']['name'],
            'ctime': datetime.fromtimestamp(item['ctime']).strftime('%Y-%m-%d %H:%M')
        })
    
    df = pd.DataFrame(records)
    df.to_excel('bilibili_ranking.xlsx', index=False)
    return df

6.2 在线人数监控脚本

python复制import time
import pandas as pd
from datetime import datetime

def monitor_online(bvid, duration=3600, interval=60):
    base_url = "https://api.bilibili.com/x/player/online/total"
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        'Referer': f'https://www.bilibili.com/video/{bvid}'
    }
    
    records = []
    end_time = time.time() + duration
    
    while time.time() < end_time:
        resp = requests.get(base_url, params={'bvid': bvid}, headers=headers)
        data = resp.json()
        
        if data['code'] == 0:
            records.append({
                'timestamp': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
                'online': data['data']['total']
            })
        
        time.sleep(interval)
    
    df = pd.DataFrame(records)
    df.to_csv(f'online_{bvid}.csv', index=False)
    return df

7. 实战经验与避坑指南

7.1 请求频率控制

B站接口虽然没有严格的频率限制，但根据实测经验：

单接口请求间隔建议≥2秒
突发大量请求可能导致临时封禁
最佳实践是采用指数退避重试策略：

python复制def safe_request(url, max_retry=3):
    for i in range(max_retry):
        try:
            resp = requests.get(url, timeout=10)
            if resp.status_code == 200:
                return resp
        except Exception:
            pass
        time.sleep(2 ** i)
    raise Exception("Max retry exceeded")

7.2 数据存储优化

当需要长期采集数据时，建议：

使用SQLite替代CSV/Excel
建立复合索引（如视频ID+时间戳）
定期归档历史数据

示例SQLite操作：

python复制import sqlite3

def init_db():
    conn = sqlite3.connect('bilibili.db')
    c = conn.cursor()
    c.execute('''CREATE TABLE IF NOT EXISTS ranking
                 (rank INT, title TEXT, bvid TEXT PRIMARY KEY, 
                  score INT, view INT, ctime TEXT)''')
    conn.commit()
    return conn

7.3 反爬虫应对策略

近期B站加强了反爬措施，需要注意：

定期更换User-Agent
使用代理IP池（建议住宅代理）
模拟鼠标移动等行为（可通过selenium实现）

一个简单的代理轮换实现：

python复制proxies = [
    {'http': 'http://proxy1:port'},
    {'http': 'http://proxy2:port'}
]

def rotate_request(url):
    for proxy in proxies:
        try:
            return requests.get(url, proxies=proxy, timeout=5)
        except:
            continue
    raise Exception("All proxies failed")

8. 数据分析进阶思路

8.1 热度预测模型

基于历史数据可以构建简单的预测模型：

python复制from sklearn.ensemble import RandomForestRegressor

def train_predict_model(df):
    # 特征工程
    df['hour'] = df['ctime'].dt.hour
    df['weekday'] = df['ctime'].dt.weekday
    
    # 划分训练集
    X = df[['hour', 'weekday', 'view', 'danmaku']]
    y = df['score']
    
    # 训练模型
    model = RandomForestRegressor()
    model.fit(X, y)
    
    return model

8.2 用户行为分析

结合多个指标可以计算视频的：

完播率（播放量/点击量）
互动率（(弹幕+评论)/播放量）
转化率（收藏/播放量）

python复制def analyze_behavior(df):
    df['completion_rate'] = df['view'] / df['click']  # 需要额外采集点击量
    df['interaction_rate'] = (df['danmaku'] + df['reply']) / df['view']
    df['conversion_rate'] = df['favorite'] / df['view']
    return df

8.3 实时监控系统搭建

对于需要长期运行的应用，建议架构：

使用APScheduler做定时任务
配合Redis做数据缓存
通过Grafana实现可视化

核心调度代码示例：

python复制from apscheduler.schedulers.background import BackgroundScheduler

def job():
    df = get_bilibili_ranking()
    store_to_db(df)

scheduler = BackgroundScheduler()
scheduler.add_job(job, 'interval', hours=1)
scheduler.start()