Python网约车数据分析：时空特征与异常检测实战-代码聚汇网

Python网约车数据分析：时空特征与异常检测实战

Python数据分析网约车数据时空特征

|难度：普通|阅读约 4 分钟

1. 项目背景与核心价值

网约车作为城市交通体系的重要组成部分，其运营数据直接反映了城市交通动态和居民出行规律。杭州市作为数字经济先行城市，网约车日均订单量超过50万单，这些数据中蕴含着丰富的城市交通特征和商业价值。

这个Python数据分析项目通过处理原始订单数据（包括但不限于：

订单时间分布
热力区域分布
里程费用关系
司机接单效率
异常订单识别
），最终实现三个核心目标：

时空特征可视化：通过热力图展示不同时段/区域的订单密度
运营指标分析：计算空驶率、接单时长等关键KPI
异常行为检测：识别刷单等非正常订单模式

提示：实际项目中需特别注意数据脱敏处理，所有涉及个人隐私的字段如手机号、精确住址等必须在前处理阶段过滤

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 数据获取与预处理

2.1 数据来源解析

典型网约车数据包含以下结构化表：

python复制orders = {
    'order_id': '唯一标识',
    'start_time': '下单时间戳',
    'start_district': '上车行政区',
    'start_lng': '上车经度',
    'start_lat': '上车纬度',
    'end_lng': '下车经度', 
    'end_lat': '下车纬度',
    'passenger_count': '乘车人数',
    'distance': '行驶里程(km)',
    'duration': '行驶时长(分钟)',
    'fare': '订单金额(元)'
}

2.2 数据清洗关键步骤

使用pandas进行数据清洗时重点关注：

python复制# 缺失值处理
df = df.dropna(subset=['start_lng','start_lat'])

# 异常值过滤
df = df[(df['distance'] > 0.3) & 
        (df['distance'] < 50) &
        (df['duration'] < 180)]

# 地理坐标校验（杭州行政区域边界）
hangzhou_bbox = {
    'min_lng': 119.5,
    'max_lng': 120.5,
    'min_lat': 29.8,
    'max_lat': 30.5
}
df = df[(df['start_lng'].between(*hangzhou_bbox['lng'])) &
        (df['start_lat'].between(*hangzhou_bbox['lat']))]

2.3 特征工程构建

衍生特征对后续分析至关重要：

python复制# 时间特征
df['hour'] = df['start_time'].dt.hour
df['day_of_week'] = df['start_time'].dt.dayofweek

# 空间网格划分
df['grid_x'] = ((df['start_lng'] - 119.5) // 0.02).astype(int)
df['grid_y'] = ((df['start_lat'] - 29.8) // 0.02).astype(int)

# 行程速度特征
df['speed_kmh'] = df['distance'] / (df['duration']/60)

3. 核心分析模块实现

3.1 时空热力图生成

使用folium生成交互式热力图：

python复制from folium.plugins import HeatMap

m = folium.Map(location=[30.2741, 120.1551], zoom_start=11)
heat_data = df[['start_lat','start_lng']].values.tolist()
HeatMap(heat_data, radius=10).add_to(m)
m.save('heatmap.html')

3.2 运营指标计算

关键业务指标计算公式：

python复制# 接单率 = 成功订单数 / 总派单数
accept_rate = len(df) / total_dispatches

# 平均接单时长 = Σ(接单时间-派单时间) / 订单数
pickup_delay = df['accept_time'] - df['dispatch_time']

# 空驶里程占比 = 空驶里程 / 总行驶里程
deadhead_ratio = df[df['passenger_count']==0]['distance'].sum() / df['distance'].sum()

3.3 异常订单检测

基于DBSCAN算法的异常检测：

python复制from sklearn.cluster import DBSCAN

# 特征矩阵：价格/里程比 + 夜间订单标记
X = np.column_stack([
    df['fare']/df['distance'],
    (df['hour'].between(0,5)).astype(int)
])

# 密度聚类
clustering = DBSCAN(eps=0.5, min_samples=10).fit(X)
df['anomaly'] = clustering.labels_ == -1

4. 可视化系统搭建

4.1 技术选型对比

方案	优点	缺点	适用场景
Matplotlib	定制性强	交互性弱	静态报告
Plotly	交互性好	性能较差	探索分析
Pyecharts	图表丰富	学习曲线陡	大屏展示
Dash	完整应用	开发成本高	业务系统

4.2 大屏看板实现

使用Pyecharts构建驾驶舱：

python复制from pyecharts.charts import Grid, Bar, Line
from pyecharts import options as opts

# 小时订单量柱状图
bar = (
    Bar()
    .add_xaxis(hour_list)
    .add_yaxis("订单量", hour_counts)
    .set_global_opts(title_opts=opts.TitleOpts(title="分时订单趋势"))
)

# 结合折线图显示平均单价
line = (
    Line()
    .add_xaxis(hour_list)
    .add_yaxis("平均单价", hour_fares)
)
overlap = bar.overlap(line)

4.3 地理围栏分析

通过GeoPandas实现行政区统计：

python复制import geopandas as gpd
from shapely.geometry import Point

# 加载杭州行政区划GeoJSON
districts = gpd.read_file('hangzhou.geojson')
geometry = [Point(xy) for xy in zip(df['start_lng'], df['start_lat'])]
gdf = gpd.GeoDataFrame(df, geometry=geometry)

# 空间连接
joined = gpd.sjoin(gdf, districts, how='left')
district_counts = joined.groupby('district_name').size()

5. 性能优化实践

5.1 数据处理加速

对比不同计算引擎性能：

python复制# Pandas优化技巧
df = df.astype({
    'order_id': 'category',
    'start_district': 'category'
})

# 使用Dask处理超大规模数据
import dask.dataframe as dd
ddf = dd.from_pandas(df, npartitions=8)
result = ddf.groupby('hour').size().compute()

5.2 可视化渲染优化

WebGL加速方案：

python复制import plotly.express as px
fig = px.scatter_mapbox(
    df.sample(10000),  # 下采样
    lat="start_lat",
    lon="start_lng",
    color="hour",
    size="fare",
    mapbox_style="stamen-toner"
)
fig.update_layout(margin={"r":0,"t":0,"l":0,"b":0})

5.3 缓存机制设计

使用磁盘缓存避免重复计算：

python复制from joblib import Memory
memory = Memory("./cache")

@memory.cache
def process_data(raw_path):
    # 耗时处理流程
    return cleaned_df

6. 典型分析案例

6.1 早高峰运力分析

西湖区工作日的供需缺口：

python复制morning_rush = df[
    (df['hour'].between(7,9)) &
    (df['day_of_week'] < 5) &
    (df['start_district'] == '西湖区')
]

supply_demand_gap = (
    morning_rush.groupby('grid_x','grid_y')
    .agg({'order_id':'count', 'driver_id':'nunique'})
    .eval('gap = order_id - driver_id*3')  # 假设每位司机可接3单
)

6.2 节假日特征对比

春节前后订单变化：

python复制spring_festival = df[
    df['date'].between('2023-01-15','2023-02-15')
]

daily_orders = spring_festival.groupby('date').size()
airport_ratio = (
    spring_festival[spring_festival['end_district']=='萧山区']
    .groupby('date').size() / daily_orders
)

6.3 动态定价评估

雨天溢价分析：

python复制# 合并天气数据
rain_days = weather[weather['precipitation'] > 5]['date']
df['is_rain'] = df['date'].isin(rain_days)

price_sensitivity = df.groupby(['hour','is_rain']).agg(
    avg_fare=('fare','mean'),
    order_count=('order_id','count')
)

我在实际项目中总结出三个关键经验：1）原始数据一定要保留中间版本 2）地理坐标必须进行有效性校验 3）所有可视化图表应该自动生成可交互的HTML版本供业务部门探索。特别是在处理时间字段时，建议始终使用UTC时间戳存储，仅在展示层转换时区，可以避免很多夏令时导致的诡异问题。