Python爬虫JSON解析错误与中文字符编码解决方案

1. 问题现象与背景解析

最近在调试一个Python爬虫项目时遇到了一个典型的JSON解析报错："JSON parse error: Unrecognized token 'pageNo': was expecting..."，这个错误发生在向某网站API发送POST请求时，特别是当请求参数中包含中文字符的情况下。作为一名长期与各种API打交道的开发者，这类编码问题其实非常常见，但每次具体表现可能略有不同。

这个错误表面看是JSON解析失败，但深层次涉及三个关键点：

1. HTTP请求头的Content-Type设置
2. 请求体的编码格式处理
3. 服务端对特殊字符的解析逻辑

2. 问题根因深度分析

2.1 JSON解析错误的典型表现

错误信息中提到的"Unrecognized token 'pageNo'"很具迷惑性，它暗示着JSON解析器在期望某个语法结构时遇到了意外内容。具体到我们的场景，可能有以下情况：

1. 服务端收到的是非标准JSON格式数据
2. 数据在传输过程中编码被破坏
3. 请求头声明与实际内容不匹配

2.2 中文字符的特殊处理需求

当请求参数包含中文时，需要特别注意：

• 中文字符在HTTP传输中默认需要URL编码
• JSON标准要求使用UTF-8编码
• 部分老旧API可能只支持GBK编码

关键提示：中文字符在POST请求中可能经历多次编码转换，任何环节出错都会导致最终解析失败。

3. 解决方案与实操步骤

3.1 标准化的POST请求实现

以下是经过实战检验的Python POST请求模板：

python复制import requests
import json

url = "https://api.example.com/endpoint"
headers = {
    "Content-Type": "application/json; charset=UTF-8",
    "User-Agent": "Mozilla/5.0"
}

data = {
    "pageNo": 1,
    "keyword": "中文搜索词"
}

# 关键步骤1：确保字典转为标准JSON字符串
json_data = json.dumps(data, ensure