1. 问题现象与初步分析
最近在开发一个基于Bing搜索的爬虫工具时,遇到了一个奇怪的问题:当搜索"列维 施特劳斯 忧郁的热带"这类中文关键词时,返回的结果却全是关于"E5 CPU"的内容,完全与预期不符。而搜索"Python 中文教程 实战案例"这类包含英文单词的查询时,结果却基本正常。
这个现象引起了我的警觉,因为:
- 搜索功能是项目的核心组件,直接影响后续的数据处理流程
- 中文搜索的异常会导致整个系统无法正确获取相关信息
- 问题具有选择性,说明不是简单的API失效
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 深入排查与问题定位
2.1 代码逻辑审查
首先我仔细检查了搜索功能的实现代码,核心部分如下:
python复制encoded_query = quote(query, encoding='utf-8')
params = {
"q": encoded_query,
# 其他参数...
}
response = await client.get(self.base_url, params=params)
这段代码看似合理:
- 使用urllib.parse.quote对查询词进行URL编码
- 将编码后的字符串作为参数传给httpx的get方法
2.2 网络请求分析
为了更直观地理解问题,我使用Wireshark抓取了网络请求包,对比了正常和异常两种情况:
异常请求(搜索"列维 施特劳斯 忧郁的热带")
code复制GET /search?q=%25E5%2588%2597%25E7%25BB%25B4%2520%25E6%2596%25BD%25E7%2589%25B9%25E5%258A%25B3%25E6%2596%25AF%2520%25E5%25BF%2583%25E7%2597%259B%25E7%259A%2584%25E7%2583%25AD%25E5%25B8%25A6 HTTP/1.1
正常请求(搜索"Python 中文教程 实战案例")
code复制GET /search?q=Python%20%E4%B8%AD%E6%96%87%E6%95%99%E7%A8%8B%20%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B HTTP/1.1
``
