1. 多线程任务队列的典型应用场景
Python多线程任务队列在数据处理、网络爬虫、批量文件操作等场景中极为常见。我最近在开发一个电商价格监控系统时，就遇到了典型的队列管理问题——需要同时追踪2000多个商品的价格变动，每个商品页面请求耗时约1.5秒，如果单线程执行需要近1小时才能完成一轮扫描。
通过引入多线程任务队列，我们将扫描时间压缩到了5分钟以内。但在实现过程中，遇到了线程阻塞、任务丢失、异常处理等各种"坑"。下面我就结合这个实际案例，分享几个最容易踩雷的地方和对应的解决方案。
2. 线程安全队列的选择与配置
2.1 Queue模块的三种实现对比
Python标准库queue模块提供了三种队列实现：
- Queue：先进先出队列
- LifoQueue：后进先出队列
- PriorityQueue：优先级队列
在电商监控案例中，我们选择基础Queue实现，因为：
- 商品价格检查没有优先级区分
- 需要公平处理所有商家的商品
- 后进先出可能导致某些商品长期得不到检查
python复制from queue import Queue
task_queue = Queue(maxsize=1000) # 限制队列长度防止内存溢出
注意：maxsize参数必须设置，否则在高并发场景下可能导致内存耗尽。我们曾因未设置此参数导致服务器内存爆满。
2.2 生产者-消费者模式实现
典型的生产者-消费者结构如下：
python复制def producer():
while True:
item = generate_item()
task_queue.put(item) # 阻塞式写入
def consumer():
while True:
item = task_queue.get() # 阻塞式读取
process_item(item)
task_queue.task_done() # 必须调用！
threads = []
for i in range(5): # 5个消费者线程
t = threading.Thread(target=consumer)
t.daemon = True
t.start()
threads.append(t)
常见错误：
- 忘记调用task_done()导致join()永久阻塞
- 未设置daemon=True导致程序无法正常退出
- 消费者线程数设置不合理（建议CPU核心数*2）
3. 任务丢失与重复处理问题
3.1 队列持久化方案
当程序意外崩溃时，内存中的队列任务会全部丢失。我们的解决方案是：
- 使用Redis作为持久化队列后端
- 每次put时同步写入SQLite
- 实现检查点机制(checkpoint)
python复制import redis
r = redis.Redis()
def safe_put(item):
task_queue.put(item)
r.lpush('task_backup', pickle.dumps(item)) # 序列化存储
db.execute('INSERT INTO tasks VALUES (?)', (item,))
3.2 幂等性设计
网络请求等操作必须实现幂等性：
- 为每个任务生成唯一ID
- 记录已处理任务ID
- 重复任务直接跳过
python复制processed_ids = set()
def process_item(item):
if item['id'] in processed_ids:
return
# 实际处理逻辑...
processed_ids.add(item['id'])
4. 线程阻塞与死锁排查
4.1 get()阻塞超时设置
默认情况下，queue.get()会无限期阻塞。我们遇到过因网络问题导致消费者线程全部阻塞的情况。解决方案：
python复制try:
item = task_queue.get(timeout=30) # 30秒超时
except queue.Empty:
logger.warning('Queue timeout')
continue
4.2 死锁检测方案
死锁通常发生在：
- 队列满时生产者阻塞
- 消费者也在等待生产者
我们的检测机制：
python复制from threading import Timer
def deadlock_detector():
if task_queue.unfinished_tasks == task_queue.qsize() > 0:
logger.error('Deadlock suspected!')
# 自动恢复措施...
Timer(60, deadlock_detector).start() # 每分钟检查一次
5. 异常处理与任务重试
5.1 异常捕获框架
未捕获的异常会导致线程终止。我们封装了安全处理器：
python复制def safe_consumer():
while True:
try:
item = task_queue.get()
process_item(item)
except Exception as e:
logger.exception(f"Task failed: {item}")
task_queue.put(item) # 重新入队
finally:
task_queue.task_done()
5.2 指数退避重试
对于网络请求类任务，我们实现了重试机制：
python复制def process_with_retry(item, max_retries=3):
for attempt in range(max_retries):
try:
return do_request(item)
except NetworkError:
sleep(2 ** attempt) # 指数退避
raise MaxRetryError()
6. 性能监控与调优
6.1 队列监控指标
我们收集的关键指标：
- 队列长度趋势
- 任务处理耗时
- 线程活跃数
- 失败率
使用Prometheus客户端实现监控：
python复制from prometheus_client import Gauge
queue_size = Gauge('queue_size', 'Current task queue size')
queue_size.set_function(lambda: task_queue.qsize())
6.2 动态线程池调整
根据队列负载动态调整消费者线程数：
python复制def adjust_workers():
while True:
size = task_queue.qsize()
if size > 500 and len(threads) < MAX_THREADS:
add_worker()
elif size < 100 and len(threads) > MIN_THREADS:
remove_worker()
sleep(60)
7. 实际案例：电商价格监控系统
在我们的价格监控系统中，最终稳定运行的配置：
- 生产者：1个线程，每10秒产生一批商品ID
- 消费者：20个线程（4核CPU服务器）
- 队列最大长度：1000
- 超时设置：获取任务30秒，请求超时10秒
- 重试机制：3次，指数退避
这套配置连续运行3个月，日均处理商品页面请求超过50万次，没有出现任务丢失或线程死锁情况。最大的教训是：一定要为队列设置合理的maxsize，我们曾因不限制队列长度导致内存溢出，丢失了上万条任务记录。