1. 为什么我们需要生成器
在Python编程中，处理大数据集时经常会遇到内存瓶颈。想象你正在处理一个包含百万条记录的日志文件，如果一次性读取所有内容到内存，很可能导致程序崩溃。这就是生成器(generator)大显身手的地方。
我第一次遇到这个问题是在分析服务器日志时。当时尝试用常规列表存储所有日志条目，结果16GB内存的机器直接卡死。后来改用生成器，内存占用始终保持在几MB的水平，问题迎刃而解。
生成器的核心特点是"惰性求值"(lazy evaluation)——只在需要时才产生数据，而不是一次性生成所有结果。这种特性特别适合：
- 处理大型或无限序列
- 数据流管道
- 内存敏感型应用
2. 生成器基础：从yield说起
2.1 函数与生成器函数的区别
普通函数用return返回值，而生成器函数使用yield。关键区别在于：
- 普通函数：一次性执行完毕，返回单个结果
- 生成器函数：执行到yield时暂停，保留状态，下次从暂停处继续
python复制def simple_generator():
print("第一次调用")
yield 1
print("第二次调用")
yield 2
print("第三次调用")
yield 3
gen = simple_generator()
print(next(gen)) # 输出：第一次调用 \n 1
print(next(gen)) # 输出：第二次调用 \n 2
2.2 生成器的四种创建方式
- 生成器函数：包含yield关键字的函数
- 生成器表达式：类似列表推导，但使用圆括号
python复制gen_exp = (x**2 for x in range(10)) - 类实现__iter__方法：自定义迭代行为
- itertools模块：提供各种迭代器工具
注意：生成器表达式比列表推导更节省内存，特别是处理大数据时。比如处理GB级文件时，列表推导可能导致内存溢出，而生成器表达式则能流畅运行。
3. 生成器的高级用法
3.1 双向通信：send()方法
生成器不仅能够产生值，还能接收外部输入。这是通过send()方法实现的：
python复制def interactive_gen():
while True:
received = yield
print(f"收到：{received}")
gen = interactive_gen()
next(gen) # 启动生成器
gen.send("你好") # 输出：收到：你好
gen.send(123) # 输出：收到：123
这个特性在协程编程中特别有用，可以实现生产者和消费者之间的双向通信。
3.2 生成器委托：yield from
Python 3.3引入的yield from语法简化了生成器的嵌套：
python复制def sub_gen():
yield from range(5)
def main_gen():
yield from sub_gen()
yield from "abc"
for item in main_gen():
print(item) # 输出0-4和a,b,c
这种写法比手动迭代子生成器更简洁高效，也是异步编程的基础。
4. 实战案例：日志分析系统
4.1 大型日志文件处理
假设我们需要分析一个10GB的web服务器日志文件，统计各IP的访问次数。传统方法会这样写：
python复制def count_ips_bad(filename):
with open(filename) as f:
lines = f.readlines() # 内存爆炸！
ip_counts = {}
for line in lines:
ip = line.split()[0]
ip_counts[ip] = ip_counts.get(ip, 0) + 1
return ip_counts
改用生成器后：
python复制def count_ips_good(filename):
def line_reader():
with open(filename) as f:
for line in f: # 逐行读取
yield line
ip_counts = {}
for line in line_reader():
ip = line.split()[0]
ip_counts[ip] = ip_counts.get(ip, 0) + 1
return ip_counts
4.2 性能对比测试
在1GB日志文件上的测试结果：
- 传统方法：内存占用约1.2GB，耗时8.7秒
- 生成器方法：内存占用约10MB，耗时9.1秒
虽然生成器稍慢(约5%)，但内存占用减少了99%！对于更大的文件，传统方法可能根本无法运行。
5. 常见陷阱与最佳实践
5.1 生成器只能遍历一次
这是新手常犯的错误：
python复制gen = (x for x in range(3))
print(list(gen)) # [0, 1, 2]
print(list(gen)) # [] 空了！
解决方案：
- 重新创建生成器
- 使用itertools.tee复制(但会消耗内存)
5.2 异常处理
生成器内部可以抛出异常，外部也可以向生成器抛出异常：
python复制def throwing_gen():
try:
yield 1
yield 2
except ValueError:
print("捕获异常")
yield 3
gen = throwing_gen()
print(next(gen)) # 1
print(gen.throw(ValueError)) # 捕获异常 \n 3
5.3 内存优化技巧
- 对于大数据处理，始终优先考虑生成器而非列表
- 使用生成器表达式替代列表推导
- 考虑使用内置的map/filter函数，它们返回迭代器
- 在数据处理管道中保持生成器链式调用
6. 生成器在NLP中的应用
6.1 流式文本处理
在自然语言处理中，经常需要处理大型语料库。生成器非常适合这种场景：
python复制def tokenize_stream(text_stream):
for text in text_stream:
yield text.split()
def filter_stopwords(token_stream):
stopwords = {"the", "a", "an"}
for tokens in token_stream:
yield [t for t in tokens if t.lower() not in stopwords]
# 构建处理管道
texts = (line for line in open("big_corpus.txt"))
pipeline = filter_stopwords(tokenize_stream(texts))
6.2 批量训练数据生成
深度学习训练时，使用生成器可以避免一次性加载所有数据：
python复制def batch_generator(data, batch_size=32):
for i in range(0, len(data), batch_size):
yield data[i:i+batch_size]
# 使用示例
for batch in batch_generator(large_dataset):
train_model(batch)
这种方法特别适合无法全部放入内存的超大数据集。