Python字符串统计与文本分析实战指南

1. Python字符串统计基础入门

1.1 字符串长度统计原理与实践

在Python中，字符串长度统计是最基础的操作之一。len()函数实际上是调用了字符串对象的__len__方法，这个方法的实现原理是遍历字符串并计数字符数量。对于ASCII字符，每个字符占用1个字节；而对于Unicode字符，Python 3会正确处理多字节字符的计数。

注意：在Python 2中，len()对于非ASCII字符可能会返回不正确的结果，因为它是按字节而不是字符计数的。这是Python 3改进的重要特性之一。

实际应用中，我们经常需要处理各种边界情况：

python复制# 空字符串
empty_str = ""
print(len(empty_str))  # 输出: 0

# 包含空格和特殊字符的字符串
special_str = " \t\n"
print(len(special_str))  # 输出: 3

# 包含Unicode字符的字符串
unicode_str = "你好，世界！"
print(len(unicode_str))  # 输出: 5

1.2 字符计数的高级技巧

count()方法虽然简单，但在实际应用中需要注意几个关键点：

1. 大小写敏感：默认情况下区分大小写
2. 子串匹配：可以统计子串而不仅是单个字符
3. 性能考虑：对于大字符串，频繁调用count()可能效率不高

一个实用的技巧是使用字典推导式批量统计多个字符：

python复制text = "programming is fun"
chars_to_count = ['a', 'm', 'n', 'is']
counts = {item: text.count(item) for item in chars_to_count}
print(counts)  # 输出: {'a': 1, 'm': 2, 'n': 2, 'is': 1}

对于更复杂的统计需求，可以考虑先转换为小写再进行统计：

python复制text = "Python is great. python is easy. I love PYTHON!"
target = "python"
count = text.lower().count(target.lower())
print(count)  # 输出: 3

2. 单词与文本统计分析

2.1 精确单词统计方法

简单的split()方法对于规范的英文文本有效，但在实际应用中，我们经常遇到各种特殊情况：

1. 多个连续空格
2. 混合标点符号
3. 连字符连接的单词
4. 缩写形式

更健壮的解决方案是使用正则表达式：

python复制import re

def count_words(text):
    # 匹配单词边界之间的字母数字序列
    words = re.findall(r'\b[\w-]+\b', text)
    return len(words)

sample = "This isn't a well-formatted text, but it's useful for testing!"
print(count_words(sample))  # 输出: 10

2.2 词频统计的优化方案

collections.Counter是Python中强大的词频统计工具，但在处理大文本时，我们可以进行一些优化：

1. 惰性处理：使用生成器避免一次性加载大文本
2. 预处理：统一大小写、去除标点
3. 停用词过滤：忽略常见无意义词

下面是一个优化的词频统计函数：

python复制from collections import Counter
import re
import string

def word_frequency(text, stop_words=None):
    # 预处理：转小写、去标点
    text = text.lower()
    text = text.translate(str.maketrans('', '