别再只记格式了！用Python/Pandas实战解析FASTA、FASTQ、SAM和VCF文件

生物信息学分析的核心能力之一，是能够高效处理各类专业文件格式。对于已经掌握Python基础的数据分析师而言，直接通过代码操作这些文件远比死记硬背格式规范更有价值。本文将带您用Python生态中的Pandas、Biopython等工具，实际解析四种关键文件格式，并完成从基础读取到高级分析的完整流程。

1. 环境准备与工具选择

在开始处理生物信息学文件之前，需要配置合适的Python环境。推荐使用conda创建独立环境，避免依赖冲突：

bash复制conda create -n bioinfo python=3.9
conda activate bioinfo
conda install -c conda-forge pandas biopython pysam matplotlib

关键工具对比：

提示：对于超大型文件（如全基因组测序数据），建议使用专门的命令行工具预处理后再用Python分析

2. FASTA文件实战：从基础解析到高级统计

2.1 使用Biopython高效读取序列

Biopython的SeqIO模块提供了最直接的FASTA解析方式：

python复制from Bio import SeqIO

# 单序列文件处理
record = next(SeqIO.parse("single.fasta", "fasta"))
print(f"ID: {record.id}, Length: {len(record.seq)}")

# 多序列文件处理
sequences = {rec.id: str(rec.seq) for rec in SeqIO.parse("multi.fasta", "fasta")}

2.2 序列特征统计分析

结合Pandas可以方便地进行序列特征分析：

python复制import pandas as pd
from collections import Counter

def analyze_sequences(fasta_file):
    data = []
    for rec in SeqIO.parse(fasta_file, "fasta"):
        seq = str(rec.seq)
        counter = Counter(seq)
        data.append({
            "ID": rec.id,
            "Length": len(seq),
            "GC_Content": (counter['G'] + counter['C']) / len(seq),
            "Description": rec.description
        })
    return pd.DataFrame(data)

df = analyze_sequences("example.fasta")
print(df.describe())

常见分析场景扩展：

• 序列长度分布直方图
• GC含量与基因位置相关性分析
• 密码子使用频率统计

3. FASTQ文件处理：质量分析与数据过滤

3.1 质量分数解析与可视化

FASTQ质量分数通常使用Phred分数表示，需要将ASCII字符转换为数值：

python复制import matplotlib.pyplot as plt

def plot_quality(fastq_file, sample_size=1000):
    qualities = []
    for i, record in enumerate(SeqIO.parse(fastq_file, "fastq")):
        if i >= sample_size:
            break
        qualities.extend([ord(char)-33 for char in record.letter_annotations["phred_quality"]])
    
    plt.figure(figsize=(10, 6))
    plt.hist(qualities, bins=50)
    plt.xlabel("Phred Quality Score")
    plt.ylabel("Frequency")
    plt.title("Quality Score Distribution")
    plt.show()

plot_quality("sample.fastq")

3.2 数据过滤实战

基于质量分数实现简单的数据过滤：

python复制def filter_fastq(input_file, output_file, min_avg_quality=20, min_length=50):
    with open(output_file, "w") as out_handle:
        for record in SeqIO.parse(input_file, "fastq"):
            quals = record.letter_annotations["phred_quality"]
            avg_qual = sum(quals) / len(quals)
            if avg_qual >= min_avg_quality and len(record) >= min_length:
                SeqIO.write(record, out_handle, "fastq")

4. SAM/BAM文件深度解析

4.1 使用PySAM处理比对数据

PySAM提供了高效的BAM文件处理接口：

python复制import pysam

def get_alignment_stats(bam_file):
    with pysam.AlignmentFile(bam_file, "rb") as bam:
        total = mapped = unmapped = 0
        for read in bam:
            total += 1
            if read.is_unmapped:
                unmapped += 1
            else:
                mapped += 1
        
        return {
            "Total Reads": total,
            "Mapped Reads": mapped,
            "Mapping Rate": mapped/total,
            "Unmapped Reads": unmapped
        }

stats = get_alignment_stats("alignment.bam")
print(pd.DataFrame([stats]))

4.2 比对结果特征分析

提取比对特征进行深入分析：

python复制def analyze_alignments(bam_file, region=None):
    data = []
    with pysam.AlignmentFile(bam_file, "rb") as bam:
        for read in bam.fetch(region=region):
            if not read.is_unmapped:
                data.append({
                    "read_length": read.query_length,
                    "mapping_quality": read.mapping_quality,
                    "is_proper_pair": read.is_proper_pair,
                    "is_duplicate": read.is_duplicate,
                    "reference_name": read.reference_name,
                    "reference_start": read.reference_start
                })
    return pd.DataFrame(data)

align_df = analyze_alignments("sample.bam", "chr1:1000000-2000000")
print(align_df.groupby("reference_name").agg(["mean", "count"]))

5. VCF文件处理：变异数据分析

5.1 使用Pandas解析VCF

虽然PyVCF等专业库存在，但Pandas也能处理简单VCF：

python复制def read_vcf_to_dataframe(vcf_path):
    with open(vcf_path) as f:
        lines = [l for l in f if not l.startswith('##')]
    
    df = pd.read_csv(
        io.StringIO(''.join(lines)),
        sep='\t',
        header=0
    )
    return df

vcf_df = read_vcf_to_dataframe("variants.vcf")

# 解析INFO字段
def parse_info(info_str):
    return dict(item.split("=") for item in info_str.split(";") if "=" in item)

vcf_df["INFO_DICT"] = vcf_df["INFO"].apply(parse_info)

5.2 变异特征统计分析

基于VCF数据进行变异特征分析：

python复制def analyze_variants(vcf_df):
    # 按染色体统计变异数量
    chr_counts = vcf_df["#CHROM"].value_counts()
    
    # 变异类型分类
    def classify_variant(row):
        ref_len = len(row["REF"])
        alt_len = len(row["ALT"].split(",")[0])
        if ref_len == 1 and alt_len == 1:
            return "SNP"
        elif ref_len > alt_len:
            return "Deletion"
        else:
            return "Insertion"
    
    vcf_df["Variant_Type"] = vcf_df.apply(classify_variant, axis=1)
    
    # 质量分数分析
    qual_stats = vcf_df["QUAL"].describe()
    
    return {
        "chromosome_counts": chr_counts,
        "variant_type_counts": vcf_df["Variant_Type"].value_counts(),
        "quality_stats": qual_stats
    }

results = analyze_variants(vcf_df)
for key, value in results.items():
    print(f"\n{key}:\n{value}")

6. 综合应用：从原始数据到分析结果

将上述技术整合成一个完整的数据处理流程：

python复制def full_analysis_pipeline(fastq_path, reference_path, output_dir):
    # 1. 质量控制
    filtered_fastq = os.path.join(output_dir, "filtered.fastq")
    filter_fastq(fastq_path, filtered_fastq)
    
    # 2. 比对参考基因组 (伪代码，实际需调用比对工具)
    bam_file = os.path.join(output_dir, "aligned.bam")
    align_to_reference(filtered_fastq, reference_path, bam_file)
    
    # 3. 变异检测 (伪代码)
    vcf_file = os.path.join(output_dir, "variants.vcf")
    call_variants(bam_file, reference_path, vcf_file)
    
    # 4. 分析结果
    alignment_stats = get_alignment_stats(bam_file)
    variant_stats = analyze_variants(read_vcf_to_dataframe(vcf_file))
    
    return {
        "alignment": alignment_stats,
        "variants": variant_stats
    }

在实际项目中，这种代码驱动的分析方法比单纯记忆文件格式更能提高工作效率。例如，在处理一个RNA-seq项目时，通过自动化脚本可以快速完成从原始测序数据到差异表达分析的完整流程。