Windows下高效合并文本文件的CMD与PowerShell技巧

1. Windows下文本文件合并的常见需求场景

在日常办公和数据处理中，我们经常会遇到需要合并多个文本文件的情况。比如收集日志文件、整合调研数据、汇总代码片段等场景。Windows系统自带的命令行工具和PowerShell都能很好地完成这个任务，不需要安装第三方软件。

我最近处理的一个典型场景是：某项目产生了30多个日志文件，需要合并分析用户行为数据。手动复制粘贴不仅效率低下，还容易出错。通过命令行合并，整个过程只需要几秒钟，而且能保证文件的完整性。

2. 基础CMD命令合并方案

2.1 使用copy命令合并文件

最基础的合并方法是使用Windows自带的copy命令。打开CMD窗口（Win+R输入cmd），切换到存放文件的目录后执行：

bash复制copy *.txt merged.txt

这个命令会把当前目录下所有.txt文件按文件名顺序合并到merged.txt中。几个实用技巧：

• 使用/B参数可以确保二进制模式合并，避免特殊字符被处理
• 如果要合并特定几个文件，可以用copy file1.txt+file2.txt merged.txt
• 添加/y参数可以自动覆盖已存在的目标文件

注意：如果文件包含UTF-8等编码，建议使用type命令替代copy，可以更好地保持编码格式

2.2 使用type命令处理编码问题

对于包含中文或其他非ANSI字符的文件，type命令是更好的选择：

bash复制type *.txt > merged.txt

这个命令会将所有文本内容输出到新文件。与copy命令的主要区别：

1. 会自动处理UTF-8编码
2. 不会在文件间添加多余的分隔符
3. 支持通配符和指定文件列表

3. PowerShell高级合并技巧

3.1 基本合并命令

PowerShell提供了更强大的文本处理能力。基础合并命令：

powershell复制Get-Content *.txt | Out-File merged.txt -Encoding UTF8

这个方案的优点：

• 明确指定输出编码格式
• 可以添加-Force参数强制覆盖
• 支持管道操作，方便后续处理

3.2 添加分隔符和元信息

在合并时，我们通常需要知道原始文件的来源。这个PowerShell脚本会在每个文件内容前添加文件名作为注释：

powershell复制foreach ($file in Get-ChildItem *.txt) {
    "# $($file.Name)" | Out-File merged.txt -Append -Encoding UTF8
    Get-Content $file.FullName | Out-File merged.txt -Append -Encoding UTF8
}

3.3 处理大文件的内存优化

当合并超大文本文件时（超过100MB），直接读取整个文件会消耗大量内存。改用流式处理：

powershell复制$output = [System.IO.StreamWriter]::new("merged.txt", $false, [System.Text.Encoding]::UTF8)
Get-ChildItem *.txt | ForEach-Object {
    $input = [System.IO.StreamReader]::new($_.FullName)
    while (!$input.EndOfStream) {
        $output.WriteLine($input.ReadLine())
    }
    $input.Close()
}
$output.Close()

4. 实用场景解决方案

4.1 日志文件合并与分析

合并日志文件后，通常需要进一步分析。这个PowerShell脚本会合并日志并提取错误信息：

powershell复制Get-ChildItem *.log | ForEach-Object {
    $content = Get-Content $_.FullName
    $content | Where-Object { $_ -match "ERROR" } | Out-File errors.log -Append
    $content | Out-File all_logs.log -Append
}

4.2 代码文件合并与格式化

合并代码文件时需要保持结构清晰。这个脚本会在合并时保留原始缩进并添加文件分隔符：

powershell复制$output = [System.IO.StreamWriter]::new("merged_code.txt", $false, [System.Text.Encoding]::UTF8)
Get-ChildItem *.py | ForEach-Object {
    $output.WriteLine("#" * 80)
    $output.WriteLine("# $($_.Name)")
    $output.WriteLine("#" * 80)
    $output.WriteLine("")
    Get-Content $_.FullName | ForEach-Object {
        $output.WriteLine("    $_")  # 保持4空格缩进
    }
    $output.WriteLine("")
}
$output.Close()

5. 常见问题与解决方案

5.1 文件编码问题

不同编码格式的文件合并时可能出现乱码。解决方法：

1. 先用PowerShell检测文件编码：

powershell复制[System.IO.File]::ReadAllText("file.txt").Encoding

2. 统一转换为UTF-8后再合并：

powershell复制Get-ChildItem *.txt | ForEach-Object {
    $content = [System.IO.File]::ReadAllText($_.FullName)
    [System.IO.File]::AppendAllText("merged.txt", $content, [System.Text.Encoding]::UTF8)
}

5.2 文件名排序问题

默认的文件名排序可能不符合预期。可以自定义排序规则：

powershell复制Get-ChildItem *.txt | Sort-Object { [regex]::Replace($_.Name, '\d+', { $args[0].Value.PadLeft(20) }) } | ForEach-Object {
    Get-Content $_.FullName | Out-File merged.txt -Append
}

这个例子会将文件名中的数字部分按数值大小排序（而不是字典序），适合处理类似log1.txt, log2.txt,...,log10.txt的情况。

5.3 内存不足问题

处理超大文件时，可以改用逐行读取的方式：

powershell复制$writer = [System.IO.StreamWriter]::new("merged.txt")
Get-ChildItem *.txt | ForEach-Object {
    $reader = [System.IO.StreamReader]::new($_.FullName)
    while (!$reader.EndOfStream) {
        $writer.WriteLine($reader.ReadLine())
    }
    $reader.Close()
}
$writer.Close()

6. 进阶技巧与自动化

6.1 定时自动合并文件

使用Windows任务计划程序可以设置定时合并。保存以下脚本为merge.ps1：

powershell复制param(
    [string]$sourceFolder = "C:\logs",
    [string]$outputFile = "C:\merged_logs.log"
)

Get-ChildItem (Join-Path $sourceFolder "*.log") | 
    Sort-Object LastWriteTime | 
    ForEach-Object { Get-Content $_.FullName | Out-File $outputFile -Append }

然后在任务计划程序中创建基本任务，设置每天执行：

1. 操作选择"启动程序"
2. 程序/脚本填"powershell"
3. 参数填"-File C:\path\to\merge.ps1"

6.2 文件变化监控合并

使用FileSystemWatcher实时监控文件夹变化并合并：

powershell复制$watcher = New-Object System.IO.FileSystemWatcher
$watcher.Path = "C:\logs"
$watcher.Filter = "*.log"
$watcher.IncludeSubdirectories = $false
$watcher.EnableRaisingEvents = $true

Register-ObjectEvent $watcher "Created" -Action {
    Start-Sleep -Seconds 5  # 等待文件写入完成
    Get-Content $event.SourceEventArgs.FullPath | Out-File "C:\merged_logs.log" -Append
}

6.3 图形界面工具封装

对于非技术人员，可以创建简单的GUI工具：

powershell复制Add-Type -AssemblyName System.Windows.Forms

$form = New-Object System.Windows.Forms.Form
$form.Text = "文件合并工具"
$form.Width = 400
$form.Height = 300

$button = New-Object System.Windows.Forms.Button
$button.Text = "选择文件并合并"
$button.Width = 150
$button.Height = 30
$button.Add_Click({
    $dialog = New-Object System.Windows.Forms.OpenFileDialog
    $dialog.Multiselect = $true
    $dialog.Filter = "文本文件|*.txt|所有文件|*.*"
    if ($dialog.ShowDialog() -eq "OK") {
        $dialog.FileNames | ForEach-Object {
            Get-Content $_ | Out-File "merged.txt" -Append
        }
        [System.Windows.Forms.MessageBox]::Show("合并完成！")
    }
})

$form.Controls.Add($button)
$form.ShowDialog()

7. 性能优化建议

7.1 多线程处理大文件

对于超大型文件集合，可以使用PowerShell工作流实现并行处理：

powershell复制workflow Merge-Files {
    param([string[]]$FilePaths, [string]$OutputPath)
    
    foreach -parallel ($file in $FilePaths) {
        sequence {
            $content = Get-Content $file
            $content | Out-File $OutputPath -Append
        }
    }
}

$files = Get-ChildItem *.log | Select-Object -ExpandProperty FullName
Merge-Files -FilePaths $files -OutputPath "merged.log"

7.2 内存映射文件技术

处理超大文件时，可以使用.NET的MemoryMappedFile类：

powershell复制Add-Type -AssemblyName System.IO.MemoryMappedFiles

$output = [System.IO.File]::Create("merged.dat")
$mmf = [System.IO.MemoryMappedFiles.MemoryMappedFile]::CreateFromFile($output, "MergeOutput", 1GB, 
    [System.IO.MemoryMappedFiles.MemoryMappedFileAccess]::ReadWrite, 
    [System.IO.HandleInheritability]::None, $false)

$writer = $mmf.CreateViewStream()
Get-ChildItem *.bin | ForEach-Object {
    $bytes = [System.IO.File]::ReadAllBytes($_.FullName)
    $writer.Write($bytes, 0, $bytes.Length)
}

$writer.Close()
$mmf.Dispose()
$output.Close()

8. 文件合并后的处理

8.1 去重处理

合并后的文件可能需要去重：

powershell复制Get-Content merged.txt | Sort-Object -Unique | Out-File deduplicated.txt

8.2 按条件过滤

只保留包含特定关键字的行：

powershell复制Get-Content merged.txt | Where-Object { $_ -match "error|warning" } | Out-File filtered.txt

8.3 添加行号

给合并后的文件添加行号：

powershell复制$lineNumber = 1
Get-Content merged.txt | ForEach-Object {
    "[{0:D5}] {1}" -f $lineNumber++, $_
} | Out-File numbered.txt

9. 与其他工具的集成

9.1 通过Git Bash合并

对于熟悉Linux命令的用户，可以安装Git for Windows后使用cat命令：

bash复制cat *.txt > merged.txt

9.2 使用Python脚本处理

创建更灵活的合并脚本merge.py：

python复制import glob
import sys

def merge_files(pattern, output_file, add_filename=False):
    with open(output_file, 'w', encoding='utf-8') as out:
        for filename in sorted(glob.glob(pattern)):
            if add_filename:
                out.write(f"\n\n### {filename} ###\n\n")
            with open(filename, 'r', encoding='utf-8') as f:
                out.write(f.read())

if __name__ == "__main__":
    merge_files('*.txt', 'merged.txt', add_filename=True)

9.3 集成到资源管理器右键菜单

注册表添加右键菜单项：

1. 新建merge.reg文件
2. 写入以下内容：

code复制Windows Registry Editor Version 5.00

[HKEY_CLASSES_ROOT\*\shell\MergeTextFiles]
@="合并文本文件"

[HKEY_CLASSES_ROOT\*\shell\MergeTextFiles\command]
@="powershell -Command \"& { Get-Content '%1' | Out-File 'merged.txt' -Append }\""

3. 双击导入注册表

10. 安全注意事项

1. 处理来自不可信源的文本文件时：

   • 避免直接执行文件中的内容
   • 使用-ReadCount参数限制单次读取行数
   • 考虑在隔离环境中处理

2. 路径处理安全建议：

   • 始终验证文件路径
   • 使用Resolve-Path解析相对路径
   • 避免使用字符串拼接构造路径

3. 权限管理：

   • 合并系统文件需要管理员权限
   • 输出到受保护目录需要提权
   • 考虑使用-WhatIf参数先测试

我在实际工作中发现，对于GB级别的大文件合并，最好的方法是使用流式处理配合缓冲区技术。一个典型的优化方案是设置合适的缓冲区大小：

powershell复制$bufferSize = 64KB  # 根据实际情况调整
$reader = [System.IO.File]::OpenText($inputFile)
$writer = [System.IO.StreamWriter]::new($outputFile, $false, [System.Text.Encoding]::UTF8, $bufferSize)

while (!$reader.EndOfStream) {
    $writer.WriteLine($reader.ReadLine())
}

$reader.Close()
$writer.Close()