眠子子子1. Migrator.Net：数据库迁移的瑞士军刀
第一次接触数据库迁移是在2013年，当时团队需要将SQL Server 2008的客户数据迁移到新版本的MySQL集群。手工写脚本转换数据类型、处理约束关系花了整整两周，期间还因为字符集问题丢失了部分中文数据。直到后来发现了Migrator.Net这个神器，才真正体会到什么叫"专业的事情交给专业的工具"。
Migrator.Net是一个开源的.NET数据库迁移框架，它把数据库变更像代码一样纳入版本控制。不同于传统的SQL脚本迁移方式，它采用代码优先（Code First）的迁移模式，通过C#类定义数据库结构变更，支持回滚、版本管理和多环境部署。最新版本已经支持SQL Server、MySQL、PostgreSQL、Oracle等主流数据库，特别适合需要频繁迭代的互联网应用。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构解析
2.1 迁移原理剖析
Migrator.Net的核心思想是将每次数据库变更抽象为Migration子类。每个迁移类包含两个关键方法：
csharp复制public class AddUserTable : Migration
{
public override void Up()
{
Database.AddTable("Users",
new Column("Id", DbType.Int32, ColumnProperty.PrimaryKey),
new Column("Name", DbType.String, 50)
);
}
public override void Down()
{
Database.RemoveTable("Users");
}
}
Up方法定义如何应用变更，Down方法则实现回滚逻辑。框架会维护一个版本记录表（默认名为VersionInfo），通过比较当前版本与目标版本自动计算需要执行的迁移步骤。
2.2 多数据库支持机制
框架通过提供程序（Provider）模式实现多数据库支持。以MySQL为例，其核心适配器代码如下：
csharp复制public class MySqlTransformationProvider : TransformationProvider
{
public override void AddColumn(string table, string column, DbType type)
{
string sql = string.Format("ALTER TABLE {0} ADD COLUMN {1} {2}",
table, column, GetSqlType(type));
ExecuteNonQuery(sql);
}
protected override string GetSqlType(DbType type)
{
switch(type) {
case DbType.String: return "VARCHAR(255)";
case DbType.Int32: return "INT";
// 其他类型映射...
}
}
}
这种设计使得新增数据库支持只需实现特定的TransformationProvider即可。
3. 实战：百万级数据迁移方案
3.1 环境准备
假设我们需要将12万条Oracle视图数据迁移到达梦数据库（这是近期一个真实客户案例），推荐以下工具链组合：
- Migrator.Net Core 4.0+（跨平台版本）
- Oracle Data Provider for .NET
- 达梦官方ADO.NET驱动
- Apache Seatunnel（用于初始数据抽取）
重要提示：不同数据库间的数据类型映射需要特别关注。例如Oracle的NVARCHAR2到达梦的VARCHAR，建议先在测试环境验证类型转换规则。
3.2 分阶段迁移实施
阶段一：结构迁移
csharp复制public class OracleToDmSchemaMigration : Migration
{
public override void Up()
{
// 创建目标表结构（基于Oracle视图DDL转换）
Database.AddTable("DM_EMPLOYEE",
new Column("EMP_ID", DbType.Int32, ColumnProperty.PrimaryKey),
new Column("EMP_NAME", DbType.String, 100),
new Column("DEPT_CODE", DbType.String, 20)
);
// 创建索引
Database.AddIndex("IDX_DM_EMP_DEPT", false, "DM_EMPLOYEE", "DEPT_CODE");
}
}
阶段二：数据迁移
建议使用Apache Seatunnel进行初始数据加载，其配置示例：
yaml复制source:
oracle:
query: "SELECT * FROM V_EMPLOYEE"
sink:
dm:
table: "DM_EMPLOYEE"
batch_size: 5000
阶段三：增量同步
对于迁移过程中的数据变更，可以结合Migrator.Net的版本控制特性：
csharp复制public class SyncLatestData : Migration
{
public override void Up()
{
// 使用数据库链接器直接执行增量SQL
Database.ExecuteNonQuery(
@"INSERT INTO DM_EMPLOYEE
SELECT * FROM OPENQUERY(ORACLE_LINK,
'SELECT * FROM V_EMPLOYEE WHERE UPDATE_TIME > @lastSync')",
new { lastSync = DateTime.Now.AddHours(-1) }
);
}
}
4. 性能优化实战技巧
4.1 批量操作优化
处理大量数据时，务必禁用自动事务和约束检查：
csharp复制public class BulkInsertMigration : Migration
{
public override void Up()
{
using(var scope = new TransactionScope(TransactionScopeOption.Suppress))
{
Database.BeginTransaction();
try {
Database.ExecuteNonQuery("ALTER TABLE DM_EMPLOYEE DISABLE CONSTRAINT ALL");
// 批量插入逻辑
for(int i=0; i<batches.Count; i++) {
Database.ExecuteNonQuery(batches[i]);
}
Database.ExecuteNonQuery("ALTER TABLE DM_EMPLOYEE ENABLE CONSTRAINT ALL");
Database.CommitTransaction();
} catch {
Database.RollbackTransaction();
throw;
}
}
}
}
4.2 并行迁移策略
对于超大规模迁移（百万级记录），可以采用分片并行方案：
csharp复制// 在App.config中配置线程数
<configuration>
<migrator>
<parallelism degree="4"/>
</migrator>
</configuration>
// 迁移类中使用分片条件
public class ShardedMigration : Migration
{
public override void Up()
{
var shardId = (int)ApplicationParameters.Get("shard");
Database.ExecuteNonQuery(
"INSERT INTO DM_EMPLOYEE SELECT * FROM V_EMPLOYEE WHERE MOD(EMP_ID,4)=@shard",
new { shard = shardId }
);
}
}
5. 常见问题排坑指南
5.1 字符集问题
中文字符乱码是跨数据库迁移的常见问题。最近处理的一个案例中，Oracle的AL32UTF8到达梦的GB18030转换时出现异常。解决方案：
- 在迁移前执行环境检查：
csharp复制var oracleCharset = Database.ExecuteScalar<string>(
"SELECT value FROM NLS_DATABASE_PARAMETERS WHERE parameter='NLS_CHARACTERSET'");
var dmCharset = Database.ExecuteScalar<string>(
"SELECT SF_GET_UNICODE_FLAG() FROM DUAL");
- 对于不匹配的情况，在连接字符串中显式指定：
code复制User ID=sysdba;Password=123456789;Data Source=127.0.0.1;Port=5236;
ClientCharset=GB18030;ServerCharset=GB18030
5.2 视图迁移特殊处理
将Oracle视图迁移为达梦实体表时，需要注意：
- 视图中的TO_DATE等函数转换
- 达梦对WITH CHECK OPTION语法的差异
- 物化视图的特殊处理
推荐的分步转换方案：
csharp复制// 第一步：创建基础表结构
Database.ExecuteNonQuery("CREATE TABLE DM_V_EMP_BASE AS SELECT * FROM V_EMPLOYEE WHERE 1=0");
// 第二步：转换数据类型
Database.ExecuteNonQuery(@"
INSERT INTO DM_V_EMP_BASE
SELECT
EMP_ID,
CONVERT(VARCHAR(100), EMP_NAME) AS EMP_NAME,
CASE WHEN DEPT_CODE IS NULL THEN 'DEFAULT' ELSE DEPT_CODE END AS DEPT_CODE
FROM OPENQUERY(ORACLE_LINK, 'SELECT * FROM V_EMPLOYEE')");
6. 企业级部署方案
6.1 CI/CD集成
在Azure DevOps中的典型流水线配置：
yaml复制steps:
- task: DotNetCoreCLI@2
displayName: 'Install Migrator.Net'
inputs:
command: custom
custom: tool
arguments: install --global FluentMigrator.DotNet.Cli
- task: CmdLine@2
displayName: 'Run Migrations'
inputs:
script: |
fm migrate \
--provider Oracle \
--connectionString "$(PROD_DB_CONNECTION)" \
--assembly bin/Release/net6.0/Migrations.dll \
--profile Production
6.2 多环境配置管理
推荐使用JSON配置文件管理不同环境：
json复制{
"Development": {
"ConnectionString": "Server=dev-db;Database=app_dev;",
"Timeout": 30
},
"Production": {
"ConnectionString": "Server=cluster1,cluster2;Database=app_prod;",
"Timeout": 120
}
}
在迁移代码中动态加载配置：
csharp复制var env = Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT");
var config = new ConfigurationBuilder()
.AddJsonFile($"migrationSettings.{env}.json")
.Build();
var runner = new MigrationRunner(
Assembly.GetExecutingAssembly(),
new MigrationOptions { Profile = env },
new OracleProcessorFactory(),
config.GetConnectionString("DefaultConnection"));
7. 监控与回滚策略
7.1 迁移过程监控
建议实现自定义日志记录器：
csharp复制public class DatabaseLogger : ILogger
{
public void Say(string message)
{
Log.Information($"[DB Migration] {message}");
MonitorService.TrackMigrationStep(message);
}
}
// 使用时注入
var runner = new MigrationRunner(
/* 其他参数 */,
new DatabaseLogger());
7.2 智能回滚机制
对于关键业务系统，建议实现双阶段回滚：
- 检查点回滚：在关键步骤前创建检查点
csharp复制Database.ExecuteNonQuery("CREATE RESTORE POINT BEFORE_ALTER_COLUMN");
- 全量回滚：当迁移失败时
csharp复制public override void Down()
{
if (Database.TableExists("BACKUP_EMPLOYEE"))
{
Database.ExecuteNonQuery("TRUNCATE TABLE EMPLOYEE");
Database.ExecuteNonQuery(
"INSERT INTO EMPLOYEE SELECT * FROM BACKUP_EMPLOYEE");
}
}
在最近一次金融系统迁移中，这套机制成功在3分钟内回滚了失败的索引变更操作，避免了生产事故。