AWS自定义AMI镜像构建与优化实践指南

1. 为什么需要自定义AMI镜像？

在AWS云平台上，AMI（Amazon Machine Image）是启动EC2实例的基础模板。官方提供的AMI虽然方便，但存在几个痛点：

1. 版本限制：AWS Marketplace中部分经典系统版本（如Ubuntu 18.04、CentOS 7）已停止维护更新
2. 成本问题：部分第三方AMI在Marketplace中收费昂贵，且可能包含不必要的预装软件
3. 定制困难：官方AMI无法满足特定业务场景下的定制化需求

提示：根据AWS官方文档，使用自建AMI相比Marketplace商业镜像平均可节省60-80%的镜像成本。

2. 方案选型与技术路线

2.1 主流方案对比

2.2 技术实现路径

本方案采用的技术栈：

1. 源镜像：Ubuntu官方Cloud镜像（qcow2格式）
2. 格式转换：qemu-img工具链
3. 存储介质：AWS S3作为中转存储
4. 导入服务：EC2 VM Import/Export
5. 镜像构建：EC2 Image Builder（可选）

3. 详细操作指南

3.1 环境准备

3.1.1 本地工作机配置

推荐使用具备以下配置的本地机器：

• CPU：4核以上
• 内存：8GB以上
• 磁盘空间：至少50GB可用空间
• 操作系统：Linux/macOS（Windows需WSL）

安装必备工具：

bash复制# Ubuntu/Debian
sudo apt update && sudo apt install -y qemu-utils awscli

# RHEL/CentOS
sudo yum install -y qemu-img awscli

# macOS
brew install qemu awscli

3.1.2 AWS资源准备

1. 创建S3存储桶（区域建议选择us-east-1）：

bash复制aws s3 mb s3://my-ami-import-$(date +%s) --region us-east-1

2. 配置AWS CLI凭证：

bash复制aws configure
# 输入您的Access Key ID、Secret Access Key、默认区域

3.2 镜像处理全流程

3.2.1 下载官方镜像

推荐从Ubuntu官方镜像站获取：

bash复制# Ubuntu 18.04
wget https://cloud-images.ubuntu.com/bionic/current/bionic-server-cloudimg-amd64.img

# 校验文件完整性
sha256sum bionic-server-cloudimg-amd64.img

3.2.2 格式转换实践

转换命令详解：

bash复制qemu-img convert \
  -f qcow2 \            # 输入格式
  -O raw \              # 输出格式
  -p \                  # 显示进度
  -c \                  # 压缩（可选）
  bionic-server-cloudimg-amd64.img \
  ubuntu-18.04.raw

转换耗时参考：

• 2GB qcow2 → raw：约3分钟（SSD磁盘）
• 10GB qcow2 → raw：约15分钟

3.2.3 上传至S3的优化技巧

对于大文件（>5GB），建议使用分段上传：

bash复制aws s3 cp ubuntu-18.04.raw s3://my-ami-import/ \
  --storage-class STANDARD \
  --metadata imported-from=ubuntu-cloud \
  --region us-east-1 \
  --expected-size $(stat -c %s ubuntu-18.04.raw)

上传速度参考：

• 100Mbps带宽：约15分钟/GB
• 1Gbps带宽：约1.5分钟/GB

3.3 IAM权限精细配置

3.3.1 最小权限原则

创建专用策略文档vmimport-policy.json：

json复制{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:Get*",
        "s3:List*"
      ],
      "Resource": [
        "arn:aws:s3:::my-ami-import",
        "arn:aws:s3:::my-ami-import/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "ec2:ModifySnapshotAttribute",
        "ec2:CopySnapshot",
        "ec2:RegisterImage",
        "ec2:Describe*"
      ],
      "Resource": "*"
    }
  ]
}

3.3.2 角色创建与绑定

bash复制# 创建角色
aws iam create-role \
  --role-name vmimport \
  --assume-role-policy-document '{
    "Version": "2012-10-17",
    "Statement": [{
      "Effect": "Allow",
      "Principal": {"Service": "vmie.amazonaws.com"},
      "Action": "sts:AssumeRole",
      "Condition": {"StringEquals": {"sts:Externalid": "vmimport"}}
    }]
  }'

# 附加策略
aws iam put-role-policy \
  --role-name vmimport \
  --policy-name vmimport-policy \
  --policy-document file://vmimport-policy.json

3.4 镜像导入实战

3.4.1 快照导入方案

1. 准备容器描述文件snapshot-container.json：

json复制{
  "Description": "Ubuntu 18.04 Bionic Base Image",
  "Format": "raw",
  "UserBucket": {
    "S3Bucket": "my-ami-import",
    "S3Key": "ubuntu-18.04.raw"
  }
}

2. 启动导入任务：

bash复制aws ec2 import-snapshot \
  --description "Ubuntu 18.04 Base" \
  --disk-container file://snapshot-container.json \
  --region us-east-1 \
  --tag-specifications 'ResourceType=import-snapshot-task,Tags=[{Key=Name,Value=Ubuntu-18.04}]'

3. 监控导入进度：

bash复制watch -n 60 'aws ec2 describe-import-snapshot-tasks \
  --filters Name=task-state,Values=active \
  --query "ImportSnapshotTasks[*].{ID:ImportTaskId,Status:SnapshotTaskDetail.Status,Progress:SnapshotTaskDetail.Progress}" \
  --output table'

3.4.2 AMI直接导入方案

1. 准备镜像描述文件ami-container.json：

json复制[{
  "Description": "Ubuntu 18.04 Root Volume",
  "DeviceName": "/dev/sda1",
  "Format": "raw",
  "UserBucket": {
    "S3Bucket": "my-ami-import",
    "S3Key": "ubuntu-18.04.raw"
  }
}]

2. 启动导入任务：

bash复制aws ec2 import-image \
  --architecture x86_64 \
  --description "Ubuntu 18.04 AMI" \
  --disk-containers file://ami-container.json \
  --license-type BYOL \
  --platform Linux \
  --region us-east-1

3.5 使用EC2 Image Builder增强

3.5.1 创建基础设施配置

bash复制aws imagebuilder create-infrastructure-configuration \
  --name "ubuntu-18.04-infra" \
  --instance-types "t3.medium" \
  --key-pair "your-key-pair" \
  --subnet-id "subnet-xxxxxx" \
  --security-group-ids "sg-xxxxxx" \
  --terminate-instance-on-failure \
  --region us-east-1

3.5.2 定义镜像配方

bash复制aws imagebuilder create-image-recipe \
  --name "ubuntu-18.04-recipe" \
  --semantic-version "1.0.0" \
  --components '[{
    "componentArn": "arn:aws:imagebuilder:us-east-1:aws:component/update-linux/x.x.x"
  }]' \
  --parent-image "ami-imported-id" \
  --working-directory "/tmp" \
  --description "Custom Ubuntu 18.04 image" \
  --region us-east-1

4. 高级技巧与优化

4.1 镜像瘦身方案

1. 清理APT缓存：

bash复制sudo apt clean
sudo rm -rf /var/lib/apt/lists/*

2. 清空日志文件：

bash复制sudo find /var/log -type f -exec truncate -s 0 {} \;

3. 使用zerofree填充空闲空间：

bash复制sudo apt install zerofree
sudo zerofree -v /dev/sda1

4.2 自动化脚本示例

完整导入自动化脚本import-ami.sh：

bash复制#!/bin/bash
set -e

# 参数配置
IMAGE_URL="https://cloud-images.ubuntu.com/bionic/current/bionic-server-cloudimg-amd64.img"
S3_BUCKET="my-ami-import"
REGION="us-east-1"

# 下载镜像
echo "Downloading image..."
wget -q --show-progress "$IMAGE_URL"

# 格式转换
echo "Converting image format..."
qemu-img convert -f qcow2 -O raw bionic-server-cloudimg-amd64.img ubuntu.raw

# 上传到S3
echo "Uploading to S3..."
aws s3 cp ubuntu.raw "s3://${S3_BUCKET}/" \
  --storage-class STANDARD \
  --metadata imported-from=ubuntu-cloud \
  --region "$REGION"

# 导入快照
echo "Importing snapshot..."
IMPORT_TASK=$(aws ec2 import-snapshot \
  --description "Ubuntu 18.04" \
  --disk-container "{\"Format\":\"raw\",\"UserBucket\":{\"S3Bucket\":\"${S3_BUCKET}\",\"S3Key\":\"ubuntu.raw\"}}" \
  --region "$REGION" \
  --output json)

TASK_ID=$(echo "$IMPORT_TASK" | jq -r '.ImportTaskId')

# 等待导入完成
echo -n "Waiting for import to complete"
while true; do
  STATUS=$(aws ec2 describe-import-snapshot-tasks \
    --import-task-ids "$TASK_ID" \
    --query "ImportSnapshotTasks[0].SnapshotTaskDetail.Status" \
    --output text \
    --region "$REGION")
  
  if [[ "$STATUS" == "completed" ]]; then
    break
  elif [[ "$STATUS" == "error" ]]; then
    echo "Import failed!"
    exit 1
  fi
  echo -n "."
  sleep 30
done

# 获取快照ID
SNAPSHOT_ID=$(aws ec2 describe-import-snapshot-tasks \
  --import-task-ids "$TASK_ID" \
  --query "ImportSnapshotTasks[0].SnapshotTaskDetail.SnapshotId" \
  --output text \
  --region "$REGION")

# 注册AMI
echo "Registering AMI..."
aws ec2 register-image \
  --name "Ubuntu-18.04-Custom" \
  --description "Custom Ubuntu 18.04 Image" \
  --architecture x86_64 \
  --root-device-name /dev/sda1 \
  --block-device-mappings "DeviceName=/dev/sda1,Ebs={SnapshotId=${SNAPSHOT_ID}}" \
  --virtualization-type hvm \
  --ena-support \
  --region "$REGION"

echo "AMI creation complete!"

5. 成本控制与优化

5.1 费用组成分析

1. S3存储费用：

   • 标准存储：$0.023/GB/月（us-east-1）
   • 数据传输：$0.09/GB（出站）

2. EC2资源费用：

   • 快照存储：$0.05/GB/月
   • AMI存储：免费（仅收取快照费用）

3. 计算资源费用：

   • Image Builder实例：按实际使用时间计费

5.2 成本优化建议

1. 及时清理资源：

bash复制# 删除S3临时文件
aws s3 rm s3://my-ami-import/ubuntu.raw

# 删除本地文件
rm -f bionic-server-cloudimg-amd64.img ubuntu.raw

# 注销不再使用的AMI
aws ec2 deregister-image --image-id ami-xxxxxx

# 删除关联快照
aws ec2 delete-snapshot --snapshot-id snap-xxxxxx

2. 使用生命周期策略：

bash复制aws s3api put-bucket-lifecycle-configuration \
  --bucket my-ami-import \
  --lifecycle-configuration '{
    "Rules": [{
      "ID": "TempFileExpiration",
      "Status": "Enabled",
      "Prefix": "",
      "Expiration": {"Days": 1},
      "AbortIncompleteMultipartUpload": {"DaysAfterInitiation": 1}
    }]
  }'

6. 常见问题排查

6.1 典型错误与解决方案

6.2 性能优化记录

1. 导入速度慢：

   • 使用c5.large实例运行Image Builder
   • 启用S3传输加速
   • 压缩镜像后再上传（需权衡CPU时间）

2. 镜像启动失败：

   • 检查/etc/fstab配置
   • 验证cloud-init配置
   • 确保使用hvm虚拟化类型

7. 安全最佳实践

1. 镜像加固建议：

   • 更新所有安全补丁：

     bash复制sudo apt update && sudo apt full-upgrade -y
     

   • 禁用root直接登录
   • 安装基础安全工具：

     bash复制sudo apt install -y fail2ban unattended-upgrades
     

2. IAM安全配置：

   • 为vmimport角色添加权限边界
   • 启用CloudTrail日志记录
   • 设置S3桶策略限制访问IP范围

3. 网络隔离建议：

   • 在私有子网中运行Image Builder
   • 配置安全组仅允许必要端口
   • 使用VPC端点访问S3服务

在实际操作中，我发现导入过程中最耗时的环节通常是S3上传和EC2导入服务处理阶段。对于生产环境使用，建议提前24小时开始准备镜像，并做好版本管理。一个实用的技巧是为每个镜像版本创建描述性标签，例如：

bash复制aws ec2 create-tags \
  --resources ami-xxxxxx \
  --tags Key=Version,Value=1.0.0 Key=OS,Value=Ubuntu-18.04