Proxmox与StarWind VSAN Free虚拟存储部署指南

1. 在Proxmox上部署StarWind VSAN Free虚拟存储设备

作为一名在虚拟化领域摸爬滚打多年的老手，我最近在家庭实验室环境中尝试了StarWind VSAN Free与Proxmox的整合方案。这个组合特别适合那些想要构建高性能、低成本虚拟存储环境的技术爱好者和小型企业。下面我将详细记录整个部署过程，包括那些官方文档没提到的实用技巧。

StarWind VSAN本质上是一个将本地存储转化为共享存储的软件解决方案。它通过在多个节点间同步数据，实现类似企业级SAN的功能。而Proxmox作为开源的虚拟化管理平台，与StarWind VSAN的结合可以打造出媲美商业方案的虚拟化环境。

重要提示：虽然本文演示的是单节点安装，但实际生产环境中至少需要两个节点才能实现高可用性。家庭实验室环境可以先用单节点测试功能，后续再扩展。

2. 环境准备与前期工作

2.1 硬件与软件需求清单

在开始之前，我们需要确保环境满足以下基本要求：

• Proxmox节点：至少一个运行中的Proxmox VE 7.x或更新版本的主机。虽然VSAN功能需要多节点，但单节点安装可用于测试和评估
• 网络配置：
  • 1个1GbE网卡用于管理流量（最低要求）
  • 2个高速网卡用于存储同步（建议10GbE或至少2.5GbE）
• 存储配置：
  • 系统磁盘用于安装Proxmox
  • 额外的高速存储设备（NVMe SSD最佳）用于VSAN数据存储
• 软件许可：从StarWind官网获取的免费VSAN许可证文件

我自己的家庭实验室使用的是Dell R720xd服务器，配备了：

• 双Intel Xeon E5-2670 v2处理器
• 128GB DDR3内存
• 1个Intel I350 1GbE四端口网卡（管理网络）
• 2个Mellanox ConnectX-3 10GbE网卡（存储同步）
• 2块Intel DC S3610 800GB SSD（ZFS镜像池）
• 4块Seagate Exos 10TB HDD（ZFS RAIDZ2）

2.2 获取必要软件组件

1. 申请免费许可证：

   • 访问StarWind官网的VSAN Free页面
   • 选择"Red Hat Virtualization [KVM]"版本（这是与Proxmox兼容的版本）
   • 填写基本信息后，系统会发送包含下载链接和许可证的邮件

2. 下载软件包：

   • 从邮件中的链接获取StarWindVSAN_KVM.zip（当前版本链接为https://ovf.starwind.com/tmplink/StarWindVSAN_KVM.zip）
   • 同时下载附带的许可证文件（.swk格式）

实测发现：StarWind的下载链接有时效性，建议收到邮件后尽快下载。我曾遇到过链接过期的情况，不得不重新申请。

3. 详细安装步骤解析

3.1 准备OVA文件

1. 解压软件包：

   bash复制unzip StarWindVSAN_KVM.zip -d StarWindVSAN
   

   解压后会得到CVM.ova文件（约2.5GB）

2. 验证文件完整性：

   bash复制cd StarWindVSAN
   sha256sum -c checksums.sha256
   

   这一步经常被忽略，但在生产环境中至关重要。我曾遇到过因文件损坏导致的安装失败。

3.2 上传到Proxmox节点

1. 创建导入目录：

   bash复制mkdir /ova_import
   chmod 755 /ova_import
   

2. 传输文件：

   • 使用SCP或其他文件传输工具将CVM.ova上传到Proxmox节点的/ova_import目录
   • 我习惯使用rsync，速度更快且支持断点续传：

     bash复制rsync -avzP CVM.ova root@proxmox-host:/ova_import/
     

3.3 导入虚拟机

1. 解压OVA文件：

   bash复制cd /ova_import
   tar xvf CVM.ova
   

   解压后会得到以下文件：

   • CVM.ovf（虚拟机描述文件）
   • CVM-disk1.qcow2（虚拟磁盘）
   • CVM.mf（清单文件）

2. 执行导入命令：

   bash复制qm importovf 1032 /ova_import/CVM.ovf local --format qcow2
   

   参数说明：

   • 1032：为新虚拟机分配的ID
   • local：存储名称（根据你的Proxmox配置调整）

常见问题：如果遇到"Permission denied"错误，可能是SELinux导致。临时解决方案：

bash复制setenforce 0

但建议正确配置SELinux策略而非完全禁用。

3.4 虚拟机硬件配置调整

导入完成后，需要对虚拟机硬件进行优化配置：

1. 基本配置：

   • 内存：至少8GB（建议16GB以获得更好性能）
   • CPU：8核或更多（StarWind VSAN是多线程应用）
   • BIOS：SeaBIOS（兼容性最好）
   • 机器类型：i440fx（默认）

2. 网络配置：

   • 添加1个e1000网卡用于管理（连接至1GbE物理网卡）
   • 添加2个virtio网卡用于存储同步（连接至高速物理网卡）

3. 存储控制器：

   • SCSI控制器保持默认的LSI 53C895A
   • 如需添加直通磁盘，建议使用VirtIO SCSI控制器

4. 磁盘配置：

   • 系统磁盘：保留导入的qcow2镜像
   • 数据磁盘：添加直通磁盘或新虚拟磁盘用于VSAN存储

bash复制# 示例：添加直通NVMe磁盘
qm set 1032 -scsi2 /dev/disk/by-id/nvme-Samsung_SSD_960_PRO_1TB_S3ESNX0J123456

4. 高级配置与优化技巧

4.1 网络优化设置

存储网络对VSAN性能至关重要，建议进行以下优化：

1. MTU设置：

   bash复制# 在Proxmox主机上设置巨帧
   ip link set enp5s0f0 mtu 9000
   ip link set enp5s0f1 mtu 9000
   

2. 中断亲和性：

   bash复制# 将网卡中断绑定到特定CPU核心
   echo 2 > /proc/irq/$(grep enp5s0f0 /proc/interrupts | awk -F: '{print $1}')/smp_affinity
   

3. 虚拟机网络配置：

   • 在虚拟机XML配置中添加以下参数优化virtio性能：

     xml复制<driver name='vhost' queues='4'/>
     

4.2 存储性能调优

1. 磁盘调度器：

   bash复制# 对NVMe设备设置为none
   echo none > /sys/block/nvme0n1/queue/scheduler
   

2. IO线程配置：

   bash复制# 在虚拟机配置中添加独立的IO线程
   qm set 1032 -iothread 1
   qm set 1032 -scsi2 iothread=1
   

3. 缓存策略：

   • 对数据磁盘使用writeback缓存（需确保有UPS保护）

     bash复制qm set 1032 -scsi2 cache=writeback
     

5. 常见问题与解决方案

5.1 导入失败问题排查

问题现象：qm importovf命令执行失败，提示"Failed to open OVF file"

解决方案：

1. 检查OVA文件完整性：

   bash复制tar tvf CVM.ova
   

2. 确保有足够的磁盘空间（至少需要2倍OVA文件大小的空间）
3. 尝试手动解压后导入：

   bash复制qm importdisk 1032 /ova_import/CVM-disk1.qcow2 local
   

5.2 虚拟机启动问题

问题现象：虚拟机启动后无法获取IP地址

可能原因：

• 网卡型号不兼容
• 虚拟交换机配置错误

解决步骤：

1. 检查Proxmox网络配置：

   bash复制cat /etc/network/interfaces
   

2. 尝试更换网卡型号（e1000改为virtio或反之）
3. 在虚拟机控制台检查网络配置：

   bash复制ip a
   dhclient eth0
   

5.3 性能优化检查表

当VSAN性能不如预期时，按以下步骤检查：

1. 网络检查：

   • 使用iperf3测试节点间带宽：

     bash复制# 在一端运行服务器
     iperf3 -s
     # 在另一端测试
     iperf3 -c <server_ip> -t 30 -P 4
     

   • 检查是否有丢包：

     bash复制ethtool -S enp5s0f0 | grep errors
     

2. 存储检查：

   • 测试本地磁盘性能：

     bash复制fio --filename=/dev/nvme0n1 --direct=1 --rw=randrw --bs=4k --ioengine=libaio --iodepth=64 --runtime=60 --numjobs=4 --time_based --group_reporting --name=iops-test-job --eta-newline=1
     

   • 检查磁盘延迟：

     bash复制iostat -x 1
     

6. 后续配置建议

完成CVM部署后，接下来需要进行StarWind VSAN的配置工作。虽然这部分内容超出了本文范围，但有几个关键点值得提前注意：

1. 多节点配置：

   • 在所有参与VSAN的Proxmox节点上重复上述安装步骤
   • 确保各节点间时钟同步（使用NTP）
   • 配置主机名解析（/etc/hosts或DNS）

2. 高可用设置：

   • 创建镜像设备时选择正确的同步模式（同步模式更安全但性能略低）
   • 合理配置心跳网络（建议使用独立物理网络）

3. 监控与维护：

   • 配置StarWind管理控制台的告警通知
   • 定期检查存储空间使用情况
   • 设置自动快照策略保护重要数据

在我的实际部署中，这个方案成功替代了原本的iSCSI SAN，不仅性能提升了约30%，还节省了数万元的硬件成本。特别是在运行多个Windows虚拟机时，存储延迟从原来的15-20ms降低到了3-5ms。