VMware 虚拟机搭 Proxmox VE 集群(一):安装、组集群与带盘在线迁移

VMware 虚拟机搭 Proxmox VE 集群(一):安装、组集群与带盘在线迁移

目标:三台 PVE 节点组成一个集群,每台挂本地 ZFS 盘,验证”带盘在线迁移”,不使用共享存储。
环境:Windows 宿主机 + VMware Workstation 17 + Proxmox VE 9.2.32(Debian 13 trixie,内核 7.0.14-30-pve)。

规划

节点 Hostname IP 系统盘 数据盘
pve1 pve1.lab 192.168.88.11 32 GiB 60 GiB
pve2 pve2.lab 192.168.88.12 32 GiB 60 GiB
pve3 pve3.lab 192.168.88.13 32 GiB 60 GiB

网络使用 VMware NAT(VMnet8),网关 192.168.88.2。静态 IP 要避开 VMware 的 DHCP 池(通常是 .128 到 .254),否则会和自动分配的地址冲突。

系统盘装 PVE,数据盘留空,装完后单独做成 ZFS 池。这样”系统”和”虚拟机磁盘”分离,也方便后面测试迁移。

1. 宿主机准备

嵌套 KVM 要求 VMware 把 VT-x/AMD-V 透传给虚拟机,Windows 上最大的干扰是 Hyper-V。

1
2
3
4
5
6
7
# 关闭 Hyper-V,避免它与 VMware 的嵌套虚拟化冲突(管理员 PowerShell)
bcdedit /set hypervisorlaunchtype off

# 然后在"启用或关闭 Windows 功能"中取消:
# Hyper-V、Windows 虚拟机监控程序平台、虚拟机平台、WSL
# 并在"Windows 安全中心 → 设备安全性 → 内核隔离"中关闭"内存完整性"
# 最后重启

VMware Workstation 17 即可(个人使用免费)。宿主机建议 16GB 内存以上、8 核、100GB 空闲磁盘。

2. 创建三台虚拟机

项目 配置
客户机系统 Linux → Debian 12/13 64 位
CPU 2 vCPU,勾选”虚拟化 Intel VT-x/EPT 或 AMD-V/RVI”
内存 4096 MB
硬盘 1 32 GiB,SCSI
硬盘 2 60 GiB,SCSI
网络 NAT(VMnet8)
CD/DVD Proxmox VE ISO

每台都要勾选嵌套虚拟化,这是硬性要求。三台配置保持一致。

PVE ISO 从 https://www.proxmox.com/en/downloads 的下载页获取,文件名形如 proxmox-ve_9.2-1.iso,大小约 1.5 到 2GB。下载后校验:

1
2
# 校验 ISO 完整性,和下载页的 SHA256 对比
Get-FileHash .\proxmox-ve_9.2-1.iso -Algorithm SHA256

3. 安装 PVE(虚拟机要开intel VT-x)

挂载 ISO 启动,选择 Install Proxmox VE (Graphical),然后按向导走:

  1. 接受 EULA
  2. Target Harddisk 选系统盘(32GiB 那块),文件系统选 ext4
  3. 时区、键盘
  4. 设置 root 密码和邮箱
  5. 网络配置

网络页按规划填写:

1
2
3
4
5
6
Management Interface: nic0
Hostname (FQDN): pve1.lab
IP Address (CIDR): 192.168.88.11/24
Gateway: 192.168.88.2
DNS Server: 192.168.88.2
☑ Pin network interface names

要点:

  • Hostname 必须是带点的 FQDN,三台分别用 pve1.lab / pve2.lab / pve3.lab
  • 数据盘(60GiB 那块)不要选、不要格式化,装完保持空白
  • 安装器显示的是十进制 GB,32GiB 会显示成 34.4GB,不是错误
  • pve2、pve3 只改 Hostname 和 IP,其余步骤完全相同

4. 首次登录与检查

浏览器打开 https://192.168.88.11:8006,用 root 加安装时设置的密码登录,领域选 Linux PAM。自签名证书的警告直接跳过。

登录后在 Shell 里检查:

1
2
3
4
5
6
7
8
# 查看 PVE 版本
pveversion

# 确认 FQDN 解析正确
hostname --fqdn

# 确认磁盘布局:系统盘有分区,数据盘全空
lsblk

5. 换源

PVE 9 使用 deb822 格式的 .sources 文件,不再是 pve-enterprise.list。默认只配了企业源,没有订阅会 401。

1
2
3
4
5
6
7
8
9
10
# 查看当前源文件
ls -l /etc/apt/sources.list.d/

# 禁用企业源(pve 和 ceph 两个),没有订阅用不上
for f in pve-enterprise.sources ceph.sources; do
p=/etc/apt/sources.list.d/$f
[ -f "$p" ] || continue
sed -i 's/^Enabled:.*/Enabled: no/' "$p"
grep -q '^Enabled:' "$p" || echo 'Enabled: no' >> "$p"
done

写入免费源,官方地址和清华镜像二选一:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 方案一:Proxmox 官方源
cat > /etc/apt/sources.list.d/proxmox.sources <<'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pve
Suites: trixie
Components: pve-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF

# 方案二:清华镜像(国内速度快),其余字段不变
cat > /etc/apt/sources.list.d/proxmox.sources <<'EOF'
Types: deb
URIs: https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian/pve
Suites: trixie
Components: pve-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF

Signed-By 仍指向本机已有的官方 keyring,镜像只转发文件,签名校验不受影响。

顺手把 Debian 基础源也换成镜像:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 替换 Debian 主仓库地址
sed -i 's|http://deb.debian.org/debian/|https://mirrors.tuna.tsinghua.edu.cn/debian/|' \
/etc/apt/sources.list.d/debian.sources

# 替换 Debian 安全仓库地址
sed -i 's|http://security.debian.org/debian-security/|https://mirrors.tuna.tsinghua.edu.cn/debian-security/|' \
/etc/apt/sources.list.d/debian.sources

# 替换 Proxmox 仓库地址
sed -i 's|http://download.proxmox.com/debian/pve|https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian/pve|' \
/etc/apt/sources.list.d/proxmox.sources

# 验证
grep -r "URIs" /etc/apt/sources.list.d/

更新并确认:

1
2
3
4
5
6
7
8
9
10
11
12
13
# 刷新索引,输出中不应出现 401
apt update

# 升级到最新
apt full-upgrade -y

# 对比运行内核和已安装内核,不一致就重启
uname -r
dpkg -l 'proxmox-kernel-*' | grep ^ii
reboot

# 确认免费源已生效
apt policy proxmox-ve

升级过程中如果刷屏 “Tried to start delayed item … but failed”,是 apt 3.0.3 的已知 bug,由临时下载失败触发,apt 3.0.4 已修复。确认 apt –version 在 3.0.4 以上即可忽略。

pve2、pve3 装完后,把源文件从 pve1 拷过去,省得重复改:

1
2
3
4
5
6
7
8
# 在 pve1 上执行
scp /etc/apt/sources.list.d/{debian.sources,proxmox.sources,pve-enterprise.sources,ceph.sources} \
root@192.168.88.12:/etc/apt/sources.list.d/
scp /etc/apt/sources.list.d/{debian.sources,proxmox.sources,pve-enterprise.sources,ceph.sources} \
root@192.168.88.13:/etc/apt/sources.list.d/

# 两台各自更新
apt update && apt full-upgrade -y

6. 组集群

先统一三台的名称解析,每台都覆盖写入同样的内容:

1
2
3
4
5
6
7
8
9
10
# 三台节点互相解析,集群和迁移都依赖它
cat > /etc/hosts <<'EOF'
127.0.0.1 localhost
192.168.88.11 pve1.lab pve1
192.168.88.12 pve2.lab pve2
192.168.88.13 pve3.lab pve3
EOF

# 验证
getent hosts pve1.lab pve2.lab pve3.lab

在 pve1 创建集群:

1
2
3
4
5
# 创建集群
pvecm create labcluster

# 单节点时 Expected votes 为 1,Quorate: Yes
pvecm status

在 pve2、pve3 加入(确保此时没有虚拟机):

1
2
# 加入集群,按提示输入 pve1 的 root 密码
pvecm add 192.168.88.11

三台都加入后检查:

1
2
3
4
5
# 应列出 3 个节点
pvecm nodes

# Expected votes: 3,Quorum: 2,Quorate: Yes
pvecm status

7. ZFS 池与存储

每台节点各建一个同名池。先确认哪块是 60GiB 的空盘——认大小,不认设备名,VMware 里不同虚拟机的盘序可能相反。

1
2
3
4
5
6
7
8
# 确认空盘,60G 且没有分区
lsblk

# 创建池(把 /dev/sdX 换成实际设备名)
zpool create -o ashift=12 vmdata /dev/sdX

# 确认 ONLINE
zpool status vmdata

如果 ZFS 报 “is in use”,说明选到了系统盘,停下来重新确认,不要加 -f 强推。

三台的池都建好后,在一台上添加存储(storage.cfg 是集群共享配置,只需一次):

1
2
3
4
5
# 添加 ZFS 存储,ID 与池名一致
pvesm add zfspool vmdata --pool vmdata --content images

# 每台节点分别检查,都应为 active
pvesm status --storage vmdata

8. 测试 VM 与带盘在线迁移

先下载镜像,然后上传,镜像会上传到 “/var/lib/vz/template/iso” 下面

![屏幕截图 2026-11-22 144050](C:\Users\Bote798\Pictures\Screenshots\屏幕截图 2026-11-22 144050.png)

建一台最小 VM,系统盘放在 vmdata:

1
2
3
4
5
6
7
8
9
10
11
12
13
# 创建 VM:1 核 512M
qm create 100 --name mig-test --memory 512 --cores 1 \
--net0 virtio,bridge=vmbr0 --scsihw virtio-scsi-single --ostype l26

# 8G 磁盘放本地 ZFS 池
qm set 100 --scsi0 vmdata:8

# 挂 ISO 并从光盘启动
qm set 100 --ide2 local:iso/alpine-standard-3.24.4-x86_64.iso,media=cdrom
qm set 100 --boot order=ide2

# 启动
qm start 100

控制台登录后跑一个时间戳循环,用来观察迁移过程中虚拟机是否中断:

1
2
# 在 Alpine 控制台内执行
while true; do date; sleep 1; done

迁移前必须弹出光驱。PVE 不会迁移 local 存储上的 ISO,配置里带着 cdrom 镜像会直接拒绝:

1
2
3
4
5
# 把光驱设为无介质
qm set 100 --ide2 none,media=cdrom

# 确认配置
qm config 100 | grep ide2

失败时的典型日志:

1
2
can't migrate local disk 'local:iso/...': local cdrom image
ERROR: Problem found while scanning volumes - can't migrate VM

执行在线迁移:

1
2
# 带本地磁盘,虚拟机不停机
qm migrate 100 pve2 --with-local-disks --online

实测日志(8GiB 磁盘):

1
2
3
4
5
6
starting storage migration
mirror-scsi0: transferred 8.0 GiB of 8.0 GiB (100.00%) in 4s, ready
switching to actively synced mode
starting online/live migration
migration completed, transferred 416.7 MiB VM-state
migration finished successfully (duration 00:00:16)

整个过程中 Alpine 控制台的时间戳连续,首次迁移停机约 14 毫秒,反向迁移到 pve3 时停机 6 毫秒。

迁移后核对:

1
2
3
4
5
6
# 目标节点:VM 在运行,磁盘已迁入
qm status 100
pvesm list vmdata --vmid 100

# 源节点:磁盘已不存在
pvesm list vmdata --vmid 100

最后修正启动顺序,否则关机后无法启动:

1
2
3
4
5
# 光驱已空,改从硬盘启动
qm set 100 --boot order=scsi0

# 可选:删掉空光驱
qm set 100 --delete ide2

9. 当前进度

  • pve1 / pve2 / pve3 安装,内核统一到 7.0.14-30-pve
  • 三台换源、更新
  • 集群组建完成(3 节点、3 票、Quorate)
  • 每台创建 ZFS 池 vmdata
  • 集群存储 vmdata 添加完成,三台 active
  • 测试 VM 创建,磁盘落在 vmdata
  • 带盘在线迁移验证(pve1 到 pve2,停机 14 ms)
  • 反向迁移复测(pve2 到 pve3,停机 6 ms)

10. 注意

  • PVE 9 的企业源文件是 pve-enterprise.sources,不是旧版的 .list,旧命令会报 “No such file”。
  • 升级时满屏 “Tried to start delayed item”,是 apt 3.0.3 的已知 bug,升到 3.0.4 后消失。
  • 新内核装好后必须重启才会生效,用 uname -r 和已安装内核对比确认。
  • 迁移报 local cdrom image:PVE 不迁移 local 存储上的 ISO,迁移前先执行 qm set –ide2 none,media=cdrom。
  • 弹出光驱后忘记改 boot order,虚拟机关机后会提示 no bootable device。

11. 后续更新内容(可能)

  • 给关键 VM 配置 pvesr 复制,迁移时只传增量,节点故障也能在对面直接拉起。
  • 部署 Proxmox Backup Server,做一次整机备份与恢复演练。
  • 评估何时需要共享存储:只有要求秒级迁移或自动故障切换时,才值得上 Ceph 副本 2。

bote因为比较忙所以不能像以前一样手写文档了,现在都是大肥鱼写完我再改,后面的内容更新也会慢一点。


VMware 虚拟机搭 Proxmox VE 集群(一):安装、组集群与带盘在线迁移
https://bote798.top/2026/11/22/VMware 虚拟机搭 Proxmox VE 集群(一):安装、组集群与带盘在线迁移/
作者
bote798
发布于
2026年11月22日
更新于
2026年11月22日
许可协议