Obsidian-Main/05. 資料收集/架站/Proxmox VE.md

安裝

下載ISO

• Get the free Proxmox VE ISO installer

準備USB disk

• 用Rufus的話
  1. 在遇到詢問是否要下載 Grub 時，請選擇「否」
  2. 必須使用DD mode來建立開機碟。（參考：Prepare Installation Media - Proxmox VE） !

設定

關閉「闔上螢幕後休眠」

打開/etc/systemd/logind.conf：

nano /etc/systemd/logind.conf

找到下面兩行，把值改成ignore：

HandleLidSwitch=ignore
HandleLidSwitchDocked=ignore

然後重開機：

systemctl restart systemd-logind.service

圖示： !

增加硬碟

先用lsblk列出所有硬碟，這裡假設sda是我們的開機磁碟，我要要新增sdb：

root@pve:~# lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 931.5G  0 disk <-- 目前在用的
├─sda1   8:1    0  1007K  0 part 
├─sda2   8:2    0   512M  0 part 
└─sda3   8:3    0   931G  0 part 
sdb      8:16   0 111.8G  0 disk <-- 要新增的
├─sdb1   8:17   0   100M  0 part 
├─sdb2   8:18   0    16M  0 part 
├─sdb3   8:19   0 111.1G  0 part 
└─sdb4   8:20   0   563M  0 part

然後安裝parted，我們要用它來分割硬碟：

apt install parted

開始分割：

parted /dev/sdb mklabel gpt

建立primary partition，格式為ext4：

parted -a opt /dev/sdb mkpart primary ext4 0% 100%

再來將分割好的硬碟格式化為ext4，label命名為data2：

mkfs.ext4 -L data2 /dev/sdb1

再用lsblk看一次，會發現sdb已經重新分割成1個partition了：

root@pve:~# lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 931.5G  0 disk 
├─sda1   8:1    0  1007K  0 part 
├─sda2   8:2    0   512M  0 part 
└─sda3   8:3    0   931G  0 part 
sdb      8:16   0 111.8G  0 disk 
└─sdb1   8:17   0 111.8G  0 part

用lsblk -fs可以看到每一個硬碟的檔案系統格式：

root@pve:~# lsblk -fs
NAME  FSTYPE     LABEL UUID                                 FSAVAIL FSUSE% MOUNTPOINT
sda1  zfs_member rpool 11775123664036754029                                
└─sda zfs_member rpool 11775123664036754029                                
sda2  vfat       rpool 32D0-3449                                           
└─sda zfs_member rpool 11775123664036754029                                
sda3  zfs_member rpool 11775123664036754029                                
└─sda zfs_member rpool 11775123664036754029                                
sdb1  ext4       data2 bc6d2c41-a3ca-4b0f-a5de-51ee28ae9cec <-- 剛剛分割的
└─sdb

接下來，將新硬碟掛載到檔案目錄上，先建立一個新目錄來掛載新硬碟：

mkdir -p /mnt/data

接下來編輯/etc/fstab，將新硬碟寫進來，這樣開機之後才會自動把它掛載起來：

nano /etc/fstab

加入這一行（注意：data2要改成你自己的label）：

LABEL=data2 /mnt/data ext4 defaults 0 2

剛新硬碟掛起來：

mount -a

用df就可以看到新硬碟了：

root@pve:~# df
Filesystem       1K-blocks    Used Available Use% Mounted on
udev              16288892       0  16288892   0% /dev
tmpfs              3262688    9324   3253364   1% /run
rpool/ROOT/pve-1 942667136 1267584 941399552   1% /
tmpfs             16313440   43680  16269760   1% /dev/shm
tmpfs                 5120       0      5120   0% /run/lock
tmpfs             16313440       0  16313440   0% /sys/fs/cgroup
rpool            941399680     128 941399552   1% /rpool
rpool/data       941399680     128 941399552   1% /rpool/data
rpool/ROOT       941399680     128 941399552   1% /rpool/ROOT
/dev/fuse            30720      16     30704   1% /etc/pve
tmpfs              3262688       0   3262688   0% /run/user/0
/dev/sdb1        114854020   61464 108915208   1% /mnt/data     <-- 新硬碟在這裡

參考：

• How to add storage to Proxmox

增加iSCSI磁碟

增加需要CHAP認證的iSCSI磁碟

1. 先確認找的到iSCSI磁碟

iscsiadm -m discovery -t st -p 192.168.1.11:3260

如果有找到的話會回傳一串IQN值，像是：

root@pve:~# iscsiadm -m discovery -t st -p 192.168.1.11:3260
192.168.1.11:3260,1 iqn.2000-01.com.synology:DiskStation.Target-1.3e589efea3
[fe80::211:32ff:fe20:eadd]:3260,1 iqn.2000-01.com.synology:DiskStation.Target-1.3e589efea3

2. 有IQN就可以用下列的命令連線與掛載：

iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-1.3e589efea3 --op update --name node.session.auth.username --value=名字
iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-1.3e589efea3 --op update --name node.session.auth.password --value=密碼
iscsiadm -m node -T iqn.2000-01.com.synology:DiskStation.Target-1.3e589efea3 -l  #連線
iscsiadm -m node -o update -n node.startup -v automatic  #設定開機自動掛載

增加NFS磁碟

1. 先在Synology上開一個NFS disk，設定如下： !
2. 再到Proxmox的 Datacenter->Storage->Add 來增加一個 NFS，設定如下 !

更改NFS mount為soft

1. 編輯/etc/pve/storage.cfg
2. 做如下修改 !

參考

• [經驗分享]Proxmox VE 採用 NFS 連接儲存的重點事項

設定VM備份目錄

如果將VM或LXC備份到某個目錄，先建立要備份的目錄：

mkdir -p /mnt/data/backup/

再來用WEB UI，操作如下： ! !

最後再到 Datacenter->Backups，建立一個scheule來備份就可以了： !

將資料備份到NAS

1. 先在NAS開一個share folder跟一個帳號。 ! !
2. Proxmox：到裡將剛剛新開的folder給掛載起來。 ! 會跳出一個視窗，如下圖來填，記得content那一欄有4個要選。 !
3. Proxmox：到 Datacenter->Backup 新增一個排程。 ! 一樣會跳出一個視窗，依需求來填，要注意的是Storage必須是前一步驟的ID，Selection Mode可以選擇All。 !

參考：

• HASS + Proxmox: Automatic Backups to Synology NAS

設定 UPS

因為 UPS 的 USB 是連接在 NAS 上，所以Proxmox這邊必須要去monitor NAS那邊所回報的狀態，請確定NAS端有打開「啟用網路不斷電系統伺服器」。

1. 安裝 nut：apt-get install nut
2. 修改 /etc/nut/nut.conf，設定 MODE=netclient
3. 修改 /etc/nut/upsmon.conf，加入一行：MONITOR ups@<NAS_IP> 1 <NAS_Username> <NAS_UserPassword> slave
4. 開始 upsmon：upsmon start
5. 用 ps -ef | grep upsmon 確認 upsmon是否執行： !Pasted image 20220811145852.png
6. 若正常，可以取回UPS的一些硬體資料，upsc ups@<NAS_IP> !Pasted image 20220811150034.png

參考

• UPSMON(8)
• 不斷電系統 | DSM - Synology 知識中心
• 設定 Proxmox VE連動Synology的不斷電系統

更新

加入更新來源

編輯/etc/apt/sources.list，加入：

deb http://ftp.debian.org/debian bullseye main contrib
deb http://ftp.debian.org/debian bullseye-updates main contrib

# PVE pve-no-subscription repository provided by proxmox.com,
# NOT recommended for production use
deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription

# security updates
deb http://security.debian.org/debian-security bullseye-security main contrib

取消訂閱服務

編輯/etc/apt/sources.list.d/pve-enterprise.list，把下面這行注釋掉：

deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise

也就是變成：

#deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise

使用apt update來更新套件。 使用apt dist-upgrade來升級系統版本。

重灌後要做的事情

1. 建立ZFS pool。
2. 確認S.M.A.R.T. 是否啟用，預設是啟用的。 smartctl -a /dev/<SDA_N>
3. 打開IOMMU
4. 打開vm aware
5. 增加NFS共享磁碟
6. 排程備份
7. 上傳安裝Windows需要的驅動ISO
   1. Windows VirtIO Drivers
8. 把常用的VM轉為template
9. 安裝Cockpit-Linux Server, 讓您的PVE有更棒的圖形管理介面。

參考

• 套件功能的更新（Proxmox update）
• 裝完PVE後的11件必作清單 (中文翻譯)
• Before I do anything on Proxmox, I do this first...

Trouble shooting

• Emergency mode，表示開機失敗，請檢查/etc/fstab是不是有無法掛載的disk。

參考

• [Fix] Getting out of emergency mode : Proxmox