我正在嘗試讓 Ubuntu 20.04 在 Raspberry PI 上無磁碟啟動,這樣我就可以在叢集上執行 Ubuntu。
到目前為止,我將映像從安裝了 Ubuntu 的 RPi4b 上的啟動分區移至 dnsmasq/TFTP 伺服器,這是/srv/tftpboot/<serial>/
Raspberry Pi 的預設設置,我更新了引導程式並讓 PI 啟動。
dnsmasq 日誌顯示啟動時載入的檔案:
/var/log/dnsmasq.log
==> /var/log/dnsmasq.log <==
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 available DHCP subnet: 192.168.254.254/255.255.255.0
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 vendor class: PXEClient:Arch:00000:UNDI:002001
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 PXE(eth0) dc:a6:32:b4:48:4f proxy
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 tags: eth0
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 broadcast response
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 sent size: 1 option: 53 message-type 2
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 sent size: 4 option: 54 server-identifier 192.168.254.254
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 sent size: 9 option: 60 vendor-class 50:58:45:43:6c:69:65:6e:74
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 sent size: 17 option: 97 client-machine-id 00:52:50:69:34:14:31:d0:00:32:b4:48:4f:f6...
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 sent size: 32 option: 43 vendor-encap 06:01:03:0a:04:00:50:58:45:09:14:00:00:11...
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 available DHCP subnet: 192.168.254.254/255.255.255.0
Sep 6 14:25:03 dnsmasq-dhcp[4799]: 1527100745 vendor class: PXEClient:Arch:00000:UNDI:002001
Sep 6 14:25:03 dnsmasq-tftp[4799]: error 0 Early terminate received from 192.168.254.253
Sep 6 14:25:03 dnsmasq-tftp[4799]: failed sending /srv/tftpboot/6b0bb1f6/start4.elf to 192.168.254.253
Sep 6 14:25:03 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/config.txt to 192.168.254.253
Sep 6 14:25:03 dnsmasq-tftp[4799]: file /srv/tftpboot/6b0bb1f6/pieeprom.sig not found
Sep 6 14:25:03 dnsmasq-tftp[4799]: file /srv/tftpboot/6b0bb1f6/recover4.elf not found
Sep 6 14:25:03 dnsmasq-tftp[4799]: file /srv/tftpboot/6b0bb1f6/recovery.elf not found
Sep 6 14:25:04 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/start4.elf to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/fixup4.dat to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: file /srv/tftpboot/6b0bb1f6/recovery.elf not found
Sep 6 14:25:05 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/config.txt to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/syscfg.txt to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/usercfg.txt to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/dt-blob.bin to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: file /srv/tftpboot/6b0bb1f6/recovery.elf not found
Sep 6 14:25:05 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/config.txt to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/syscfg.txt to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/usercfg.txt to 192.168.254.253
Sep 6 14:25:05 dnsmasq-tftp[4799]: file /srv/tftpboot/6b0bb1f6/bootcfg.txt not found
Sep 6 14:25:06 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/bcm2711-rpi-4-b.dtb to 192.168.254.253
Sep 6 14:25:06 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/overlays/overlay_map.dtb to 192.168.254.253
Sep 6 14:25:06 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/config.txt to 192.168.254.253
Sep 6 14:25:06 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/syscfg.txt to 192.168.254.253
Sep 6 14:25:06 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/usercfg.txt to 192.168.254.253
Sep 6 14:25:06 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/cmdline.txt to 192.168.254.253
Sep 6 14:25:08 dnsmasq-tftp[4799]: file /srv/tftpboot/6b0bb1f6/armstub8-gic.bin not found
Sep 6 14:25:08 dnsmasq-tftp[4799]: error 0 Early terminate received from 192.168.254.253
Sep 6 14:25:08 dnsmasq-tftp[4799]: failed sending /srv/tftpboot/6b0bb1f6/uboot_rpi_4.bin to 192.168.254.253
Sep 6 14:25:08 dnsmasq-tftp[4799]: sent /srv/tftpboot/6b0bb1f6/uboot_rpi_4.bin to 192.168.254.253
通常,您會使用 NFS 伺服器並更新 cmdline.txt 以包含 rootfs 的位置,因此一旦 initrd 加載,您就可以使用儲存在網路上的根 FS。
我找不到有關 Ubuntu 所需選項的太多信息,因此我直接從內核文件中獲取它們:https://www.kernel.org/doc/Documentation/filesystems/nfs/nfsroot.txt
所以我將 TFTP 伺服器上的 cmdline.txt 更新為:
cmdline.txt
net.ifnames=0 dwc_otg.lpm_enable=0 console=serial0,115200 console=tty1 nfsrootdebug elevator=deadline rootwait fixrtc init=initrd.img ip=dhcp rootfstype=nfs4 root=/dev/nfs nfsroot=192.168.254.254/srv/nfs/6b0bb1f6 rw
我只到達了 U-Boot 控制台。 vmlinuz 映像沒有被加載,所以我將 vmlinuz-5.4.0-1016-raspi 解壓縮到我安裝的 pi 上的 vmlinux,運行在 sdcard 上:
zcat /boot/vmlinuz-5.4.0-1016-raspi > vmlinux
並將其放入 TFTP 伺服器,然後更新 [all] 部分中的 config.txt 以使用解壓縮的映像。
配置.txt
[all]
arm_64bit=1
device_tree_address=0x03000000
enable_uart=1
cmdline=cmdline.txt
include syscfg.txt
include usercfg.txt
kernel=vmlinux
initramfs initrd.img followkernel
我已經成功地了解了 initrd 載入情況,並且 NFS 掛載腳本未掛載 NFS 共享....
nfsmount: need a path
Begin: Retrying nfs mount ...
提取initrd:
mkdir /root/initrd-expanded
cd /root/initrd-expanded
lz4 -cd /boot/initrd.img-5.4.0-1016-raspi | cpio -id
並查看 nfs 腳本內部:
# NFS root mounting
nfs_mount_root()
{
nfs_top
# For DHCP
modprobe af_packet
wait_for_udev 10
# Default delay is around 180s
delay=${ROOTDELAY:-180}
# loop until nfsmount succeeds
nfs_mount_root_impl
ret=$?
nfs_retry_count=0
while [ ${nfs_retry_count} -lt "${delay}" ] \
&& [ $ret -ne 0 ] ; do
[ "$quiet" != "y" ] && log_begin_msg "Retrying nfs mount"
sleep 1
nfs_mount_root_impl
ret=$?
nfs_retry_count=$(( nfs_retry_count + 1 ))
[ "$quiet" != "y" ] && log_end_msg
done
}
NFS 伺服器沒有受到任何影響,tcpdump port nfs
並且還添加了調試日誌記錄:
/etc/default/nfs-核心-伺服器
RPCMOUNTDOPTS="--manage-gids --debug all"
看來傳遞給 nfsroot 的路徑不正確...現在這就是有點令人困惑的地方。
基本映像安裝上 nfsroot= 的處理
nfsroot=192.168.254.254/srv/nfs/6b0bb1f6 -> works
nfsroot=192.168.254.254:/srv/nfs/6b0bb1f6 -> fails
如果您在執行 apt 更新後從已安裝的 SDCard 進行安裝:
nfsroot=192.168.254.254/srv/nfs/6b0bb1f6 -> fails
nfsroot=192.168.254.254:/srv/nfs/6b0bb1f6 -> works
那是我花了5個小時把頭髮拔出來的時間。
您無法(或至少我無法)從 Ubuntu 為 Raspberry PI 提供的映像建立可啟動的 NFS 安裝系統。去搞清楚!如果您嘗試這樣做,您將收到有關服務未啟動的各種錯誤。
所以,我會回答我自己的問題。
答案1
在 Raspberry PI 4b 上的 Ubuntu 20.04.1 上建立完全無磁碟系統
1)將 RaspberryPi Lite 安裝到 SDCard 上
2)使用 Raspberry OS SDCard 啟動 Rpi4,登入並執行以下命令以啟用 ssh:
cd /boot
touch ssh
reboot
3)從另一台機器更新引導程式。如果您知道 PI 的 IP 位址並且啟用了 ssh(上文),此腳本會將啟動程式碼設為 0xf12,這表示它將一遍又一遍地嘗試網路、SD卡、重新啟動。如果這篇文章過時,您可能需要確保韌體版本。它還會給你一個 env 文件,其中包含方便的序號和 mac 地址,儲存在<uuid>.rpi.env
文件中
./update-bootloader.sh <ip-address-of-the-pi> <ip-address-of-your-nfs-server>
例如
./update-bootloader.sh 192.168.0.254 192.169.0.254
#!/usr/bin/env bash
# update-bootloader.sh - update the boot loader for Rpi4
RPI_IP=$1
KICKSTART_IP=$2
RPI_DEFAULT_PASS="raspberry"
PI_EEPROM_DATE="2020-07-31"
PI_EEPROM_VERSION="pieeprom-${PI_EEPROM_DATE}"
PI_EEPROM_FILE="${PI_EEPROM_VERSION}.bin"
PI_EEPROM_LINK="https://github.com/raspberrypi/rpi-eeprom/raw/master/firmware/stable/${PI_EEPROM_FILE}"
UBUNTU_IMAGE_NAME="ubuntu-20.04.1-preinstalled-server-arm64+raspi.img"
UBUNTU_IMAGE_FILE="${UBUNTU_IMAGE_NAME}.xz"
UUID=$(cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w 32 | head -n 1)
ssh-keygen -R ${RPI_IP}
ssh-keyscan -H ${RPI_IP} >> ~/.ssh/known_hosts
sshpass -p "${RPI_DEFAULT_PASS}" ssh pi@${RPI_IP} << EOF
if [[ -f ${PI_EEPROM_FILE} ]];then
rm ${PI_EEPROM_FILE}
echo 'removed eeprom file'
fi
rm *.rpi.env
echo 'removed old env'
rm bootconf.txt
echo 'removed bootconf.txt'
if [[ ! -f ${PI_EEPROM_FILE} ]];then
wget ${PI_EEPROM_LINK}
fi
echo "extracting boot config from eeprom"
sudo rpi-eeprom-config ${PI_EEPROM_FILE} > bootconf.txt
echo "updating bootconfig"
sed -i 's/BOOT_ORDER=.*/BOOT_ORDER=0xf12/g' bootconf.txt
echo "MAX_RESTARTS=5" | sudo tee -a bootconf.txt
echo "writing eeprom"
sudo rpi-eeprom-config --out ${PI_EEPROM_VERSION}-netboot.bin --config bootconf.txt ${PI_EEPROM_FILE}
echo "updating eeprom on rpi"
sudo rpi-eeprom-update -d -f ./${PI_EEPROM_VERSION}-netboot.bin
echo "getting serial and mac"
cat /proc/cpuinfo | grep Serial | awk -F ': ' '{print \$2}' | tail -c 9 | awk '{print "RPI_SERIAL="\$1}' > ${UUID}.rpi.env
ip addr show eth0 | grep ether | awk '{print \$2}' | awk '{print "RPI_MAC="\$1}' >> ${UUID}.rpi.env
EOF
# copy the pi env back to get the serial and mac
sshpass -p "${RPI_DEFAULT_PASS}" scp -r pi@${RPI_IP}:~/${UUID}.rpi.env ~/${UUID}.rpi.env
sshpass -p "${RPI_DEFAULT_PASS}" ssh pi@${RPI_IP} << EOF
sudo reboot
EOF
cat ~/${UUID}.rpi.env
您的 pi 現在已重新啟動,並將對您的網路執行 ping 操作以取得 DHCP 回應。
4)使用 PI Imager 將 Ubuntu 20.04.1 安裝到 SD 卡上
5)將 SDCard 插入 Pi 並啟動
6)做一個
apt update -y; apt upgrade -y
設定你的通行證,安裝一些軟體包,將 vim 放在那裡(顯然,誰使用 emacs 或 nano ??)
7)關閉樹莓派
halt -p
在您的伺服器上
8)將 Ubuntu 20.04.1 安裝的 SDCard 插入伺服器,安裝驅動器,將作業系統檔案從分割區 2 複製到 nfs 位置,以便將根目錄共用給 PI,可能是 /srv/nfs/<serial>/
# find the partition where your CD card is (mine was sda on a rpi)
fdisk -l
# mount the sdcard - copy the second partition off (should contain the boot files, you can ignore the boot partition, we can use the files off the root partition)
mkdir /root/p2
mount /dev/sda2 /root/p2
# cp using using -ax will give you a correct copy, man cp if needed
cp -vax /root/p2/. /srv/nfs/<serial>/.
# clean up
umount /root/p2
rm -rf /root/p2
9)將 Rpi 檔案的啟動資料夾(儲存在 NFS 共用中)安裝到您的 TFTP 位置,以便您的 TFTP 可以提供啟動文件,我在這裡使用 PI 來為其他 PI 提供服務,因此請根據需要進行編輯)
#/etc/fstab
LABEL=writable / ext4 defaults 0 0
LABEL=system-boot /boot/firmware vfat defaults 0 1
/srv/nfs/<serial>/boot /srv/tftpboot/<serial> none defaults,bind 0 0
然後掛載到新位置
mount -a
10)將 nfs 共用的啟動資料夾中的 vmlinuz 解壓縮到 vmlinux 中,因為 pi 不會解壓縮 vmlinuz 內核
zcat /srv/nfs/<serial>/boot/vmlinuz-5.4.0-1016-raspi > /src/nfs/<serial>/boot/vmlinux-5.4.0-1016-raspi
11)在 /srv/nfs/<serial>/boot 分割區內建立符號連結以指向引導資料夾中缺少的 bcm2711-rpi-4-b.dtb、start4.elf、fixup4.dat 文件,以便 TFTP 可以找到它們在dtb 和韌體資料夾中
可選 - 清除所有不再需要的垃圾 - 查看我的ls -al
輸出,看看應該有什麼以及我刪除了什麼。
lrwxrwxrwx 1 root root 41 Sep 7 08:19 bcm2711-rpi-4-b.dtb -> dtbs/5.4.0-1016-raspi/bcm2711-rpi-4-b.dtb
-rw-r--r-- 1 root root 216 Sep 7 08:23 cmdline.txt
-rw-r--r-- 1 root root 220286 Aug 13 15:09 config-5.4.0-1016-raspi
-rw-r--r-- 1 root root 231 Sep 7 08:45 config.txt
lrwxrwxrwx 1 root root 43 Sep 6 20:34 dtb -> dtbs/5.4.0-1016-raspi/./bcm2711-rpi-4-b.dtb
lrwxrwxrwx 1 root root 43 Sep 6 20:34 dtb-5.4.0-1016-raspi -> dtbs/5.4.0-1016-raspi/./bcm2711-rpi-4-b.dtb
drwxr-xr-x 3 root root 4096 Sep 7 07:27 dtbs
drwxr-xr-x 2 root root 4096 Sep 7 07:56 firmware
lrwxrwxrwx 1 root root 19 Sep 7 08:15 fixup4.dat -> firmware/fixup4.dat
lrwxrwxrwx 1 root root 27 Sep 6 20:32 initrd.img -> initrd.img-5.4.0-1016-raspi
-rw-r--r-- 1 root root 29579888 Sep 6 20:34 initrd.img-5.4.0-1016-raspi
lrwxrwxrwx 1 root root 19 Sep 7 07:26 start4.elf -> firmware/start4.elf
-rw-r--r-- 1 root root 327 Sep 7 08:04 syscfg.txt
-rw-r--r-- 1 root root 4162247 Aug 13 15:09 System.map-5.4.0-1016-raspi
-rw-r--r-- 1 root root 200 Sep 7 08:04 usercfg.txt
-rw-r--r-- 1 root root 25907712 Sep 7 08:13 vmlinux-5.4.0-1016-raspi
lrwxrwxrwx 1 root root 24 Sep 6 20:32 vmlinuz -> vmlinuz-5.4.0-1016-raspi
-rw-r--r-- 1 root root 8420251 Aug 13 15:09 vmlinuz-5.4.0-1016-raspi
12)/srv/nfs/<serial>/boot
更新分割區中的一些配置
#/srv/nfs/<serial>/boot/config.txt
[pi4]
max_framebuffers=2
[all]
arm_64bit=1
device_tree_address=0x03000000
enable_uart=1
cmdline=cmdline.txt
include syscfg.txt
include usercfg.txt
kernel=vmlinux-5.4.0-1016-raspi
initramfs initrd.img-5.4.0-1016-raspi followkernel
#/srv/nfs/<serial>/boot/cmdline.txt
net.ifnames=0 dwc_otg.lpm_enable=0 console=serial0,115200 console=tty1 nfsrootdebug elevator=deadline rootwait fixrtc init=initrd.img ip=dhcp rootfstype=nfs4 root=/dev/nfs nfsroot=<nfs ip>:/srv/nfs/<serial> rw
13)更新 fstab - 這是發送到 pi 的 fstab
#/srv/nfs/<serial>/etc/fstab
proc /proc proc defaults 0 0
<nfs ip>:/srv/nfs/<serial> / nfs4 defaults,rw,nolock 0 0 # data to be shared to server
<nfs ip>:/srv/nfs/<serial>/boot/firmware /boot/firmware nfs4 defaults,rw,nolock 0 1 # data to be shared to server
none /tmp tmpfs defaults 0 0
none /var/run tmpfs defaults 0 0
none /var/lock tmpfs defaults 0 0
none /var/tmp tmpfs defaults 0 0
14)安裝 NFS 伺服器(Google這個)來為 Pi 提供服務
#/etc/exports
/srv/nfs/<serial> *(insecure,rw,async,no_root_squash)
exportfs -ra
15)安裝 dnsmasq 伺服器(google 是你的朋友)來提供 dhcp 選項並透過 tftp 傳輸啟動映像
#/etc/dnsmasq.conf
dhcp-range=<your network subnet>,proxy # e.g. 192.168.254.254,proxy
log-dhcp
enable-tftp
tftp-root=/srv/tftpboot
pxe-service=0,"Raspberry Pi Boot"
log-facility=/var/log/dnsmasq.log
16)集群?你有不只一個 Pi 嗎?您可以在伺服器上使用 Overlayfs 安裝來為多個 Pi 提供作業系統,使用單一基本根檔案系統,然後使用 Overlays 為每個 Pi 提供自己的儲存空間和 FS 修改空間。
如果你已經走到這一步了,那麼這應該很容易:
在您正確的伺服器上 - 不是 pi
17)為基於覆蓋檔案系統的安裝建立安裝,以便我們可以使用根檔案系統作為較低的目錄(Googleoverlayfs)
#/etc/fstab
overlay /srv/nfs/6b0bb1f6 overlay defaults,lowerdir=/srv/nfs/ubuntu-rpi4-lower,upperdir=/srv/nfs/6b0bb1f6-upper,workdir=/srv/nfs/6b0bb1f6-work,nfs_export=on,index=on 0 0
overlay /srv/nfs/68e71308 overlay defaults,lowerdir=/srv/nfs/ubuntu-rpi4-lower,upperdir=/srv/nfs/68e71308-upper,workdir=/srv/nfs/68e71308-work,nfs_export=on,index=on 0 0
18)建立 FS 系統來支援覆蓋,我的系統看起來像這樣,適用於 3 個 pi。
# this is inside /srv/nfs
drwxr-xr-x 1 root root 4096 Sep 7 12:47 68e71308
drwxr-xr-x 3 root root 4096 Sep 7 12:47 68e71308-upper
drwxr-xr-x 3 root root 4096 Sep 7 13:25 68e71308-work
drwxr-xr-x 1 root root 4096 Sep 7 12:13 6b0bb1f6
drwxr-xr-x 2 root root 4096 Sep 7 12:13 6b0bb1f6-upper
drwxr-xr-x 4 root root 4096 Sep 7 13:25 6b0bb1f6-work
drwxr-xr-x 1 root root 4096 Sep 7 12:47 917c9833
drwxr-xr-x 2 root root 4096 Sep 7 11:49 917c9833-upper
drwxr-xr-x 2 root root 4096 Sep 7 11:34 917c9833-work
drwxr-xr-x 21 root root 4096 Sep 6 19:58 ubuntu-rpi4-lower
19)您需要/etc/fstab
在掛載的合併資料夾中放置一個(不是上層或工作目錄,只是名為一個的普通序號),這將覆蓋 ubuntu-rpi4-lower 提供的資料夾。 Googlefusefs或overlayfs了解更多信息,(這就是docker容器的工作方式,你不知道:)
20)在 /srv/nfs/<serial>/boot/cmdline.txt 內的每個合併資料夾內建立 cmdline.txt
21)透過 nfs 匯出合併的資料夾,以便我們的 pi 可以像以前一樣使用它們:
#/etc/exports
/srv/nfs/6b0bb1f6 *(rw,sync,no_subtree_check,no_root_squash,fsid=1)
/srv/nfs/917c9833 *(rw,sync,no_subtree_check,no_root_squash,fsid=2)
/srv/nfs/68e71308 *(rw,sync,no_subtree_check,no_root_squash,fsid=3)
exportfs -ra
22)增加一個新的 Pi 就只是一個例子:
22.0)更新引導程式
22.1在伺服器上建立三個空資料夾
mkdir /srv/nfs/<serial>
mkdir /srv/nfs/<serial>-work
mkdir /srv/nfs/<serial>-upper
22.2)新增具有新序列和上層/工作目錄的安裝選項的 fstab
22.3)新增具有正確 NFS 位置的 cmdline.txt
23)Uber 自動化 如果您願意,您可以在 RaspberryPi SD 卡的 initrd 中創建一個鉤子腳本,該腳本會為您更新引導程序,並使用其串行 ping 網絡伺服器,然後在 Pi 重新啟動時添加安裝,它已經啟動時斷網。我會在某個時候提供這一點。
答案2
謝謝你的手冊。我想補充一些東西。較新的版本firmwares
似乎可以很好地解壓縮核心。 (在 5.8 及更高版本上測試)但對我來說,我遇到了檔案權限問題vmlinuz
。
而且,這真是一團糟。我想無論如何都有很多人反對,但如果你需要的話。你可以加
network inet,
network inet6,
進入/etc/apparmor.d/usr.lib.snapd.snap-confine.real