Estou tentando configurar o componente kubelet como um serviço independente da página do kubernetes, embora pareça que estou faltando alguma coisa.
Eu configurei o containerd + runc (de acordo com etapas) com:
$ mkdir -p /etc/containerd/
$ containerd config default | tee /etc/containerd/config.toml
$ sed 's/SystemdCgroup.*/SystemdCgroup = true/' -i /etc/containerd/config.toml
para habilitar o runc de acordo com:
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
...
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
SystemdCgroup = true
porém, parece que algo está faltando, porque continuo recebendo o erro:
Feb 28 12:29:45 ip-200-115-0-5 kubelet[1854442]: E0228 12:29:45.986417 1854442 cri_stats_provider.go:455] "Failed to get the info of the filesystem with mountpoint" err="unable to find data in memory cache" mountpoint="/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs"
O segundo problema é que não consigo acessar a Internet de dentro do pod. Comecei o kubelet com o comando:
ExecStart=/usr/local/bin/kubelet \
--config=/etc/kubernetes/kubelet-config.yaml \
--resolv-conf=/etc/resolv.conf \
--pod-cidr=10.88.0.0/16 \
--cluster-domain=cluster.local \
--cluster-dns=127.0.0.53 \
--cgroup-driver=systemd \
--fail-swap-on=false \
--pod-manifest-path=/etc/kubernetes/manifests \
--container-runtime=remote \
--container-runtime-endpoint=unix:///run/containerd/containerd.sock \
--runtime-request-timeout=10m \
--network-plugin=cni \
--cni-conf-dir=/etc/cni/ \
--cni-bin-dir=/opt/cni/bin
Para as versões, estou usando:
- contêiner 1.6.19
- runc 1.1.4
- Kubelet 1.23.16
- Ubuntu 20.04
Alguma dica?
Obrigado
Responder1
Depois de algum tempo longe disso, consegui voltar atrás e solucionar um pouco mais o problema.
Então, o pensamento inicial foi que o container não tinha rede. Para solucionar isso, você pode fazer o seguinte:
# ip netns
cni-f6078594-55bf-95d3-a2fd-33a5095b74c9 (id: 0)
Portanto, para cada Pod que o Kubelet gira, ele criará um namespace de rede e anexará interfaces virtuais, este é um design de Pod.Confira aqui.
Continuando com a solução de problemas:
# ip netns exec cni-f6078594-55bf-95d3-a2fd-33a5095b74c9 ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0@if11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
link/ether 56:ef:8e:da:f2:29 brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 10.200.0.15/24 brd 10.200.0.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::54ef:8eff:feda:f229/64 scope link
valid_lft forever preferred_lft forever
Isso destaca que a interface dentro do namespace da rede realmente recebeu um ip10.200.0.15/24
Vamos tentar a conexão através do namespace:
# ip netns exec cni-f6078594-55bf-95d3-a2fd-33a5095b74c9 ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=57 time=0.975 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=57 time=1.24 ms
O que garante que o contêiner tenha conectividade ao tentar:
# ip netns exec cni-f6078594-55bf-95d3-a2fd-33a5095b74c9 ping google.com
ping: google.com: Temporary failure in name resolution
Isso conclui que estamos tendo um problema de DNS e não um problema de conectividade.
Então, para resolver isso, criei um novo arquivo /root/resolve.conf com bons servidores:
nameserver 8.8.8.8
nameserver 8.8.4.4
E atualizei o comando:
--resolv-conf=/etc/resolv.conf \
Para apontar para o novo arquivo, como:
--resolv-conf=/root/resolv.conf \
E também removeu o DNS do cluster:
--cluster-dns=127.0.0.53 \
Ainda é necessário corrigir o cluster-dns, embora, para fins de validação, ter o DNS apontado para DNS fora da instância seja suficiente.
EDITAR:
Em retrospectiva, melhorei isso. Deixei o resolv.conf inalterado e atualizei o cluster-dns:
--cluster-dns=8.8.8.8 \
Essa foi uma solução melhor por enquanto. Ainda investigando.