모두에게 안녕하세요
내 Kubernete 클러스터에 문제가 있습니다.
사양
무리
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k8s-w02-prod Ready <none> 40d v1.19.2 192.168.25.20 <none> Ubuntu 20.04.1 LTS 5.4.0-54-generic docker://19.3.8
k8s-m01-prod Ready master 40d v1.19.2 10.60.17.15 <none> Ubuntu 20.04.1 LTS 5.4.0-58-generic docker://19.3.8
k8s-m02-prod Ready master 40d v1.19.2 10.60.17.16 <none> Ubuntu 20.04.1 LTS 5.4.0-54-generic docker://19.3.8
k8s-m03-prod Ready master 40d v1.19.2 10.60.17.17 <none> Ubuntu 20.04.1 LTS 5.4.0-54-generic docker://19.3.8
k8s-w01-prod Ready <none> 40d v1.19.2 192.168.29.20 <none> Ubuntu 20.04.1 LTS 5.4.0-54-generic docker://19.3.8
클러스터 네트워크 플러그인 옥양목 사용
포드: 네트워킹: podSubnet: 10.65.0.0/16
Calico process is running.
IPv4 BGP status
+---------------+-------------------+-------+------------+-------------+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+---------------+-------------------+-------+------------+-------------+
| 192.168.25.20 | node-to-node mesh | up | 23:37:55 | Established |
| 10.60.11.156 | node-to-node mesh | up | 2021-01-04 | Established |
| 10.60.11.157 | node-to-node mesh | up | 2021-01-04 | Established |
| 192.168.29.20 | node-to-node mesh | up | 2021-01-04 | Established |
+---------------+-------------------+-------+------------+-------------+
IPv6 BGP status
No IPv6 peers found.
노드 간 메시를 사용합니다.
문제
예를 들어 Simple 애플리케이션을 실행할 때: ArgoCD
argo-cd-argocd-application-controller-74dd8b79f5-vldhb 1/1 Running 0 14h 10.65.102.48 k8s-w02-prod <none> <none>
argo-cd-argocd-dex-server-5c656d6c6c-shb69 1/1 Running 0 14h 10.65.102.52 k8s-w02-prod <none> <none>
argo-cd-argocd-redis-9757589c5-6w2p6 1/1 Running 0 14h 10.65.102.60 k8s-w02-prod <none> <none>
argo-cd-argocd-repo-server-774c6856f9-vgmq8 1/1 Running 0 14h 10.65.102.4 k8s-w02-prod <none> <none>
argo-cd-argocd-server-669fc6db5c-x5w4k 1/1 Running 0 13h 10.65.72.159 k8s-w01-prod <none> <none>
Q) Pod가 실행 중인 것으로 확인되어 ArgoCD 웹 UI Bcoz에 액세스할 수 없습니다.
- Worker01:k8s-w01-prod 192.168.25.20
ip route | grep tun
10.65.69.192/26 via 10.60.17.17 dev tunl0 proto bird onlink
10.65.102.0/26 via 192.168.25.20 dev tunl0 proto bird onlink
10.65.187.64/26 via 10.60.17.15 dev tunl0 proto bird onlink
10.65.233.192/26 via 10.60.17.16 dev tunl0 proto bird onlink
작업자02:k8s-w02-prod 192.168.29.20
10.65.69.192/26 via 10.60.17.17 dev tunl0 proto bird onlink
10.65.72.128/26 via 192.168.29.20 dev tunl0 proto bird onlink
10.65.187.64/26 via 10.60.17.15 dev tunl0 proto bird onlink
10.65.233.192/26 via 10.60.17.16 dev tunl0 proto bird onlink
다른 서브넷에서 실행
Ping은 양쪽에서 완벽하게 작동합니다.
노드 선택기 레이블을 사용하여 선택된 노드, 즉 작업자01 또는 작업자02에서 포드를 실행하면 문제가 해결됩니다.
Q) 애플리케이션 ArgoCD WebUI가 노드 간 통신 문제 없이 작동하도록 트래픽을 라우팅하려면 어떻게 해야 합니까?(Pod는 모든 노드에서 실행될 수 있고 서로 통신할 수 있습니다.)
Q) Calico에서 BGP를 사용하는 것이 좋은 아이디어인가요? 노드 간 메시가 없는 경우
https://docs.projectcalico.org/networking/bgp
이 문제를 어떻게 해결할 수 있는지 조언해 주세요.
답변1
nodeAffinity를 사용하여 이 문제를 해결하는 방법을 찾았습니다.
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: "kubernetes.io/hostname"
operator: In
values:
- k8s-w01-prod
하지만 여전히 문제는 내 편에 존재합니다