Magnum을 사용하여 베어메탈 Kubernetes 클러스터를 배포하는 방법을 안내하는 가이드는 없는 것 같습니다. 베어메탈 서버를 켜고 pxe 요청을 시작하는 지점에 도달했지만 dnsmasq 서버는 BOOTP 요청에 응답하지 않습니다. 이것이 작동하려면 필요한 단계는 무엇입니까?
업데이트:
누가 이 질문을 종료했는지 잘 모르겠습니다. 주제에서 벗어난 내용이 있으면 알려주시기 바랍니다.
fixed-networkMagnum은 베어메탈 프로비저닝 네트워크로 설정한 후 pxe 요청을 시작할 수 있었습니다 . 그러나 external-network플래그도 필요하며 이 설정에는 vlan이 하나만 있습니다(bm-provision 네트워크로 설정됨). 저는 다음과 같은 공용 네트워크를 만들려고 했습니다(기본 물리적 네트워크 장치 없이):
openstack network create public --provider-network-type vxlan \
--external \
--project service
openstack subnet create public-subnet --network public \
--subnet-range 172.16.10.0/24 \
--gateway 172.16.10.1 \
--ip-version 4
openstack coe cluster template create bmt \
--image fa27 \
--keypair mykey \
--external-network public \
--fixed-network bm-provision \
--fixed-subnet bm-provision-subnet \
--master-flavor bm.dev \
--flavor bm.dev \
--network-driver calico \
--coe kubernetes
openstack coe cluster create bm \
--cluster-template bmt \
--master-count 1 \
--node-count 1 \
--keypair mykey
그리고 이것은 아이러니를 통해 PXE를 통한 OS로 베어메탈을 프로비저닝하지만 다음과 같은 문제가 발생합니다.
{
"default-master": "Resource CREATE failed: NotFound: resources.kube_masters.resources[0].resources.kube_master_floating: External network fa5174bb-d01d-48ca-a564-bbff283b1141 is not reachable from subnet 3e68266a-e28b-4d2c-8cd6-4042ac5a38ac. Therefore, cannot associate Port 4950a517-31c6-4ed2-b7f8-03c3286063b3 with a Floating IP.\nNeutron server returns request_ids: ['req-bc587047-bf37-49ba-a46c-4d299f85812b']",
"default-worker": "Resource CREATE failed: NotFound: resources.kube_masters.resources[0].resources.kube_master_floating: External network fa5174bb-d01d-48ca-a564-bbff283b1141 is not reachable from subnet 3e68266a-e28b-4d2c-8cd6-4042ac5a38ac. Therefore, cannot associate Port 4950a517-31c6-4ed2-b7f8-03c3286063b3 with a Floating IP.\nNeutron server returns request_ids: ['req-bc587047-bf37-49ba-a46c-4d299f85812b']"
}
이 실험에서는 외부 네트워크가 필요하지 않으며 bm-provisionNAT를 가리키는 게이트웨이가 있으므로 이미 인터넷에 액세스할 수 있습니다. 하나의 VLAN으로 이를 달성하려고 합니다. 이것이 가능할까요?
추가 정보가 필요하면 알려주시기 바랍니다.
답변
이 질문은 종결되었으므로 별도의 답변을 할 수 없지만 기본적으로 실행된 내용은 다음과 같습니다.
# add some more interfaces facing into the same vlan
# note macvlan was attempted also but BOOTP requests did no go through for some reason
ip link add kolla_i type veth peer name kolla_b
for i in `seq 1 10`; do ip link add p${i}_i type veth peer name p${i}_b; done
ip link add eno2_br type bridge
ip link set eno2_br up
ip link set eno2 master eno2_br
ip link set kolla_b master eno2_br
ip link set kolla_b up
ip link set kolla_i up
ip a add 10.0.0.4/16 dev kolla_i
for i in `seq 1 10`; do ip link set p${i}_b master eno2_br; done
for i in `seq 1 10`; do ip link set p${i}_b up; done
for i in `seq 1 10`; do ip link set p${i}_i up; done
파일 내 globals.yml(kolla-ansible 프로비저닝용):
kolla_internal_vip_address: "10.0.0.4"
network_interface: "kolla_i"
neutron_external_interface: "p1_i,p2_i,p3_i,p4_i,p5_i,p6_i,p7_i,p8_i,p9_i,p10_i"
# this option does not exist so just add it into globals.yml
neutron_bridge_name: "br-ex1,br-ex2,br-ex3,br-ex4,br-ex5,br-ex6,br-ex7,br-ex8,br-ex9,br-ex10"
ironic_dnsmasq_interface: "p1_i"
ironic_dnsmasq_dhcp_range: "10.0.2.1,10.0.2.5"
이는 기본적으로 동일한 VLAN 내에서 사용할 수 있는 10개의 물리적 네트워크를 제공합니다. 설치 후 ovs conf 파일의 모습은 다음과 같습니다.
docker exec -it --user root neutron_openvswitch_agent bash -c "cat /etc/neutron/plugins/ml2/openvswitch_agent.ini"
[agent]
tunnel_types = vxlan
l2_population = true
arp_responder = true
[securitygroup]
firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver
[ovs]
bridge_mappings = physnet1:br-ex1,physnet2:br-ex2,physnet3:br-ex3,physnet4:br-ex4,physnet5:br-ex5,physnet6:br-ex6,physnet7:br-ex7,physnet8:br-ex8,physnet9:br-ex9,physnet10:br-ex10
datapath_type = system
ovsdb_connection = tcp:127.0.0.1:6640
local_ip = 10.0.0.4
다음 단계는 네트워크를 만드는 것이었습니다.
openstack network create \
--share \
--provider-network-type flat \
--provider-physical-network physnet1 \
--external \
provision
openstack subnet create \
--network provision \
--allocation-pool start=10.0.2.6,end=10.0.2.230 \
--gateway 10.0.0.10 \
--subnet-range 10.0.0.0/16 \
provision-subnet
openstack network create \
--share \
--provider-network-type flat \
--provider-physical-network physnet2 \
--external \
public
openstack subnet create \
--network public \
--allocation-pool start=10.1.0.1,end=10.1.0.10 \
--allocation-pool start=10.1.0.12,end=10.1.0.250 \
--gateway 10.1.0.11 \
--subnet-range 10.1.0.0/16 \
public-subnet
라우터를 생성
openstack router create provision-public
openstack router set provision-public --external-gateway public
openstack router add subnet provision-public provision-subnet
베어메탈 노드를 등록합니다.
openstack flavor create --ram 1048576 --disk 100 --vcpus 64 bm.dev
openstack flavor set --property baremetal=true bm.dev
openstack flavor set --property resources:CUSTOM_BAREMETAL_DEV=1 bm.dev
openstack flavor set --property resources:VCPU=0 bm.dev
openstack flavor set --property resources:MEMORY_MB=0 bm.dev
openstack flavor set --property resources:DISK_GB=0 bm.dev
openstack baremetal node create --name dev02 \
--driver ipmi \
--driver-info ipmi_username=<user> \
--driver-info ipmi_password=<pass> \
--driver-info ipmi_address=<ipmi_addr> \
--driver-info deploy_kernel=http://10.0.0.4:8089/ironic-agent.kernel \
--driver-info deploy_ramdisk=http://10.0.0.4:8089/ironic-agent.initramfs \
--driver-info cleaning_network=provision \
--driver-info provisioning_network=provision \
--deploy-interface=direct \
--network-interface=flat \
--driver-info force_persistent_boot_device=True \
--property capabilities=boot_mode:uefi \
--property cpu_arch=x86_64 \
--property local_gb=1000 \
--resource-class baremetal.dev
openstack baremetal port create <mac_addr> --node <id>
openstack baremetal node manage dev02
openstack baremetal node provide dev02
openstack baremetal node create --name dev03 \
--driver ipmi \
--driver-info ipmi_username=<user> \
--driver-info ipmi_password=<pass> \
--driver-info ipmi_address=<ipmi_addr> \
--driver-info deploy_kernel=http://10.0.0.4:8089/ironic-agent.kernel \
--driver-info deploy_ramdisk=http://10.0.0.4:8089/ironic-agent.initramfs \
--driver-info cleaning_network=provision \
--driver-info provisioning_network=provision \
--deploy-interface=direct \
--network-interface=flat \
--driver-info force_persistent_boot_device=True \
--property capabilities=boot_mode:uefi \
--property cpu_arch=x86_64 \
--property local_gb=1000 \
--resource-class baremetal.dev
openstack baremetal port create <mac_addr> --node <id>
openstack baremetal node manage dev03
openstack baremetal node provide dev03
docker exec --user root nova_conductor bash -c "nova-manage cell_v2 discover_hosts --by-service"
템플릿 생성 및 배포
openstack coe cluster template create bmt \
--image bm \
--keypair mykey \
--external-network public \
--fixed-network provision \
--fixed-subnet provision-subnet \
--master-flavor bm.dev \
--flavor bm.dev \
--network-driver calico \
--coe kubernetes
openstack coe cluster create bm \
--cluster-template bmt \
--master-count 1 \
--node-count 1 \
--keypair mykey
모든 네트워크가 동일한 브로드캐스트 도메인에 있지만 실험에는 적합하므로 이는 프로덕션용이 아닙니다.