☰

Como agrupar o RabbitMQ no AWS

tag-icon • tag-icon amazon-web-services docker ubuntu-14.04 rabbitmq erlang
Como agrupar o RabbitMQ no AWS

Eu tentei todas as combinações concebíveis na tentativa de agrupar o RabbitMQ em um ambiente AWS. Mas, para recapitular:

  1. Desligue e remova a distribuição de Erlang e Rabbit no meu Ubuntu 14 local
  2. Tentei os módulos de configuração automática na web
  3. A versão do Ubuntu 14 que vem instalada por padrão não será suficiente.
  4. Os cookies erlang correspondem - isso é demonstrado abaixo

A incompatibilidade do nome do host é o único quebra-cabeça. O próprio nó pensa que seu nome de host é 'q1' ou 'q2' respectivamente. Quando tento definir o nome do host do contêiner para o nome DNS privado do host (para que ele possa se conectar ao outro nó), a instância do coelho no contêiner trava. Não abaixo como hostnameproduz q2, mas eu investi em um DNS privado da Amazon?

root@q2:~# hostname
q2
root@q2:~# exit
christian@q2:~$ logout
Connection to ip-10-0-3-101.us-west-2.compute.internal closed.

Estou usando a imagem mais recente do docker RabbitMQ.

docker run -d --restart always --hostname q1 --name rabbitmq -p 4369:4369 -p 15671:15671 -p 25672:25672 -p 15672:15672 -p 5672:5672 -e RABBITMQ_HIPE_COMPILE=1 -e RABBITMQ_ERLANG_COOKIE='ilikecookies' rabbitmq:3-management

O serviço inicia perfeitamente

root@q1:~# curl -I localhost:15672
HTTP/1.1 200 OK
Content-Length: 1419
Content-Type: text/html
Date: Fri, 20 Jan 2017 22:46:12 GMT
last-modified: Fri, 20 Jan 2017 22:38:45 GMT
Server: MochiWeb/1.0 (Any of you quaids got a smint?)

E aqui está o cookie do host q1

root@q1:~# docker exec -it rabbitmq /bin/bash
root@q1:/# cat /var/lib/rabbitmq/.erlang.cookie                                                                               
ilikecookies
root@q1:/#

Agora tento agrupá-lo (do host q2 com q1 sendo o mestre)

root@q2:~# docker exec -it rabbitmq /bin/bash
root@q2:/# rabbitmqctl stop_app
Stopping node rabbit@q2 ...
root@q2:/# rabbitmqctl join_cluster [email protected]
Clustering node rabbit@q2 with '[email protected]' ...
Error: unable to connect to nodes ['[email protected]']: nodedown

DIAGNOSTICS
===========

attempted to contact: ['[email protected]']

[email protected]:
  * connected to epmd (port 4369) on ip-10-0-3-56.us-west-2.compute.internal
  * epmd reports node 'rabbit' running on port 25672
  * TCP connection succeeded but Erlang distribution failed
  * suggestion: hostname mismatch?
  * suggestion: is the cookie set correctly?
  * suggestion: is the Erlang distribution using TLS?

current node details:
- node name: 'rabbitmq-cli-41@q2'
- home dir: /var/lib/rabbitmq
- cookie hash: quN0y0GUm2Zxv8VYc2eX9A==

root@q2:/# cat /var/lib/rabbitmq/.erlang.cookie
ilikecookies
root@q2:/#

A questãoé COMO você faz com que essas coisas se agrupem? Qual é o ingrediente que falta? A mensagem de erro não significa nada na web. Alguém tem alguma experiência nisso?

ATUALIZAR Grupo de segurança da AWS para estas instâncias:

Custom TCP Rule
TCP
1024 - 65535
0.0.0.0/0

Responder1

OK, entendi!

os nomes de host de cada nó devem estar alinhados dentro do contêiner.

Na máquina host (q2) verifiquei quais hosts ela conhecia no arquivo hosts:

# This file was generated by OpsWorks
# any manual changes will be removed on the next update.

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

# OpsWorks Layer State
127.0.0.1 localhost.localdomain localhost
127.0.1.1 q2.localdomain q2

10.0.3.56 q1.localdomain q1
10.0.3.101 q2.localdomain q2


root@q2:/# ping q1
PING q1.local (10.0.3.56): 56 data bytes
^C--- q1.local ping statistics ---
2 packets transmitted, 0 packets received, 100% packet loss

Então, ocorreu-me que não importa o que a máquina host sabe, mas sim o que o contêiner do docker sabe. Então, entrei no contêiner e fiz a mesma coisa:

root@q2:/# cat /etc/hosts
127.0.0.1   localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2  q2.local

Agora estamos no caminho certo! Então, adicionei uma entrada para o nó mestre:

root@q2:/# echo "10.0.3.56    q1.local q1" >> /etc/hosts
root@q2:/# which ping
/bin/ping
root@q2:/# ping q1
PING q1.local (10.0.3.56): 56 data bytes

E deu outro balanço dentro do contêiner

root@q2:/# rabbitmqctl stop_app
Stopping node rabbit@q2 ...
root@q2:/# rabbitmqctl join_cluster rabbit@q1                                     
Clustering node rabbit@q2 with rabbit@q1 ...
root@q2:/#

E agora, cada nó reconhece que está agrupado! Uau!

Acho que para clusterizar com o docker vou modificar o comando do docker para montar o /etc/hostsarquivo hosts na imagem do docker -v /etc/hosts:/etc/hosts:roe então isso deve funcionar magicamente

Outra etapa que esqueci de mencionar: a caixa local do Ubuntu tinha uma versão antiga do erlang em execução que tive que remover (e também tinha coelho).

informação relacionada