☰

AMQPS para Syslog

tag-icon • tag-icon syslog-ng rabbitmq
AMQPS para Syslog

Atualmente estou usando API básica para extrair logs de um fornecedor de segurança em nuvem, mas não é um processo muito limpo. Gostaria de fazer a transição para o serviço de streaming de eventos (AMQPS) que eles fornecem.

Já configurei a fila e tenho as informações relevantes do lado da nuvem, mas o problema que estou enfrentando é descobrir a melhor maneira de aceitar esse fluxo e despejá-lo no syslog. Estou utilizando o syslog-ng agora, mas parece que ele só pode enviar para o RabbitMQ e não aceitá-lo.

Atualmente estou olhando para o Pika para ver se funcionaria para aceitar AMQPS e depois canalizá-lo para um arquivo de log, mas é aí que estou tendo alguns problemas. Qualquer ajuda seria muito apreciada.

Obrigado

Responder1

Encontrei uma página no github feita por walbit (https://github.com/walbit/AMP_API), que parece estar funcionando corretamente para mim. Estou usando o "consume_event_stream_by_name.py" e ele despeja toda a entrada no padrão. Fiz uma pequena modificação para enviá-lo também para o syslog e agora o syslog-ng está aceitando.

Meu único problema no momento com este código é que ele parece estar expirando de vez em quando ou morrendo em geral se as conexões não estiverem chegando. Então, preciso descobrir o que está acontecendo com isso.

#!/usr/bin/env python

import argparse
import pika
import pprint
import requests
import sys
import logging
import logging.handlers

# YOU NEED TO CREATE AN auth.py FILE WITH CLIENT_ID AND API_KEY STRINGS
from auth import CLIENT_ID, API_KEY

parser = argparse.ArgumentParser()
parser.add_argument('event_stream_name', metavar='event_stream_name',
                    nargs=1, help='event stream name')
parser.parse_args()
event_stream_name = parser.parse_args().event_stream_name[0]

api_endpoint = 'https://api.amp.cisco.com/v1/event_streams'

session = requests.Session()
session.auth = (CLIENT_ID, API_KEY)

event_streams = session.get(api_endpoint).json()['data']

event_stream = {}

for e in event_streams:
    if e['name'] is event_stream_name:
        event_stream = e

amqp_url = 'amqps://{user_name}:{password}@{host}:{port}'.format(
    **e['amqp_credentials'])
queue = e['amqp_credentials']['queue_name']
parameters = pika.URLParameters(amqp_url)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()


parameters = pika.URLParameters(amqp_url)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()

my_logger = logging.getLogger('MyLogger')
my_logger.setLevel(logging.INFO)
handler = logging.handlers.SysLogHandler(address = '/dev/log')
my_logger.addHandler(handler)

def callback(ch, method, properties, body):
#    print(" [x] Received meth:\t%r" % method)
#    print(" [x] Received prop:\t%r" % properties)
#    print(" [x] Received body:\t%r" % body)
#    print(body)
    my_logger.info('Fireamp: ' + body)


channel.basic_consume(callback, queue, no_ack=True)

print(" [*] Connecting to:\t%r" % amqp_url)
print(" [*] Waiting for messages. To exit press CTRL+C")
channel.start_consuming()

informação relacionada