No tengo mucha experiencia en el tema y tal vez esté haciendo algo mal.
El problema ocurre cuando detengo el broker Kafka y luego de una pausa lo inicio nuevamente. Algunos segundos después de que se inicia el corredor, mi productor emite errores: "el tema no existe". Debido a este error, todos los mensajes almacenados en el búfer sin conexión se pierden. Al poco tiempo el error desaparece y se producen los mensajes consecutivos.
Si cambio la propiedad del servidor "auto.create.topics.enable" a "verdadero", el error "el tema no existe" sigue apareciendo después del reinicio del agente, pero los mensajes almacenados en el búfer se generan como se esperaba.
Supongo que si se permite la creación automática de temas, el error "tema no existe" se considera transitorio y el productor repite el envío de mensajes hasta que el error desaparece. De lo contrario, no se realizan repeticiones y los mensajes almacenados en el buffer se pierden.
¿Puedo hacer algo para usar "auto.create.topics.enable" = false y no perder mensajes?
Ejecutando kafka_2.13-3.4.0 en WSL2 Ubuntu 22.04.1 y usando el cliente C++ con librdkafka v2.1.1 en Windows 10. Las configuraciones son: delivery.timeout.ms=86400000, retries=2147483647, acks=all. El tema se crea con factor de replicación 1, particiones 1.