Usamos ES como una base de datos de informes y cuando se escriben nuevos registros en SQL, tomamos las siguientes medidas para ingresarlos en ES:
- Escriba la clave principal en una cola (usamos rabbitMQ)
- Rabbit recoge la clave principal (cuando tiene tiempo) y consulta la base de datos de relaciones para obtener la información que necesita y luego escribe los datos en ES
Este proceso funciona muy bien porque maneja tanto datos nuevos como datos antiguos. Para datos antiguos, simplemente escriba una secuencia de comandos rápida para escribir 300 millones de claves principales en Rabbit y ¡listo!
