Lea esta serie de publicaciones de Wepay, donde detallan cómo sincronizan sus bases de datos MySQL con BigQuery, usando Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (el tercero es sobre BigQuery)
Como resumen (citando):
- Configurar autenticación, conexiones, DAG.
- Defina qué columnas extraer de MySQL y cargar en BigQuery.
- Elija cómo cargar los datos:de forma incremental o completa.
- Desduplicación.
