sql >> Base de Datos >  >> RDS >> Oracle

Automatice los trabajos de integración de datos de IRI con Oracle Job Scheduler

Los planificadores de trabajos son programas informáticos que controlan otras ejecuciones de programas en segundo plano o como parte de procesos por lotes. Esta automatización de la carga de trabajo generalmente se coordina para que el procesamiento tradicional de datos en segundo plano se pueda integrar con las actividades comerciales en tiempo real sin agotar los recursos ni interferir con otras aplicaciones. El programador de trabajos automatiza las interfaces en los flujos de trabajo, envía y supervisa las ejecuciones y pone en cola el orden de ejecución de los trabajos no relacionados para que las operaciones se manejen en el orden correcto y estén sujetas a condiciones específicas.

Una herramienta popular para la automatización de procesos de bases de datos es el programador de trabajos integrado de Oracle. Puede usarse no solo para automatizar procedimientos SQL y operaciones de servicios públicos, sino también para procesos de terceros que afectan la eficiencia de Oracle. Los DBA de Oracle utilizan habitualmente IRI FACT, IRI CoSort y SQL*Loader para eliminar la sobrecarga de transformaciones de la capa de la base de datos y mejorar el flujo de trabajo en operaciones de reorganización fuera de línea y ETL de alto volumen. Estas herramientas ahora se pueden combinar y programar con Job Scheduler de Oracle en IRI Workbench, un entorno de GUI creado en Eclipse™.

Ya sea en la línea de comandos, un front-end de Oracle o IRI en Eclipse™, los DBA de Oracle ahora pueden programar pasos ETL interdependientes o configurar operaciones de descarga/clasificación/recarga (reorganización) mediante el software IRI. Con Oracle Job Scheduler, DBMS_SCHEDULER, los DBA y los arquitectos de almacenamiento de datos pueden especificar cuándo iniciar extracciones FACT, clasificaciones/transformaciones/informes CoSort y/o cargas masivas, y especificar dependencias entre estos procesos.

Oracle Job Scheduler ayuda al usuario a administrar y planificar diferentes tareas para que no se requiera una intervención manual. Para usar el programador de trabajos, se necesitan tres pequeños scripts:

• Procedimiento para ensamblar el proceso ETL

• Función para capturar cualquier mensaje del programa Java

• Programa Java para manejar las llamadas de línea de comandos a los pasos de ETL:FACT (E), CoSort SortCL (T) y Oracle SQL*Loader (L)

Una vez que los scripts están listos, el usuario puede crear un procedimiento para automatizar el trabajo deseado. El usuario puede especificar la fecha y hora en que comenzará el trámite. El usuario también puede especificar la frecuencia con la que desea que se ejecute el trabajo (semanal, diario, por hora o en una hora y fecha específicas hasta cada 30 segundos).

El planificador gestionará los pasos para que se realicen en el orden correcto. También es posible definir verificaciones personalizadas para asegurarse de que el siguiente paso no comience a menos que el anterior haya tenido éxito o haya cumplido con ciertos criterios.

En el ejemplo a continuación, el usuario ha seleccionado el procedimiento "runFlow" para iniciar pasos definidos todos los martes a las 8:00 a. m. y todos los viernes a las 3:00 p. m.


DECLARE
JobNo user_jobs.job%TYPE;
v_date1 date :=to_date('20130312 080000′,'yyyymmdd hh24miss');
v_date2 date :=to_date('20130315 150000 ′,'aaaammdd hh24miss');
BEGIN
dbms_job.submit( JobNo,  –Job ID
'begin runFlow; end;', ​​— Procedimiento para ejecutar
v_date1, — start ejecutándose en
'SYSDATE + 7' — intervalo de trabajos
);
COMMIT;
dbms_job.submit(  JobNo,  –Job ID
'begin runFlow; end; ', — Procedimiento para ejecutar
v_date2, — comenzar a ejecutar en
'SYSDATE + 7' — intervalo de trabajos
);
COMMIT;
END;

La automatización de los procesos ETL de esta manera ofrece beneficios significativos, en particular para los DBA de Oracle que ya están familiarizados con DBMS_SCHEDULER. El método puede ahorrar el gasto de costosos ETL o paquetes de programación de trabajos, minimizar las posibilidades de error humano y evitar la necesidad de intervención manual. También es posible usar la integración para automatizar la reorganización fuera de línea y los pasos relacionados con ELT.

Si tiene alguna pregunta sobre la implementación de los pasos de trabajo de IRI en Oracle Job Scheduler, o si desea ver el ejemplo del documento técnico, comuníquese con nosotros.