sql >> Base de Datos >  >> RDS >> Database

Creación de subconjuntos de bases de datos:cómo hacerlo en IRI Voracity

Una vez que una base de datos supera cierto tamaño, se vuelve costoso (y riesgoso desde una perspectiva de seguridad) proporcionar copias de tamaño completo para desarrollo, prueba y capacitación. La mayoría de los equipos necesitan copias más pequeñas de la base de datos más grande y, a menudo, tienen la PII enmascarada.

El subconjunto de la base de datos es el proceso de crear una copia más pequeña y referencialmente correcta de una base de datos más grande a partir de extractos de tablas reales. Los subconjuntos se pueden usar con, o en lugar de, enmascarar datos o sintetizar datos de prueba para reducir los costos y riesgos asociados con conjuntos completos. El proceso de creación manual de subconjuntos significativos es complejo y laborioso, considerando que tendría que llenar bases de datos más pequeñas con muestras aleatorias de cada tabla de producción y asegurarse de que cualquier estructura relacional entre las tablas aún fuera correcta en el subconjunto.

Un asistente de trabajo de creación de subconjuntos de base de datos de extremo a extremo en IRI Workbench hace que este proceso sea más rápido y sencillo. El asistente está disponible para los usuarios con licencia de la plataforma de gestión de datos IRI Voracity, IRI RowGen para la generación de datos de prueba e IRI FieldShield para el enmascaramiento de datos. Este artículo presenta el asistente y muestra cómo crea subconjuntos referencialmente correctos, con opciones para el enmascaramiento de columnas y el cifrado de conservación de campos.

El asistente para la creación de subconjuntos hace que el usuario seleccione el origen del subconjunto, el tamaño y la clasificación, los nombres de los objetivos del subconjunto y cualquier encriptación o enmascaramiento que deban obtener los datos del subconjunto. Luego, el asistente crea una serie de secuencias de comandos de trabajo que crean tablas de subconjuntos o archivos sin formato.

Opciones de trabajo

Esta página define el tipo de salida. Si el cargador se deja vacío, se creará un archivo plano con un delimitador de tabulación. Para las opciones de base de datos, se puede seleccionar ODBC o el cargador de base de datos específico.

Opciones de subconjunto

Esta página es donde especifica los detalles del subconjunto. Seleccione el perfil de conexión y la tabla que "controlará" el subconjunto creado. Piense en la tabla de control como la tabla principal desde donde desea que se origine el subconjunto. Por ejemplo, si desea crear un subconjunto de una tabla de ventas y todas las tablas conectadas a ella, seleccione aquí la tabla con información de ventas. Además, seleccione el tamaño del subconjunto. Por ejemplo, para obtener un subconjunto de las 100 cantidades más altas vendidas, ordenaría el campo de cantidad vendida (como en este ejemplo) e ingresaría 100 en el número de filas. También se puede agregar un filtro en la tabla de controladores.

Clasificación

Esta página es donde especifica el orden de clasificación del subconjunto. Sin embargo, si desea que las filas se seleccionen al azar, deje la lista de campos clave en blanco.

La página Ordenar tiene 3 secciones notables:

  1. La lista de campos de entrada
  2. La lista de campos clave
  3. Opciones clave

Pasos:

  1. Si desea un subconjunto de datos ordenados, seleccione la columna para ordenar y haga clic en "Agregar clave".
  2. Hay algunas opciones disponibles en el cuadro Opciones clave:
    • Seleccione la casilla de verificación Estable para duplicar los registros y cargarlos en el orden en que se encuentran en la tabla de producción.
    • Si no desea duplicados o solo duplicados en su subconjunto, seleccione la casilla de verificación Duplicados y el botón de opción correspondiente.

Denominación del objetivo

Esta página se muestra si el tipo de salida es una base de datos. Tiene dos funciones. El primero le permite ver las relaciones de su tabla de controladores. El segundo es nombrar los destinos de salida para el subconjunto.

La página de nombres de destino tiene 5 secciones notables:

  1. El perfil y el esquema de destino
  2. El modo de salida siempre es crear, ya que este trabajo truncará cualquier tabla existente con el mismo nombre
  3. Opciones de SQL para el trabajo
  4. Las opciones de nombres
  5. La lista de referencias

Pasos:

  1. Seleccione el perfil de conexión.
  2. Seleccione el esquema.
  3. Especifique las opciones de SQL.
  4. Seleccione la opción de nombre para nombrar los objetivos del subconjunto. Si se utiliza un perfil o esquema diferente, este paso es opcional:
    • Prefijo todo agrega un prefijo a cada nombre de tabla y lo establece como destino de esa tabla.
    • Posfijar todo agrega un sufijo a cada nombre de tabla y lo establece como destino de esa tabla.
    • Nombrar individualmente permite que cada objetivo de subconjunto se nombre independientemente de los otros objetivos.
  5. Revise el Referenciado porReferencias  listas para verificar que las relaciones de la tabla se han encontrado correctamente:
    • En Importado por  list, se enumeran todas las tablas que importaron la tabla elegida.
    • En las Importaciones list, se enumeran todas las tablas con las que la tabla elegida tiene una relación.

Reglas

En esta página, se pueden agregar reglas a cualquiera de los objetivos. En este ejemplo, se agregó un comparador de reglas a todos los campos que terminan en la palabra "NOMBRE". La regla se aplicará a la tabla de destino coincidente. Esta regla enmascarará estos dos campos con asteriscos. Se debe tener cuidado de no incluir reglas sobre campos de clave externa.

Resumen

Esta página resume el trabajo. Muestra claramente las columnas que coincidieron con una regla y las tablas de destino que coinciden con las tablas de origen si no existen. Tenga en cuenta que  se creará DDL para cualquier tabla nueva.

Una vez que haya completado todas estas páginas, puede seleccionar Finalizar. Luego, el asistente creará secuencias de comandos de trabajo y un archivo por lotes ejecutable para Windows o Unix que puede iniciar desde Workbench o la línea de comandos para extraer subconjuntos de la tabla de controladores y sus tablas relacionadas.

Aquí hay un diagrama de flujo que muestra esas ocho tareas creadas para el trabajo en Voracity:


Comuníquese con [email protected] si tiene alguna pregunta.