Data Fusion & KMS

01 · LA PLATAFORMA

Mírala en acción

Esta es la presentación oficial de Data Fusion hecha por EY. Recorre los principales módulos de la plataforma: preparación de datos, gobernanza, calidad de datos, descubrimiento y operaciones.

Ver video · 6:07

02 · CONTEXTO

¿Qué es Data Fusion?

Es una plataforma en la nube, con IA y multi-tenant, construida sobre Databricks. Una sola plataforma atiende a muchos clientes, cada uno en su propio espacio aislado, y una interfaz low-code / no-code permite que equipos de negocio y equipos técnicos trabajen con datos sin escribir código.

Qué hace la plataforma

• 01

  Data Preparation

  Subir archivos, analizarlos para encontrar patrones y anomalías, incorporar nuevas fuentes de datos y mapear datos crudos en conjuntos curados.

• 02

  Data Governance

  Definir y aplicar las reglas de cada cliente, y seguir los resultados en Data Quality Insights.

• 03

  Data Discovery

  Explorar datos crudos y curados con consultas SQL en el Data Explorer.

• 04

  Data Operations

  Seguir el estado y el historial de ejecución de cada job de datos.

• 05

  Configurations

  Consultar los metadatos de la plataforma con el Metadata Explorer.

• 06

  App Gallery

  Apps de IA y machine learning que amplían la plataforma, desde la detección de anomalías hasta la lectura inteligente de documentos.

IA dentro del flujo de trabajo

• AI

  Data Mapping Agent

  Crea o ajusta un mapeo de datos a partir de una instrucción escrita en lenguaje natural.

• AI

  Rule Agent

  Escribe automáticamente el SQL de una regla de calidad de datos, y el usuario todavía puede editarlo.

• AI

  Detección de datos sensibles

  Encuentra información personal y sensible dentro de los datos.

• AI

  Calidad de datos con IA

  Detecta anomalías y valores atípicos antes de que se conviertan en problemas.

Pantallas del video

03 · MI ROL

Diseñador líder de la plataforma

Tomo las decisiones de diseño de Data Fusion y las ejecuto: desde entender un requisito con ingeniería, pasando por el flujo, hasta las pantallas finales en alta fidelidad que van a desarrollo. También diseño las variaciones de la plataforma, como KMS y las apps de micro frontend que se están sumando.

• 01

  Decisiones de diseño

  Defino cómo funciona y se ve cada funcionalidad, y defiendo esas decisiones con stakeholders y tech leads.

• 02

  Ejecución de principio a fin

  Flujos, wireframes, prototipos y pantallas en alta fidelidad, hechos con Motif, el design system de EY.

• 03

  Traducir la complejidad

  Convierto requisitos de ingeniería de datos en interfaces que los usuarios de negocio pueden entender y usar.

• 04

  Calidad después de la entrega

  Reviso lo construido frente al diseño y señalo diferencias antes de que lleguen a producción.

Con quién trabajo todos los días

Una plataforma, varios productos

• Data Fusion

  La plataforma principal: ingesta, gobernanza, calidad de datos, descubrimiento y operaciones.

• KMS Fusion

  Una nueva app construida sobre Data Fusion que convierte documentos no estructurados en una biblioteca de conocimiento consultable.

• Apps de micro frontend

  Un modelo de navegación que permite que apps independientes vivan dentro de Data Fusion como una sola experiencia.

04 · EL DESAFÍO

Aprender el idioma de los datos

Mi mayor desafío no fue la interfaz, fue el dominio. La ingeniería de datos está llena de conceptos invisibles para la mayoría de las personas, y no podía diseñar buenas pantallas para algo que no entendía.

Cómo cerré la brecha

1. 01

   Pregunté mucho

   Contacto diario con data engineers y tech leads. Preguntaba hasta poder explicar cada concepto con mis propias palabras.

2. 02

   Investigación

   Estudié ETL, calidad de datos, gobernanza, ontologías y la diferencia entre datos estructurados y no estructurados.

3. 03

   Lo puse por escrito

   Documentos guía y diagramas de flujo explicando los conceptos clave, validados con stakeholders. También se volvieron una referencia para el equipo.

4. 04

   Diseñé para quien no es experto

   Como yo había sido el principiante, sabía dónde el lenguaje era demasiado técnico, e impulsé textos más claros y flujos guiados.

Algunas de las palabras que tuve que aprender

ETL

Extract, Transform, Load. Tomar datos de una fuente, darles la forma correcta y guardarlos donde son útiles.

Data profiling

Analizar un conjunto de datos para entenderlo: estructura, distribución de valores, campos vacíos y valores atípicos.

Data mapping

Definir cómo los campos de una fuente cruda se convierten en campos de un modelo curado y estándar.

Data quality rule

Una verificación que los datos deben pasar, como "toda cuenta tiene un titular". Normalmente escrita en SQL.

PII / PCI

Información personal y de tarjetas de pago. Datos sensibles que hay que encontrar y proteger.

Tenant

El espacio aislado de un cliente dentro de una plataforma compartida por muchos clientes.

Ontology

Un mapa de conceptos y de cómo se relacionan, como "la Lasaña contiene Queso".

Unstructured data

Información que no está en tablas, como PDFs, formularios e informes.