Data Fusion & KMS

01 · A PLATAFORMA

Veja na prática

Esta é a apresentação oficial do Data Fusion feita pela EY. Ela percorre os principais módulos da plataforma: preparação de dados, governança, qualidade de dados, descoberta e operações.

Assistir · 6:07

02 · CONTEXTO

O que é o Data Fusion?

É uma plataforma em nuvem, com IA e multi-tenant, construída sobre o Databricks. Uma única plataforma atende vários clientes, cada um em seu espaço isolado, e uma interface low-code / no-code permite que times de negócio e times técnicos trabalhem com dados sem escrever código.

O que a plataforma faz

• 01

  Data Preparation

  Subir arquivos, analisá-los para encontrar padrões e anomalias, cadastrar novas fontes de dados e mapear dados brutos em conjuntos tratados.

• 02

  Data Governance

  Definir e aplicar as regras de cada cliente, e acompanhar os resultados no Data Quality Insights.

• 03

  Data Discovery

  Explorar dados brutos e tratados com consultas SQL no Data Explorer.

• 04

  Data Operations

  Acompanhar o status e o histórico de execução de cada job de dados.

• 05

  Configurations

  Consultar os metadados da plataforma pelo Metadata Explorer.

• 06

  App Gallery

  Apps de IA e machine learning que ampliam a plataforma, da detecção de anomalias à leitura inteligente de documentos.

IA dentro do fluxo de trabalho

• AI

  Data Mapping Agent

  Cria ou ajusta um mapeamento de dados a partir de um pedido escrito em linguagem natural.

• AI

  Rule Agent

  Escreve automaticamente o SQL de uma regra de qualidade de dados, e o usuário ainda pode editá-lo.

• AI

  Detecção de dados sensíveis

  Encontra informações pessoais e sensíveis dentro dos dados.

• AI

  Qualidade de dados com IA

  Identifica anomalias e outliers antes que virem problemas.

Telas do vídeo

03 · MEU PAPEL

Designer líder da plataforma

Eu tomo as decisões de design do Data Fusion e as executo: desde entender um requisito com a engenharia, passando pelo fluxo, até as telas finais em alta fidelidade que vão para o desenvolvimento. Também desenho as variações da plataforma, como o KMS e os apps de micro frontend que estão chegando.

• 01

  Decisões de design

  Defino como cada funcionalidade funciona e aparece, e defendo essas decisões com stakeholders e tech leads.

• 02

  Execução de ponta a ponta

  Fluxos, wireframes, protótipos e telas em alta fidelidade, feitos com o Motif, o design system da EY.

• 03

  Traduzir complexidade

  Transformo requisitos de engenharia de dados em interfaces que usuários de negócio conseguem entender e usar.

• 04

  Qualidade depois da entrega

  Reviso o que foi construído comparando com o design e aponto diferenças antes de chegarem à produção.

Com quem trabalho todos os dias

Uma plataforma, vários produtos

• Data Fusion

  A plataforma principal: ingestão, governança, qualidade de dados, descoberta e operações.

• KMS Fusion

  Um novo app construído sobre o Data Fusion que transforma documentos não estruturados numa biblioteca de conhecimento pesquisável.

• Apps de micro frontend

  Um modelo de navegação que permite que apps independentes vivam dentro do Data Fusion como uma experiência única.

04 · O DESAFIO

Aprender a língua dos dados

Meu maior desafio não foi a interface, foi o domínio. Engenharia de dados é cheia de conceitos invisíveis para a maioria das pessoas, e eu não conseguiria desenhar boas telas para algo que eu não entendia.

Como eu fechei essa lacuna

1. 01

   Perguntei muito

   Contato diário com data engineers e tech leads. Eu perguntava até conseguir explicar cada conceito com as minhas palavras.

2. 02

   Pesquisa

   Estudei ETL, qualidade de dados, governança, ontologias e a diferença entre dados estruturados e não estruturados.

3. 03

   Coloquei no papel

   Documentos guia e fluxogramas explicando os conceitos principais, validados com stakeholders. Viraram referência para o time também.

4. 04

   Desenhei para quem não é especialista

   Como eu tinha sido o iniciante, sabia onde a linguagem estava técnica demais, e defendi textos mais claros e fluxos guiados.

Algumas das palavras que precisei aprender

ETL

Extract, Transform, Load. Pegar dados de uma fonte, dar a forma certa e guardar onde eles são úteis.

Data profiling

Analisar um conjunto de dados para entendê-lo: estrutura, distribuição dos valores, campos vazios e outliers.

Data mapping

Definir como os campos de uma fonte bruta viram campos de um modelo tratado e padronizado.

Data quality rule

Uma verificação que os dados precisam passar, como "toda conta tem um titular". Geralmente escrita em SQL.

PII / PCI

Informações pessoais e de cartão de pagamento. Dados sensíveis que precisam ser encontrados e protegidos.

Tenant

O espaço isolado de um cliente dentro de uma plataforma compartilhada por vários clientes.

Ontology

Um mapa de conceitos e de como eles se relacionam, como "Lasanha contém Queijo".

Unstructured data

Informação que não está em tabelas, como PDFs, formulários e relatórios.