Curadoria de dados para o Master Data Management

 

As práticas tradicionais de gerenciamento de dados, como o gerenciamento de dados mestres (MDM), existem há décadas, assim como as abordagens que os fornecedores adotaram no desenvolvimento desses recursos.   

Durante a maior parte desse tempo no passado, o problema definido foi o gerenciamento de dados de tamanho e complexidade modestos. No entanto, à medida que as empresas amadurecem e começam a ver seus ativos de dados como uma fonte de vantagem competitiva, novos métodos devem ser incorporados à tecnologia, para gerenciar dados empresariais.  

Atualmente, as empresas precisam de abordagens para gerenciamento de dados que possam resolver problemas críticos ligados à velocidade e à escala em um ambiente de dados cada vez maior e mais complexo. 

Falaremos um pouco a seguir, como técnicas de curadoria de dados podem ser usadas para resolver desafios de mapeamento de dados em escala.

 

Curadoria de dados

 

Falaremos um pouco a seguir, como técnicas de curadoria de dados podem ser usadas para resolver desafios de mapeamento de dados em escala. 

A curadoria de dados pode ser definida como um conjunto de processos voltados à gestão de todo o ciclo de vida dos dados, de forma que eles permaneçam continuamente acessíveis e possam ser recuperados por quem deles precise, no momento mais conveniente. 

A ideia de curadoria digital estende-se além do controle do repositório que arquiva os recursos e envolve a atenção do criador do conteúdo e dos futuros usuários. 

 

Processos da curadoria

 

1. Extração de dados de sistemas de origem para um local comum de processamento (geralmente chamado de data lake);

2. Transformação de elementos de dados, por exemplo, de Reais para Dólares;

3. Limpezade dados. Por exemplo: -99 geralmente significa nulo;

4. Integração de esquemas, ou seja, alinhar colunas em conjuntos de dados de origem. Por exemplo, "pagamento" pode ser igual a "salário";

5. Consolidaçãode entidades, ou seja, produção de clusters de registros que se supõe representar a mesma entidade. Por exemplo, uma pessoa poderia ser identificada como Prof. Guimarães em um conjunto de dados e Sr. Guimarães em um segundo conjunto;

6. Redução de clusters. Para cada cluster, um único registro deve ser construído para representar os registros deste cluster. Esse processo geralmente produz um registro de mais valor para cada cluster;

7. Exportação (carregamento). O conjunto composto geralmente é exportado para um data warehouse ou outro repositório.

 

Enquanto o Data Mastering tem como objetivo vincular ou mesclar dados isolados a registros de dados mestres para entidades comuns, como fornecedores, peças, clientes e empregados, o Master Data Management (MDM) incorpora os passos 5 e 6, abordando os problemas de governança e origem, no conjunto dos dados mestres resultante. 

Os desafios para estruturação e execução do seu projeto de MDM podem ser superados com o acompanhamento de uma consultoria experiente, para desenvolver uma estratégia e um planejamento adequados, que oriente tanto as decisões referentes às soluções técnicas quanto as conceituais, visando atender as necessidades corporativas, com o melhor retorno sobre o investimento. Consulte-nos.

 

Não perca os próximos textos e não deixe de ler os outros textos de nosso blog, onde abordamos vários assuntos relacionados a BI, BA, MDM, governança e integração de dados e saiba como as organizações estão se beneficiando com esses recursos.

 

  

Baixe nossos eBooks gratuitos:

Clique nas imagens para baixar

 

eBook Integração de Dados

 

eBook: A evolução do Business Intelligence para o Business Analytics"

eBook 2: Tipos de gráficos para Business Analytics 

eBook 3: Entendendo o Master Data Management

eBook 4: Governança de dados