| |
| Acadêmico(a): Diego Paulin |
| Título: Sistema para Carga de Dados em Data Warehouse |
| |
| Introdução: |
Conforme Inmon, Welch e Glassey (1999), um número cada vez maior de empresas e corporações que usam aplicações de processos de transação online, Online Transaction Processing (OLTP) está incorporando soluções para análise da grande quantidade de dados. Tornar esta grande quantidade de dados em informações que possam ser consumidas deixou de ser um artigo de luxo e passou a ser uma necessidade para manter as empresas vivas no mercado. Com a ajuda de indicadores críticos, como financeiros, estatísticos, que proporcionem informações em tempo real, os tomadores de decisões das empresas podem aproveitar melhor o seu tempo para extrair informações relevantes, ao invés de perder tempo para organizá-las.
Conforme Brackett (1996), quando bem implementados, os sistemas analíticos se tornam uma poderosa ferramenta para apoio a tomada de decisão, possibilitando análise de dados em vários níveis e granularidade, proporcionando a descoberta de novas oportunidades. O grande desafio em questão é justamente a implementação desses sistemas, pelo fato de serem complexos e altamente dependentes da regra de negócio no qual serão fundamentados.
O Data Warehouse (DW) surge como uma solução para implementação de sistemas analíticos. Sua estrutura de armazenamento de dados em forma de medidas e dimensões torna a leitura dos dados mais simples, facilitando a extração de informações úteis de sistemas operacionais/transacionais.
Segundo Inmon, Terdeman e Imhoff (2001), os Data Warehouses são como uma caixa cheia de peças de lego, em que se pode construir uma infinidade de possibilidades. Os Data Marts seriam os tipos de construções que se pode fazer com as peças de Lego, como por exemplo, tem-se carros, pontes, robôs, dentre outros.
Surge então a necessidade de dividir banco de dados operacionais dos bancos de dados analíticos. Segundo Inmon (1997) isso deve ocorrer por vários motivos, dentre eles pode se citar a diferença física de disposição dos dados, a comunidade de usuários que usam dados operacionais é diferente da comunidade que necessitam de dados analíticos assim como as características de processamento entre estes tipos de dados se diferem.
Com esta separação dos dados operacionais dos dados analíticos surgiram os programas de extração de dados. Estes programas de extração são responsáveis por fazerem a coleta de dados operacionais que são úteis para um DW.
O programa que realiza a interface de integração e transformação dos dados de um sistema legado para o DW é conceitualmente simples, como mencionado em Inmon, Terdeman e Imhoff (2001), porém de natureza extremamente crítica. Definir quais os dados que farão parte do DW e como transformá-los em informações úteis é uma tarefa tão complexa a ponto de necessitar de técnicas próprias de gerenciamento, conhecimento tecnológico e da regra de negócio da aplicação em questão.
Um DW é a base para um sistema de Business Intelligence (BI), um termo de gerenciamento de negócios que se refere a aplicações e tecnologias empregadas para coletar, fornecer acesso e analisar dados e informações sobre as operações das empresas (BARBIERI, 2001).
Desta forma, a Fundação de Ensino e Engenharia de Santa Catarina (FEESC), em sua unidade de desenvolvimento de softwares têm aplicações BI alimentadas por DW, que necessitam constantemente de carga de dados para manter os dados de seus sistemas atualizados. É com base nestes programas de extração de dados de ambientes transacionais para ambientes analíticos que este trabalho está focado.
Foi desenvolvido o sistema denominado Freedom, uma solução para o processo de carga de dados no DW, usando os princípios da Extract, Transform and Load (ETL), que significa extração, transformação e carga dos dados, processo esse imprescindível para construção e funcionamento de sistemas analíticos desenvolvidos pela FEESC. |
| |
|
