Conceitos e Utilização de OLAP para Business Intelligence

OLAP Conceitos e Utilização Cynthia Aurora Anzanello 1 1Instituto de Informática Universidade Federal do Rio Grande do Sul UFRGS Caixa Postal 15064 91501970 Porto Alegre RS Brasil cynthiaprocergsrsgovbr Resumo O uso da tecnologia da informação possibilitou o armazenamento de grande volume de dados em meio magnético gerando a necessidade de recuperálos e analisálos As aplicações OnLine Transaction Processing OLTP atendem apenas a manipulação de dados operacionais o que não era suficente para apoiar o usuário na tomada de decisões estratégicas A partir dos requisitos dos usuários e de tecnologias existentes foram elaborados conceitos e desenvolvidas soluções que alavancassem o processo de Business Inteligence BI A primeira das soluções foi a linguagem APL base utilizada no desenvolvimento de aplicações Online Analytical Processing OLAP O armazenamento dos dados para atender às necessidades destas aplicações conforme atestou EFCodd não seria solucionado por bancos de dados relacionais Desta forma novos conceitos de armazenamento de informações foram implementados através de bancos de dados nomeados de Data Warehouse DW Hoje o usuário já tem todas estas tecnologias implementadas por vários fornecedores Além do suporte para a tomada de decisão estratégica surgiu a necessidade de aplicação de heurística para obter informações que direcionem o futuro dos negócios e estas estão sendo implementadas através de ferramentas de Data Mining DM Abstract The use of Information Tecnology enabled the storage of a vast volume of data in magnetic environment creating the need to recover and analyse them The OnLine Transaction Processing OLTP applications only supplied the operational data manipulation which was not enough to support the users when taking strategic decisions Based on users requeriments and existing technology concepts were conceived and solutions were developed to lever the Business Inteligence BI process The first solution was APL language wich was the fundamental basis used in the OnLine Analytical Processing OLAP applications development Storing data to supply the need of these applications according to EF Codd wouldnt be solved just by relational data base This way new concepts of information storage were implemented through the data base named Data Warehouse DW Nowadays the user has all these technologies implemented by several suppliers Besides given support to strategic decision taking the need for heuristics applications arised to obtain information that will drive the future of businesses and these applications are being implemented through of Data Mining DM 1 Introdução Para poder compreender o que é e o que não é OLAP neste artigo se fará descrição de sua origem seus conceitos o contexto em que se insere as arquiteturas de armazenamento utilizadas ferramentas com suas funções básicas e sua ligação com DW e DM Além disto mostrará como o OLAP provê apoio ao usuário final na tomada de decisão estratégica e suas tendências 2 Origem A base da análise Multidimensional para OLAP não é nova De fato ela remonta a 1962 com a publicação do livro A Programming Language de Ken Iverson 1 A IBM desenvolveu e implementou a primeira linguagem com análise multidimensional no fim da década de 60 chamada de APL Definida matematicamente baseada em símbolos gregos utilizadas por usuários finais e grande consumidora de recursos foi amplamente utilizada nas décadas de 80 e 90 em aplicações de negócio Acompanhando a evolução dos sistemas na década de 90 introduziuse uma nova classe de ferramentas no mercado que foi batizada de OLAP As ferramentas de OLAP possuem a maioria dos conceitos introduzidos pela linguagem APL porém com maior integração na utilização dos dados fontes Existe um grupo de empresas que desenvolveru e ainda desenvolve engine de OLAP e arquiteturas nela baseada como a IBM a Computer Associates MicroSoft MicroStrategy Cognos IRI Oracle entre outras 3 Multdimensionalidade O termo OLAP foi citado pela primeira vez por EFCodd quando ele definiu doze regras que estas aplicações deveriam atender A visão conceitual multidimensional dos negócios de uma empresa foi umas das regras citadas a qual se tornou a característica fundamental no desenvolvimento destas aplicações A visão multidimensional consiste de consultas que fornecem dados a respeito de medidas de desempenho decompostas por uma ou mais dimensões dessas medidas Podendo também serem filtradas pela dimensão eou pelo valor da medida As visões multidimensionais fornecem as técnicas básicas para cálculo e análise requeridos pelas aplicações de BI Para se obter a visão multidimensional é necessário compreender outras características Cubo é uma estrutura que armazena os dados de negócio em formato multidimensional tornandoos mais fácil de analisar Dimensão é uma unidade de análise que agrupa dados de negócio relacionados As dimensões se tornam cabeçalho de colunas e linhas como exemplo linhas de produto regiões de venda ou períodos de tempo Hierarquia é composta por todos os níveis de uma dimensão podendo ser balanceada ou não Na hieraquia balanceada os níveis mais baixo são equivalentes porém isto não ocorre nas hierarquias não balanceadas onde a equivalência hierárquica não existe Por exemplo em uma dimensão geográfica o nível país não possui o subnível Estado para um determinado membro e possui para outro No caso específico podese citar o país Liechtenstein que não possui Estado e o Brasil que possui uma série de Estados Membro é um subconjunto de uma dimensão Cada nível hierárquico tem membros apropriados aquele nível Por exemplo em uma dimensão geográfica existe o nível e seus membros Nível Membros Região Ásia América do Sul América do Norte Países China Brasil USA EstadosProvíncias Yunna Piauí California Medida é uma dimensão especial utilizada para realizar comparações Ela inclue membros tais como custos lucros ou taxas 4 Definição de OLAP A aplicação OLAP soluciona o problema de síntese análise e consolidação de dados pois é o processamento analítico online dos dados Tem capacidade de vizualizações das infomações a partir de muitas perspectivas diferentes enquanto matém uma estrutura de dados adequada e eficiente A visualização é realizada em dados agregados e não em dados operacionais porque a aplicação OLAP tem por finalidade apoiar os usuários finais a tomar decisões estratégicas Os dados são apresentados em termos de medidas e dimensão a maior parte das dimensões é hierárquica Considerando as aplicações bancárias utilizadas diariamente no controle de contas correntes na qual são efetuados saques ou depósitos pelos correntistas se tem o exemplo típico de sistema de OLTP O interesse destes usuários é criar atualizar e recuperar informações sobre registros individuais Já para o Gerente de Conta Correntes os requisitos de uso de informações dos dados das contas tem por finalidade a análise global de contas correntes com diversas visões Por exemplo o Gerente de Contas pode requer uma análise sobre o desempenho de contas correntes que tenham cheque especial e tenham utilizado o valor máximo dos mesmos em um determinado período de tempo em algumas regiões Obter a resposta a esta consulta mais complexa fazendo uso de ferramentas relacionais padrão não fornece solução requerida Analisando as limitações do uso de ferramentas relacionais padrão EF Codd disse Ter um RDBMs não significa ter a nirvana instantânea de suporte a decisão Mesmo com tantas possibilidades que os RDBMs têm oferecido aos usuários eles nunca pretenderam fornecer poderosas funções de síntese análise e consolidação de dados Computerworld 1993 2 Como se pode observar as aplicações OLAP diferem das aplicações OLTP no que se refere aos requisitos funcionais e de desempenho conforme apresentado na Tab 1 CARACTERÍSTICAS OLTP OLAP Operação Típica Atualização Análise Telas Imutável Definida pelo Usuário Nível de Dados Atomizado Altamente Sumarizado Idade dos Dados Presente Histórico Atual e Projetado Recuperação Poucos registros Muitos registros Orientação Registro Arrays Modelagem Processo Assunto Tab1 As características marcantes que diferenciam os sistemas OLAP e OLTP 41 Solução OLAP O OLAP é mais do que uma aplicação é uma solução de ambiente integração e modelagem de dados A maioria dos dados de uma aplicação OLAP são originárias de outros sistemas e fontes de dados Para formular a topologia e o projeto de uma solução OLAP multidimensional as seguintes perguntas devem ser feitas Quando O quê Onde e Quem Essas perguntas formam a base de todos os arrays multidimensionais A obtenção dos dados originários das respostas são destinados aos DW e daí possivelmente para um ou vários Data Marts DMs Os DMs são subconjunto de informações dos DWs segmentado para uma determinada área ou assunto visando aumentar a velocidade na consulta de informações Durante o projeto de OLAP conforme os requisitos do usuário poderá haver a necessidade de integração de dados de plataformas diferentes e soluções de conectividade devem ser planejadas Além disto a modelagem dos dados é outra preocupação importante para que as respostas esperadas às consultas complexas possam ser fornecidas com a flexibilidade e com a performance adequada aos requisitos dos usuários O armazenamento dos dados ou será feito em um RDBMS ou em um banco de dados mutidimensional MDDB A modelagem para o armazenamento dos dados deve considerar as vantagens desvantagens e aplicapilidade oferecidas por cada tipo Os modelos relacionais normalizados atendem basicamente ao processamento de poucos registros sendo de baixa performance na agregação da informação Os Modelos Star Schema são ligeiramente normalizados composto por dois tipos básicos de tabelas de fatos e dimensão A tabela de fatos é a tabela central normalizada que representa as transações contendo os valores que estão sendo analisados e as chaves estrangeiras das tabelas de dimensão Já o modelo Snow Flakes é uma variação do modelo Star com visões ajustadas para o enfoque desejado no qual as tabelas de dimensão também são normalizadas E os Modelos Multidimensionais são os cubos que visam a performance com as informações fortemente agregadas A escolha da ferramenta de OLAP não deve ser uma das primeiras tarefas em um projeto de dsenvolvimento de uma aplicação OLAP O mais interessante é iniciar com a obtenção dos dados sua modelagem armazenamento e aí sim se proceda a escolha da ferramenta de OLAP 42 Arquiteturas Conforme o método de armazenamento de dados utilizado para uma aplicação OLAP será elaborada a arquitetura da aplicação Os métodos de armazenamento de dados são MOLAP ROLAP DOLAP e HOLAP Cada um deles tem uma função específica e deve ser utilizada quando melhor atender às necessidades de análise pela ferramenta de OLAP No MOLAP Multidimensional OnLine Analytical Processing os dados são armazenados de forma multidimensional sua implementação varia de acordo com a sua ferramenta de OLAP mas é freqüentemente implementado em um banco de dados relacional porém não na terceira forma normal Além disto o acesso aos dados ocorre diretamente no banco de dados do servidor multidimensional Os gerenciadores de banco de dados têm um limite prático quanto ao tamanho físico de dados que eles podem manipular As restrições de armazenamento e desempenho limitarão o tamanho do banco de dados não esquecendo o limite das dimensões que também restrigem sua manipulação A complexidade que existe no processo de carga de um banco de dados multidimensional pode acarretar a demora no processo O processo de carga é complexo devido a série de cálculos que devem ser realizados para agregar os dados às dimensões e preencher as estruturas do banco Depois do processo concluído ainda é realizado uma série de mencanismos para melhorar a capacidade de pesquisa Já no ROLAP Relational OnLine Analytical Processing os dados são armazenados no modelo relacional como também suas consultas são processadas pelo gerenciador do banco relacional Por outro lado o DOLAP Desktop OnLine Analytical Processing é uma variação que existe para fornecer portabilidade dos dados A vantagem que oferece esta arquitetura é a redução do tráfico na rede A arquitetura mais recente é a HOLAP Hybrid OnLine Analytical Processing na qual ocorre uma combinação entre ROLAP e MOLAP A vantagem é que com a mistura de tecnologias podese extrair o que há de melhor de cada uma a alta performance do MOLAP e a escalabilidade do ROLAP 43 Ferramentas Atualmente existem muitas ferramentas de OLAP no mercado e mudanças têm ocorrido em um ritmo acelerado Na maioria das ferramentas observase a existência de dois componentes a ferrramenta do administrador e a ferramenta do usuário final O componente do administrador é usado para administrar e gerar os cubos de dados a serem acessados enquanto o componente do usuário final tem acesso aos dados para extraílos de suas bases de dados com os quais geram relatórios capazes de responder as suas questões gerenciais As ferramentas surgiram juntamente com os sistemas de apoio a decisão para fazerem a extração e análise dos dados contidos nos DW e DMs Algumas das características destas ferramentas Consultas adhoc geradas pelos usuários finais de acordo com os suas necessidades de cruzar informações de uma forma não vista e que o levem a descoberta do que procuram Segundo Inmom são consultas com acesso casual único e tratamento de dados segundo parâmetros nunca antes utilizado de forma iterativa e heurística3 Slice and Dice possibilita a alteração da perspectiva de visão Serve para modificar a posição de uma informação trocar linhas por colunas de maneira facilitar a compreensão dos usuários e girar o cubo sempre que houver necessidade Drill downup consiste em realizar exploração em diferentes níveis de detalhes da informação Com drill down dividise um item de resumo em seus componentes detalhados como por exemplo ano semestre trimestre mensal e diário Além das principais características apresentadas é necessários que estas aplicaçações forneçam vários modelos de visualização em uma variedade de formatos e não apenas em simples tabelas sendo muitas vezes apresentados através de gráficos 5 Ligação do DW e OLAP O DW é utilizado para armazenar informações e o OLAP para recuperálas ambos são especializados para exercer suas funções de forma eficiente As duas tecnologias são complementares de modo que um bom DW é planejado com produção de relatórios em mente Desta forma para explorar o DW completamente é necessário o OLAP que irá extrair e alavancar totalmente as informações nele contidas 6 Ligação do Data Mining e OLAP O OLAP e Data Mining são partes integrantes de todo e qualquer processo de suporte à decisão Ainda nos dias de hoje a maioria dos sistemas de OLAP tem o foco no provimento de acesso aos dados multidimensionais enquanto os sistemas de DM lidam com a análise de influência para os dados de uma única dimensão As grandes empresas como a IBM Oracle estão liberando versões de seus RDBMS que possuem ferramentas de OLAP e DM Quando os usuários possuem ferramentas de OLAP e não de mineração de dados eles gastam boa parte de seu tempo fazendo as tarefas pertinentes a um DM como classificações e predições das informações recebidas 7 Tendências O JOLAP é um esforço da Java Community Process JCP de projetar uma API Java para servidores e aplicações OLAP aderentes ao ambiente Java 2Plataform Enterprise Edition J2EE Ela está sendo especificada para suportar a criação e manutenção de dados e metadados OLAP independente de fornecedor JOLAP é baseada em uma forte generalização orientada a objeto e nos conceitos de OLAP Este modelo suporta conceitos referentes a três áreas que são chave para as aplicações OLAP metadados dados e pesquisas As especificações não descrevem a estratégia de implementação Os fornecedores como a IBM ORACLE Microsoft Sun entre outros fazem parte deste grupo e já estão desenvolvendo soluções baseadas nestas especificações Pacotes Java estão sendo propostos como extensão do padrão JOLAP são eles javaxolap javaxolapmetadata javaxolapdata e javxolapquery Áreas diversas têm se utilizado de aplicações OLAP para tomar decisões estratégicas entre elas a área da saúde finaceira marketing e até mesmo as de informações geográficas Como o descrito por Simon Plante engenheiro do Ministério do Trabalho do Canada Em 1999 o ministério dos Transporte do Canada de Quebec iniciou em colaboração com o centro de pesquisa da Universidade de Laval um novo projeto de pesquisa Os objetivos eram de experimentar as possibilidades de análise de domínios de planificação da infraestruturas de rotas com a ajuda de uma aplicação de OLAP e de uma aplicação Sistema de Informações Geográficas SIG para analisar a seguraça e a mobilidade das estradas do Canada Com a combinação da tecnologia SIG e de OLAP houve a obtenção de uma ferramenta muito poderosa nomeada de SOLAP Com efeito está combinação permite localizar sobre uma carta geográfica as informações correspondentes comnsultados por intermédio de OLAP e vice versa Os usuários do SOLAP podem navegar atarvés dos dados adotando duas abordagens diferentes uma a partir da interface de OLAP e outra através do SIG Pelos resultados obtidos é possível crer que em um futuro próximo ele será aplicado em outras áreas4 O artigo de Jiawei Han da Univerisidade Simon Fraser University British Columbia Canada apresenta o conceito de OnLine Analytical Mining OLAM no qual é descrito o seguinte Nosso trabalho tem sido focado na integração das tecnologias de DM e OLAP e no desenvolvimeno escalável integrado de funções múltiplas de DM O sistema de DM DBMiner tem sido desenvolvido para mineração interativa de múltiplos níveis de conhecimento em grandes RBDMS e DW5 A implementação de OLAM apoirá os usuários a realizarem mineração de dados interativos Existe uma arquitetura proposta para este fim o desenvolvimento de uma engine de OLAM Além disto as pesquisas têm se estendido para DM espacial DM multimidia DM texto e DM Web 8 Conclusão As tecnologias de armazenamento recuperação e análise de dados estratégicos têm evoluido em sincronia pois elas são complementares uma das outras As ferramentas OLAP trabalham de modo interativo permitindo que a partir de uma resposta o usuário faça outros questionamentos ou seja o usuário consiga analisar o porquê dos resultados obtidos Além disto uma grande gama de fornecedores estão investindo no desenvolvimento de aplicativos OLAP pois cada vez mais se faz necessário analisar as informações que alavanquem os negócios das empresa com rapidez e eficiência OLAP é um conceito de interface com o usuário não se trata de uma tecnologia de armazenamento de dados mas de uma solução é uma solução de ambiente integração e modelagem de dados OLAP como DM fazem partem do espectro das ferramentas de BI Na utilização de OLAP não existe a melhor estratégia A melhor estratégia será definida pelos requistos de seu aplicativo 9 Referências 1 Nigel Pendse wwwolapreportcomoriginshtm July 202002 2 Michael Corey Michael Abbey Ian Abramson e Ben Taub ORACLE 8i 2001 wwwpilotswcomnewolapwhitehtm 3 WHInmom e RDH HackthomUsing DataWarehouse New York John Wilwy Son Inc 1994 4 Simon Plante wwwpqqqgouvqccageoinfonumdec012htm Décembre 2001 5 Jiawei Han Intelligent Database Systems Research Laboratory School of Computing Science Simon Fraser University British Columbia Canada V5A 1S6 URL httpdbcssfuca for research group httpdbcssfucaDBMiner for system