Analise por Agrupamento Clusters e Espacos Multidimensionais

ANÁLISE POR AGRUPAMENTO Fábio Gerab DÉCIMO PRIMEIRO TÓPICO 6 ciclo Curso de Administração da FEI Espaços Multidimensionais Distâncias Análise por Agrupamento Dendograma Aplicações MANA6510 Métodos de Pesquisa e Previsão MANA6510 Análise Fatorial Fábio Gerab Quantas variáveis são analisadas simultaneamente Análise Univariada Análise Bivariada Análise Multivariada Uma Mais de duas Duas Exemplos Exemplos Exemplos Testes de Hipótese para Uma Média Uma Proporção Uma variância Comparação de duas médias ou variâncias Correlação Linear Regressão Linear Simples Teste de independência de duas variáveis Técnicas de Dependência Técnicas de Interdependência MANA6510 Dependência e Independência de Variáveis aleatórias Fábio Gerab O objetivo das técnicas de interdependência é a identificação de padrões de comportamento de conjuntos ou subconjuntos de variáveis Técnicas de Interdependência Classificação de técnicas estatísticas nas quais as variáveis não são divididas em conjuntos dependentes e independentes MANA6510 Principais Técnicas Interdependência Fábio Gerab Métodos de Interdependência Variáveis não métricas Variáveis Métricas Análise Fatorial Componentes Principais Análise por Conglomerados Agrupamento Análise de Correspondência Análise de Homogeneidade Escalonamento Multidimensional NãoMétrico Escalonamento Multidimensional Métrico Agrupamento Análise de Clusters a F 1 0 1 1 b M 0 0 1 1 c F 1 1 1 0 d F 1 0 0 0 e M 1 1 0 1 a2 a3 a1 a11 a4 a7 a9 a10 a5 Número de Clusters 3 Conceito Doença Doença X Doença Z Doença Y a8 a6 a1 a2 Nome Sexo Sintomas Para cada observação multivariada Várias variáveis medidas Agrupamento Análise de Clusters Para cada observação multivariada Várias variáveis medidas Espaços Multidimensionais Assim quando temos n observações multivariadas mensurando p variáveis podemos representar As n observações em um espaço com p dimensões As p variáveis em um espaço com n dimensões EX Observação Var 1 Var 2 Ob1 2 3 Ob2 2 4 Ob3 3 5 Agrupamento Espaços Multidimensionais Variáveis representadas no espaço das Observações Observação Var 1 Var 2 Ob1 2 3 Ob2 2 4 Ob3 3 5 5 Ob1 Ob2 Ob3 Var1 Var 2 3 2 2 3 4 Var 1 3 Var 2 3 2 Ob1 Ob 2 Ob 3 4 5 Observações representadas no espaço das Variáveis MANA6510 ANÁLISE POR AGRUPAMENTO Fábio Gerab DÉCIMO PRIMEIRO TÓPICO 6 ciclo Curso de Administração da FEI Espaços Multidimensionais Distâncias Análise por Agrupamento Dendograma Aplicações Distâncias em Espaços Multidimensionais Como cada variável ou cada observação pode ser representada por um ponto em um espaço multidimensional é possível medir distâncias entre observações ou variáveis Existem muitas medidas de distância As mais usadas são Distância Euclidiana dxy x1y12 x2y22 xp yp2 Distância Euclidiana quadrática d2 xy x1y12 x2y22 xp yp2 Distâncias em Espaços Multidimensionais Ex Distância Euclidiana entre as Observações 2 e 3 dOb2Ob3 232 45212 dOb1Ob3 1 112 1414 Observação Var 1 Var 2 Ob1 2 3 Ob2 2 4 Ob3 3 5 Var 1 3 Var 2 3 2 Ob1 Ob 2 Ob 3 4 5 Ex Distância Euclidiana entre as observações 1 e 3 dOb1Ob3 232 35212 dOb1Ob3 1 412 2236 Ex Distância Euclidiana Quadrática entre as observações 1 e 3 d2 Ob1Ob3 232 352 d2Ob1Ob3 1 4 5 Observações representadas no espaço das Variáveis Distâncias em Espaços Multidimensionais Variáveis representadas no espaço das Observações Observação Var 1 Var 2 Ob1 2 3 Ob2 2 4 Ob3 3 5 5 Ob1 Ob2 Ob3 Var1 Var 2 3 2 2 3 4 Ex Distância Euclidiana entre as Variáveis 1 e 2 dVar 1Var 2 232 242 35212 dOb1Ob3 1 4 412 3 Ex Distância Euclidiana Quadrática entre as Variáveis 1 e 2 d2Var 1Var 2 232 242 352 1 4 4 9 Distâncias em Espaços Multidimensionais MANA6510 ANÁLISE POR AGRUPAMENTO Fábio Gerab DÉCIMO PRIMEIRO TÓPICO 6 ciclo Curso de Administração da FEI Espaços Multidimensionais Distâncias Análise por Agrupamento Dendograma Aplicações O que é um Agrupamento cluster Baseados em Protótipos Um cluster é um conjunto de objetos no qual cada objeto está mais próximo ou é mais similar a objetos dentro do cluster do que qualquer objeto fora do cluster Um cluster é um conjunto de objetos no qual cada objeto está mais próximo ao protótipo que define o cluster do que dos protótipos de quaisquer outros clusters Em geral Protótipo centróide Bem separados Como definir a noção de Cluster Protótipos Os Agrupamentos são efetuados com base nas distâncias entre observações eou Varáveis MANA6510 ANÁLISE POR AGRUPAMENTO As variáveis devem ser padronizadas para média zero e desvio padrão 1 O conjunto das proximidades é definido pela matriz de dissimilaridade composta pelas distâncias MANA6510 ANÁLISE POR AGRUPAMENTO Muito complicado para fazer a mão Ai As Análises Multivariadas foram fortemente beneficiadas pela revolução na Informática Tipos de Agrupamentos Particionais versus Hierárquicos Particionais clusters são disjuntos Hierárquicos Clusters possuem subclusters organizados em árvore Cada cluster nó interno da árvore é a união de seus filhos Exclusivos versus Nãoexclusivos versus Fuzzy Exclusivos cada objeto pertence a um único cluster Não exclusivos existem objetos que são associados a diferentes clusters Fuzzy objetos são associados a um cluster com um certo grau de pertinência Completos versus Parciais Completos cada objeto pertence a algum cluster Parciais existem objetos que não estão associados a nenhum cluster outliers ruidos sem interesse Existem muitas formas de Agrupa mento Ideia Básica da Análise por Agrupamento AA Objetivos Descrever as relações de semelhança existentes na base de dados Existe algum conceito inerente a cada grupo Que conceito é este Reduzir a complexidade dos dados Cada cluster pode ser representado por um objeto protótipo que caracteriza o cluster A Análise por Agrupamento busca agrupar variáveis ou observações multivariadas a partir da sua proximidade Agrupamentos Hierárquicos Agrupamento Hierárquico SPSS Clusters possuem subclusters organizados em árvore Cada cluster nó interno da árvore é a união de seus filhos A sua representação é dada em termos de um diagrama de árvore chamado Dendograma Agrupamentos Hierárquicos Agrupamentos Hierárquicos São os mais frequentes em análises estatísticas Métodos de Agrupamento Existem muitos distintos métodos de agrupamento Não Hierárquico PSPP e SPSS Erro x dx ci distância de x até o centróide ci de seu cluster Ci Objetivo do método Kmeans Minimizar a soma dos erros SSE sum of square errors SSE i1K x Ci dx ci2 Observações Boa parte dos clusters já convergem nos primeiros passos do algoritmo ficando somente uma quantidade pequena de clusters que ainda modificam Assim a condição 5 do algoritmo é substituída por até que somente 1 dos objetos mudam de clusters MANA6510 ANÁLISE POR AGRUPAMENTO Muito complicado para fazer a mão Ai As Análises Multivariadas foram fortemente beneficiadas pela revolução na Informática MANA6510 ANÁLISE por Agrupamento Fábio Gerab DÉCIMO SEGUNDO TÓPICO 6 ciclo Curso de Administração da FEI Espaços Multidimensionais Distâncias Análise por Agrupamento Dendograma Aplicações Agrupamento Hierárquico DENDOGRAMA Diagrama em Árvore O dendograma traz uma representação gráfica de uma aglomeração hierárquica Dendograma é também chamado de gráfico em árvore Este representa uma síntese gráfica do trabalho desenvolvido Agrupamento por Variáveis DENDOGRAMA Diagrama em Árvore O dendograma traz uma representação gráfica de uma aglomeração hierárquica Agrupamento por Variáveis As linhas verticais eixo y representam os grupos unidos por ordem decrescente de semelhança e a posição da reta na escala eixo x indica as distâncias entre os grupos que foram formados DENDOGRAMA Diagrama em Árvore Agrupamento por Variáveis Verificaseque as variáveis Var 1 e Var 5 são as que possuem a maior semelhança no dendograma por possuírem a menor distância euclidiana sendo essas a formarem o primeiro grupo DENDOGRAMA Diagrama em Árvore Agrupamento por Variáveis Logo em seguida Junto com Var 1 e Var 5 vêm as variáveis Var 2 Var 3 A assim sucessivamente as variáveis serão agrupadas por ordem decrescente de semelhança DENDOGRAMA Diagrama em Árvore Agrupamento por Variáveis A Var 9 formou o último grupo do dendograma o qual mantevese distinto dos demais grupos formados pelo fato de essa variável possuir pouca semelhança em relação às outras MANA6510 ANÁLISE por Agrupamento Fábio Gerab DÉCIMO SEGUNDO TÓPICO 6 ciclo Curso de Administração da FEI Espaços Multidimensionais Distâncias Análise por Agrupamento Dendograma Aplicações Estatística Multivariada aplicada ao entendimento das interações curriculares ao longo do curso de Ciência da Computação Gerab F Bueno IAM Desempenho nas 45 disciplinas do curso de Ciência da Computação Objetivo Determinar a estrutura de entrelaçamento de conteúdos do curso de Ciência da Computação da FEI a partir do desempenho dos alunos formados no curso Metodologia Análise por agrupamento Alunos egressos das primeiras 10 turmas formadas 370 alunos Estatística Multivariada aplicada ao entendimento das interações curriculares ao longo do curso de Ciência da Computação Gerab F Bueno IAM Desempenho nas 45 disciplinas do curso de Ciência da Computação Alunos egressos das primeiras 10 turmas formadas 370 alunos A Análise por Agrupamento apresentou resultados semelhantes aos obtidos usando Análise de Componentes Principais TÉCNICAS ANALÍTICAS NUCLEARES APLICADAS À MEDIDA EM LARGA ESCALA DE AEROSSÓIS ATMOSFÉRICOS NA REGIÃO AMAZÔNICA Fábio Gerab Doutorado IFUSP 1996 Caracterizar aerossol atmosféricos emitido por queimadas na Amazônia Objetivo Determinar as principais fontes de aerossol atmosféricos na Serra do Navio AP Metodologia Análise por agrupamento 27 variáveis físicas e químicas 125 observações Componente de Resuspensão de solo Componente Biogênica Componente Marinha Mineração de Manganês Mn MANA6510 ANÁLISE por Agrupamento Fábio Gerab DÉCIMO SEGUNDO TÓPICO 6 ciclo Curso de Administração da FEI Espaços Multidimensionais Distâncias Análise por Agrupamento Dendograma Aplicações Obrigado Fábio Gerab