Análise Exploratória de Dados em Estatística Experimental

ESTATÍSTICA EXPERIMENTAL Análise Exploratória de Dados Prof Dr Miguel Angel Uribe Opazo miguelopazounioestebr mopazouolcombr Laboratório de Estatística EspacialLEE PGEAGRIUNIOESTE 2022 Análise Exploratória de Dados Não temos um conjunto de dados temos um problema Temos que entender a linguagem dos dados Os dados falam melhor quando estão organizados Não devemos torturar os dados tratar com carinho que eles falam a verdade Análise Exploratória de Dados A análise exploratória de dados nos ajuda a entender que nos querem disser os dados Ajuda a verificar as tendências dos dados Ajuda a detectar pontos discrepantes Outlier Ajuda a conhecer o comportamento dos dados Aprendisagem de MaquinasMachine Learning Análise Exploratória de Dados Principal Objetivo Familiarizarse com os dados Familiarizarse com os termos Método Estatísticas descritivas dos dados Análises gráficos dos dados Exemplo1 Estudo da Resistencia do Solo a Penetração Mpa na camada de 00 010 m de profundidade tamanho da amostra n93 elementos amostrais amostragem sistemático Figura 1 Esquema amostral da área em estudo com grade regular de 75 x 75 m Exemplo 2 Crescimento do Bairro Canada 20102020 Crescimento dos Bairros Country e Canada Tabela 1 Variações porcentuais de áreas urbanas nos bairros Canadá e Country nos anos 2010 2015 e 2020 Bairro Country Bairro Canadá Anos Àrea km² tx1 tx2 Anos Àrea km² tx1 tx2 2010 11354 2010 09203 2015 11354 000 000 2015 10555 1469 1469 2020 11354 000 000 2020 12538 1879 3624 tx1 Taxa de crescimento anual tx2 Taxa de crescimento base 2010 Análise Espacial do Crescimento Urbano dos Bairros Canadá no ano 2020 Bairro Canadá De acordo com a Figura 2 observase a localização geoespacial dos lotes do bairro Canadá na cidade de Cascavel ParanáBrasil no ano 2020 o que caracteriza a geometria das áreas loteadas Figura 2 Área Loteada bairro Canadá no ano 2020 Figura 3 Mapa do Índice Local de Moran LISA CLUSTER MAP do bairro Canadá no ano 2020 Medidas Estatísticas I Medidas de posição onde esta boa parte da distribuição o centro da distribuição II Medidas de dispersão para descrever a dispersão dos dados em relação ao valor central III Medidas de forma sobre simetria e tamanho da cauda da distribuição dos dados I Medidas de Posição Moda Mo realização mais freqüente do conjunto de valores observados Mediana Median realização que ocupa a posição central da serie de observações Média Mean soma das observações dividida pelo numero delas n i Xi n X 1 1 Medidas Separatrizes Quartis São quatro estatísticas Q1 Q2 e Q3 em que as observações ordenadas em forma crescente são divididas em 4 partes iguais isto é entre dois quartis temos 25 dos dados Quintis São quatro estatísticas Qi1 Qi2 Qi3 e Qi4 em que as observações ordenadas em forma crescente são divididas em 5 partes iguais isto é entre dois quintis temos 20 dos dados Decis São nove estatísticas D1D2D9 em que as observações ordenadas em forma crescente são divididas em 10 partes iguais isto é entre dois decis temos 10 dos dados Percentis São noventa e nove estatísticas P1 P2 P99 em que as observações ordenadas em forma crescente são divididas em 100 partes iguais isto é entre dois percentis temos 1 dos dados II Medidas de Dispersão Variância amostral S2 e desvio padrão S O princípio básico e analisar os desvios das observações em a média das observações 2 1 2 1 1 X X n S n i i 𝑆 𝑆2 σ𝑖1 𝑛 𝑋𝑖 ത𝑋 2 𝑛1 Coeficiente de variação É uma medida de variabilidade relativa Útil para comparar a homogeneidade de dados com diferentes unidades de medida CV 𝑆 ത𝑋 100 Se CV 30 os dados são homogêneos Então a média me representa bem o conjunto de dados Se CV 30 os dados são heterogêneos existe uma alta dispersão dos dados em relação a sua média Distância Interquartílica A distância ou intervalo interquartil e definida como a diferença entre o terceiro e o primeiro quartis ou seja Di Q3 Q1 Amplitude 𝑅 𝑋𝑚𝑎𝑥 𝑋𝑚𝑖𝑛 Momento central de ordem r Seja mr o momento central de ordem r definido como 𝑚𝑟 σ𝑖1 𝑛 𝑋𝑖 ത𝑋 𝑟 𝑛 III Medidas de Forma O coeficiente de assimetria Ass Ass 𝑚3 𝑚232 Se Ass 0 a distribuição é simetria Se Ass 0 assimetria negativa Se Ass 0 assimetria positiva Coeficiente de Curtose Denominase curtose o grau de achatamento da distribuição O coeficiente de curtose K 𝑚4 𝑚2 2 3 Se K 0 dizse que a curva correspondente à distribuição de freqüência é mesocúrtica Se K 0 dizse que a curva correspondente à distribuição de freqüência é platicúrtica Se K 0 dizse que a curva correspondente à distribuição de freqüência é leptocúrtica Mesocúrtica IV Normalização dos dados X𝑖 𝑋𝑖 ത𝑋 𝑆 X𝑖 𝑋𝑖𝑋𝑚𝑖𝑛 𝑋𝑚𝑎𝑥𝑋𝑚𝑖𝑛 Exemplo1 Estatísticas Descritivas Tabela 1 Estatísticas descritivas da RSP MPa na camada 00 010 m de profundidade Variável n Mín Média Máx Q1 Mediana Q3 DP CV Ass Curt RSP 93 0671 2729 4269 2374 2692 3125 0669 2449 0169 0516 n número de dados Mín valor mínimo Máx valor máximo Q1 primeiro quartil Q3 terceiro quartil Me Mediana DP desvio padrão CV coeficiente de variação Ass Coeficiente de assimetria Curt Coeficiente de curtose Figura 1 Esquema amostral da área em estudo com grade regular de 75 x 75 m Histograma Distribuição de Frequência Histogram of ddata ddata Frequency 0 1 2 3 4 5 0 10 20 30 40 50 Desenho Esquemático Box Plot O Gráfico Box Plot da uma ideia da posição dispersão assimetria caudas e dados discrepantes outliers A posição central dos valores é dada pela mediana Me e a dispersão pela distancia interquartílica Di Q3 Q1 em que Q1 é o primeiro quartil e Q3 é o terceiro quartil As posições relativas de Q1 Me e Q3 são uma noção da assimetria da distribuição Os comprimentos das caudas são dados pelas linhas que vão do retângulo aos valores mais afastados LI Q1 15Di Limite Inferior e LS Q315Di Limite Superior Box Plot Os valores compreendidos entre esses dois limites são chamados valores adjacentes As observações que estiverem acima do limite superior ou abaixo do limite inferior estabelecidos serão chamados de pontos exteriores e é representado por asteriscos Essas são observações destoantes das demais e podem ou não ser os chamados de outliers observações discrepantes ou valores atípicos Box Plot LI Q1 Me Q3 LS Gráficos boxplot a e postplot b da RSP na camada 00 010 m de profundidade a b Exemplos de comparação de gráficos box plot Experimento 2 Estudo do comportamento espacial dos atributos da planta de trigo identificar as correlações espaciais existentes Modelagem da variabilidade espacial gerar mapas temáticos das superfícies amostradas no campo Área total 2262 ha Coodetec 103 CD 103 181 ha área sombreada Coodetec 101 CD 101 352 ha área branca Grade 50 x 50 metros Unidade de análise 05 x 05 metros 4 amostras por hectare Ano 2004 Estudar as estruturas de dependência e correlação espacial de atributos relacionados a plantas de trigo nos cultivares COODETEC 101 e COODETEC 103 Esquema amostral da área do experimento Exemplo 3 Uma indústria metalúrgica recentemente passou a produzir um tipo especial de peças de aço para atender um novo cliente Estas peças são produzidas com um aço de baixaliga e após serem usinadas são submetidas ao processo de têmpera em água Para satisfazer às especificações do novo cliente o item de controle de dureza medida no centro das peças temperadas deve estar na faixa de 32 a 38 Rockwell C HRc É importante destacar que a têmpera em água é o tratamento térmico usual praticado pela indústria quando é necessário aumentar a dureza das peças para atender às especificações estabelecidas pelos clientes Tomando uma amostra aleatória simples do processo de produção Tabela 11 Valores de dureza medida no centro das peças do tipo especial produzidas para o novo cliente após s têmpera em água Peça DurezaHRc Peça Dureza HRc 1 375 16 372 2 386 17 369 3 390 18 373 4 377 19 366 5 383 20 372 6 371 21 388 7 362 22 386 8 391 23 380 9 368 24 376 10 358 25 379 11 375 26 367 12 365 27 388 13 392 28 376 14 364 29 366 15 366 30 365 Fonte Werkema e Aguiar TQL 1996 Análise Exploratória 358 368 378 388 95 Conf idence Interv al f or Mu 368 373 378 95 Conf idence Interv al f or Median Variable DUREZA ASquared PValue Mean StDev Variance Skewness Kurtosis N Minimum 1st Quartile Median 3rd Quartile Maximum 371284 07641 368229 0535 0157 374867 09594 0920506 0309312 99E01 30 358000 366000 374000 383750 392000 378449 12898 378543 AndersonDarling Normality Test 95 Conf idence Interv al f or Mu 95 Conf idence Interv al f or Sigma 95 Conf idence Interv al f or Median Descriptive Statistics 0 10 20 30 34 35 36 37 38 39 40 41 Observation Number Individual Value I Chart for DUREZA X3749 30SL4037 30SL3461 Decisões O grupo considerou que se fosse utilizado óleo em lugar de água talvez o processo se tornasse capaz de atender às especificações já que o óleo é um meio de têmpera mais brando Com o objetivo de avaliar a veracidade desta hipótese o grupo decidiu realizar um experimento para comparar a eficácia da água e de dois tipos de óleo mineral A e B como banhos de têmpera para as peças especiais de aço produzidas pela indústria O experimento consistiu em submeter 9 peças de aço a cada tipo de banho de têmpera água óleo A e óleo B a seguir medir a dureza no centro das peças temperadas e comparar as durezas médias obtidas com o objetivo de identificar o meio de têmpera mais adequado Regra tr1 10 regra para o número de repeticoes por tratamento t número de tratamentos r número de repeticoes minimas necessarias em cada tratamento n tamanho da amostra t3 tratamentos e r9 entao 391 24 10 Novo Experimento Tabela 12 Valores da dureza medida no centro das peças do tipo especial após a realização da têmpera Banho de Têmpera Observação Água Óleo A Óleo B 1 367 360 353 2 389 364 350 3 387 353 343 4 388 368 357 5 376 369 352 6 372 375 342 7 388 353 365 8 380 360 356 9 372 357 355 Novo Experimento Tabela 12 Valores da dureza medida no centro das peças do tipo especial após a realização da têmpera Banho de Têmpera Observação Água Óleo A Óleo B 1 367 360 353 2 389 364 350 3 387 353 343 4 388 368 357 5 376 369 352 6 372 375 342 7 388 353 365 8 380 360 356 9 372 357 355 Medidas de Associação Covariância Quando duas variáveis aleatórias X e Y não são independentes geralmente é de interesse avaliar quão fortemente estão relacionadas estas duas variáveis CovXY 1 𝑛1 σ𝑖1 𝑛 𝑋𝑖 ത𝑋𝑌𝑖 ത𝑌 sendo X1Xn observações de X Y1Yn observações de Y IMPORTANTE A covariância será positiva se as duas variáveis tendem a variar no mesmo sentido isto é valores de X acima da sua média estão associados a valores de Y acima de sua média o mesmo ocorrendo para valores de ambos inferiores à média A covariância será negativa se valores acima da média de uma variável estão associados a valores inferiores à média da outra Se X e Y são variáveis aleatórias independentes então CovXY 0 Correlação Linear de Pearson O coeficiente de correlação das variáveis aleatórias X e Y denotado por ρXY é definido por ρXY 𝐶𝑜𝑣𝑋𝑌 𝑆𝑥𝑆𝑦 𝑆𝑥 Desvio padrão de X 𝑆𝑦 Desvio padrão de Y Interpretação do coeficiente de correlação linear de Pearson O coeficiente de correlação linear de Pearson r varia de 1 ρXY 1 sendo que se ρXY 1 a relação entre X e Y é perfeita relação linear e direta ρXY 1 a relação entre X e Y é perfeita relação linear e inversa ρXY 0 não existe associação linear entre X e Y o que não implica na ausência de outro tipo de associação pode ser quadrática Correlacões a Linear com b1 0 b Exponencial com b0 c Potência com b0 d Logarítmica com b0 e x 0 0 2 4 6 8 10 12 0 2 4 6 8 10 12 0 100 200 300 400 500 600 0 2 4 6 8 10 12 0 05 1 15 2 25 3 35 0 2 4 6 8 10 12 0 50 100 150 200 250 300 0 5 10 15 20 Exemplos de Correlação 63 100 140 175 160 180 250 180 360 470 200 0 50 100 150 200 250 300 350 400 450 500 0 500 1000 1500 Morte