Analise de Correlacao e Regressao Linear - Trabalho Pratico de Estatistica

Centro Federal de Educacao Tecnologica de Minas Gerais Departamento de Computacao Disciplina Estatıstica II Prof Guilherme Lopes de Oliveira Trabalho Pratico Final Valor 150 pontos ASSUNTO Analise de correlacao linear analise de regressao linear simples e multipla estimativa e inter pretacao dos coeficientes de regressao significˆancia dos coeficientes e predicao GRUPOS Individual ou em dupla DADOS Devera ser escolhido pelo grupo para realizar analise de regressao linear multipla Y X1 Xq Como o objetivo e aplicacao de regressao linear multipla os dados terao um conjunto de no mınimo duas variaveis explicativas isto e q 2 Sugiro FORTEMENTE o envio previo dos dados para que eu possa avaliar a viabilidade de elaboracao do trabalho ENTREGA O relatorio contendo as analises PDF e o conjunto de dados que sera utilizado devem ser enviados atraves do email guilhermeoliveiracefetmgbr ate o dia 07122023 impreterivelmente ROTEIRO Para o banco de dados selecionado pelo grupo prossiga com as analises de acordo com os itens abaixo sempre deixando claras e completas as suas respostas 1 Descreva as variaveis e o problema relacionado ao seu conjunto de dados Identifique qual e a variavel resposta e quais sao as variaveis explicativas de interesse 2 Investigue a correlacao linear entre a variavel resposta e cada uma das variaveis explicativas Comente sobre a direcao e magnitude da correlacao Para tal faca uso do grafico de dispersao e calcule e interprete o coeficiente de correlacao amostral de Pearson R 3 Ajuste um modelo de regressao linear com todas as variaveis do seu conjunto de dados Lembrese que caso possua alguma variavel explicativa categorica vocˆe deve criar as variaveis indicadorasdummies pertinentes e incluilas no modelo Apresente a tabela de Analise de Variˆancia ANOVA do modelo e faca o teste de hipoteses associado a estatıstica F presente nesta tabela escreva as hipoteses nula e alternativa apresente o valor da estatıstica do teste e conclua o teste com base no valorp associado Use o nıvel de 5 de significˆancia em sua analise 4 Indique se o modelo ajustado no item 3 contem coeficientes que nao sao estatisticamente significantes para cada um dos coeficientes escreva as hipoteses nula e alternativa do teste t associado apresente o valor da estatıstica do teste apropriado e conclua o teste com base no valorp Use o nıvel de 5 de significˆancia em sua analise Se sua resposta foi positiva retire do modelo aquela variavel explicativa que tem o maior pvalor e a menos significativa e refaca o ajuste Repita o procedimento ate obter um modelo em que todas as variaveis preditoras sejam estatisticamente significativas 1 5 Vocˆe acha que faz sentido investigar a inclusao de um termo de interacao entre variaveis explicativas presentes no seu modelo final Se sim considere o modelo que consta os termos de interacao identificados por vocˆe Avalie a significˆancia dos termos de interacao caso tenha incluıdo algum e encontre um modelo final significativo seguindo o procedimento citado no item 4 6 Para o modelo final obtido interprete cada um dos parˆametros do modelo 7 Qual e a porcentagem da variabilidade da variavel resposta que e explicada pelas variavelis ex plicativas no seu modelo final 8 Qual a estimativa da variˆancia σ2 do termo de erro do modelo 9 Escolha um conjunto de valores para as variavelis explicativas presentes no seu modelo final e faca uma previsao aplicando estes valores no modelo ajustado 10 Descreva as suposicoes feitas sobre o termo de erro do modelo de regressao linear Nao precisa fazer a verificacao destas suposicoes atraves da analise de resıduos Basta enunciar quais sao estas suposicoes No entanto vale lembrar que na pratica o ideal e fazer a analise de resıduos para validar o modelo antes de usalo para predicao eou extrapolacao para a populacao 2 CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS DEPARTAMENTO DE CIÊNCIAS SOCIAIS APLICADAS ESTATÍSTICA II TRABALHO PRÁTICO FINAL BELO HORIZONTE 2023 1 Descreva as variáveis e o problema relacionado ao seu conjunto de dados Identifique qual é a variável resposta e quais são as variáveis explicativas de interesse Os dados são referentes a 200 jogadores do FIFA 21 e contém informações de idade pontuação geral e valor de mercado Estes dados são usados para analisar como a idade e a habilidade dos jogadores influenciam seu valor de mercado no jogo Variáveis preditoras age idade do jogador em anos overall nível de habilidade do jogador Variável resposta value valor de mercado do jogador em milhões 2 Investigue a correlação linear entre a variável resposta e cada uma das variáveis explicativas Comente sobre a direção e magnitude da correlação Para tal faça uso do gráfico de dispersão e calcule e interprete o coeficiente de correlação amostral de Pearson R O objetivo é verificar se há correlação linear entre as variáveis preditoras idade e overall e a variável resposta valor de mercado Dessa forma foram construídos diagramas de dispersão e calculados os coeficientes de correlação linear de Pearson 15 20 25 30 35 40 0 20 40 60 80 100 120 140 160 180 200 Dispersão idade Idade anos Valor mi Figura 1 Diagrama de dispersão idade e valor Fonte os autores 2023 55 60 65 70 75 80 85 90 95 0 20 40 60 80 100 120 140 160 180 200 Dispersão overall Overall Valor mi Figura 2 Diagrama de dispersão overall e valor Fonte os autores 2023 O coeficiente de correlação linear de Pearson r foi de 05409 entre a idade e o valor de mercado o que indica que a idade tem uma correlação moderada positiva com o valor de mercado indicando uma tendência de jogadores mais velhos terem valores maiores Entretanto graficamente vemos esse comportamento somente até próximo aos trinta anos A correlação entre overall e o valor de mercado foi de 08585 sugerindo que quanto melhor a pontuação geral do jogador maior seu valor no mercado do FIFA 21 3 Ajuste um modelo de regressão linear com todas as variáveis do seu conjunto de dados Lembrese que caso possua alguma variável explicativa categórica você deve criar as variáveis indicadorasdummies pertinentes e incluílas no modelo Apresente a tabela de Análise de Variância ANOVA do modelo e faça o teste de hipóteses associado à estatística F presente nesta tabela escreva as hipóteses nula e alternativa apresente o valor da estatística do teste e conclua o teste com base no valorp associado Use o nível de 5 de significância em sua análise Foi realizada a ANOVA do modelo ajustado conforme Tabela 1 Tabela 1 ANOVA do modelo ajustado gl SQ MQ F F de significaçã o Regressão 2 154381 7719062 297087798 335E60 2 2 Resíduo 197 511853 8 2598243 Total 199 205566 6 Fonte os autores 2023 Dadas as hipóteses Hipótese nula H0 todos os coeficientes das variáveis explicativas são iguais a zero Hipótese alternativa H1 pelo menos um dos coeficientes das variáveis explicativas é diferente de zero Com base no valor do teste F apresentado 29709 e valorp aprox 0 concluise pela rejeição da hipótese nula pois valorp 005 nível de significância O modelo ajustado é significativo ou seja ao menos um dos coeficientes difere de zero 4 Indique se o modelo ajustado no item 3 contém coeficientes que não são estatisticamente significantes para cada um dos coeficientes escreva as hipóteses nula e alternativa do teste t associado apresente o valor da estatística do teste apropriado e conclua o teste com base no valorp Use o nível de 5 de significância em sua análise Se sua resposta foi positiva retire do modelo aquela variável explicativa que tem o maior pvalor é a menos significativa e refaça o ajuste Repita o procedimento até obter um modelo em que todas as variáveis preditoras sejam estatisticamente significativas Considerando cada coeficiente individualmente o teste t foi aplicado a cada um onde as hipóteses foram Hipótese nula H0 o coeficiente de regressão é zero Hipótese alternativa H1 o coeficiente de regressão é diferente de zero A Tabela 2 mostra os resultados obtidos Tabela 2 Teste t para os coeficientes do modelo Coeficie ntes Erro padrã o Stat t valorP Interseç ão 315838 1458 007 2166 23 50778E 54 age 0469 000107 155661 001 3318 99 6172 overall 492441 7 0258 586 1904 362 151923 E46 Fonte os autores 2023 Para ambos os coeficientes temos valorp 005 logo rejeitamos H0 Isso mostra que os coeficientes são significantes no modelo ou seja que ajudam a explicar a variabilidade do valor de mercado dos jogadores 5 Investigue se faz sentido a inclusão de um termo de interação entre as variáveis explicativas presentes no seu modelo final Se sim considere o modelo que consta os termos de interação identificados por você Avalie a significância dos termos de interação caso tenha incluído algum e encontre um modelo final significativo seguindo o procedimento citado no item 4 O termo de interação fará sentido se a relação entre as variáveis explicativas e a variável resposta muda em diferentes níveis da outra variável explicativa ou seja se a influência da idade age no valor de mercado value é diferente em diferentes níveis de habilidade geral overall ou viceversa A fim de verificar a significância da interação foi adicionado o termo de interação ao modelo conforme Tabela 3 Tabela 3 Teste t para os coeficientes do modelo com interação Coeficiente s Erro padrão Stat t valorP Interseção 1334091 703779 4 189561 005948 3 age 250675 364227 4 688239 775E11 overall 043456 085736 8 050686 061282 6 ageovera ll 0279875 004305 9 649972 3 651E10 Fonte os autores 2023 Sejam as hipóteses H0 não há interação significativa entre idade e overall H1 há interação significativa entre idade e overall Temos que valorp 0 005 portanto rejeitase H0 ao nível de significância de 5 O efeito de interação é portanto significativo 6 Para o modelo final obtido interprete cada um dos parâmetros do modelo O modelo final conta com os seguintes coeficientes O intercepto é de 1334091 Não tem interpretação prática neste caso pois significativa o valor de mercado de um jogador com idade e overall iguais a zero O coeficiente para idade é de 250675 sugerindo que mantendose overall constante cada ano adicional reduz o valor de mercado de um jogador em cerca de 25 milhões O coeficiente para overall é de 04346 sugerindo que sem considerar a interação com a idade a pontuação geral por si só não é um preditor significativo do valor de mercado do jogador valorp 005 Entretanto como a interação é significativa matemos a variável O coeficiente da interação entre idade e overall é 02799 sugerindo que o efeito da idade no valor de mercado é positivamente moderado pela pontuação geral à medida que a pontuação geral aumenta o impacto negativo da idade sobre o valor de mercado diminui 7 Qual é a porcentagem da variabilidade da variável resposta que é explicada pelas variávelis explicativas no seu modelo final A Tabela 4 traz as estatísticas da regressão Tabela 4 Estatísticas de regressão Estatística de regressão R múltiplo 0891715 RQuadrado 0795156 Rquadrado ajustado 0792021 Erro padrão 146575 Observações 200 Fonte os autores 2023 Como há múltiplas variáveis preditoras no modelo o Rquadrado ajustado fornece uma medida mais precisa para avaliar o ajuste do modelo pois leva em consideração o número de preditores O Rquadrado ajustado obtido foi de 07920 o que indica que cerca de 7920 da variabilidade no valor de mercado dos jogadores é explicada pelas variáveis explicativas do modelo idade overall e a interação entre idade e overall 8 Qual a estimativa da variância σ² do termo de erro do modelo A estimativa da variância do termo de erro indica a variabilidade dos valores observados em relação à linha de regressão ajustada pelo modelo Isso representa a variabilidade não explicada pelas variáveis explicativas do modelo ou seja a variabilidade atribuída a fatores não inclusos no modelo ou ao erro aleatório A estimativa de σ² é dada por 146575² 2148423 9 Escolha um conjunto de valores para as variávelis explicativas presentes no seu modelo final e faça uma previsão aplicando estes valores no modelo ajustado Considerando um jogador de 24 anos e overall de 80 o valor de mercado estimado é dado por Valor1334091250675240434568024800279875343843 A previsão do modelo ajustado para um jogador de 24 anos com overall de 80 é um valor de mercado estimado de aproximadamente 343843 milhões 10 Descreva as suposições feitas sobre o termo de erro do modelo de regressão linear Não precisa fazer a verificação destas suposições através da análise de resíduos Basta enunciar quais são estas suposições No entanto vale lembrar que na prática o ideal é fazer a análise de resíduos para validar o modelo antes de usálo para predição eou extrapolação para a população As suposições do modelo de regressão linear são i Linearidade a relação entre as variáveis explicativas e a resposta é linear ii Homocedasticidade a variância dos erros é constante em todos os níveis das variáveis explicativas iii Independência os erros são independentes entre si iv Normalidade os erros seguem uma distribuição normal v Ausência de multicolinearidade não há relação linear perfeita entre as variáveis explicativas CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS DEPARTAMENTO DE CIÊNCIAS SOCIAIS APLICADAS ESTATÍSTICA II TRABALHO PRÁTICO FINAL BELO HORIZONTE 2023 1 Descreva as variáveis e o problema relacionado ao seu conjunto de dados Identifique qual é a variável resposta e quais são as variáveis explicativas de interesse Os dados são referentes a 200 jogadores do FIFA 21 e contém informações de idade pontuação geral e valor de mercado Estes dados são usados para analisar como a idade e a habilidade dos jogadores influenciam seu valor de mercado no jogo Variáveis preditoras age idade do jogador em anos overall nível de habilidade do jogador Variável resposta value valor de mercado do jogador em milhões 2 Investigue a correlação linear entre a variável resposta e cada uma das variáveis explicativas Comente sobre a direção e magnitude da correlação Para tal faça uso do gráfico de dispersão e calcule e interprete o coeficiente de correlação amostral de Pearson R O objetivo é verificar se há correlação linear entre as variáveis preditoras idade e overall e a variável resposta valor de mercado Dessa forma foram construídos diagramas de dispersão e calculados os coeficientes de correlação linear de Pearson Figura 1 Diagrama de dispersão idade e valor Fonte os autores 2023 0 20 40 60 80 100 120 140 160 180 200 15 20 25 30 35 40 Valor mi Idade anos Dispersão idade Figura 2 Diagrama de dispersão overall e valor Fonte os autores 2023 O coeficiente de correlação linear de Pearson r foi de 05409 entre a idade e o valor de mercado o que indica que a idade tem uma correlação moderada positiva com o valor de mercado indicando uma tendência de jogadores mais velhos terem valores maiores Entretanto graficamente vemos esse comportamento somente até próximo aos trinta anos A correlação entre overall e o valor de mercado foi de 08585 sugerindo que quanto melhor a pontuação geral do jogador maior seu valor no mercado do FIFA 21 3 Ajuste um modelo de regressão linear com todas as variáveis do seu conjunto de dados Lembrese que caso possua alguma variável explicativa categórica você deve criar as variáveis indicadorasdummies pertinentes e incluílas no modelo Apresente a tabela de Análise de Variância ANOVA do modelo e faça o teste de hipóteses associado à estatística F presente nesta tabela escreva as hipóteses nula e alternativa apresente o valor da estatística do teste e conclua o teste com base no valorp associado Use o nível de 5 de significância em sua análise Foi realizada a ANOVA do modelo ajustado conforme Tabela 1 Tabela 1 ANOVA do modelo ajustado gl SQ MQ F F de significação Regressão 2 1543812 7719062 2970877982 335E60 Resíduo 197 5118538 2598243 Total 199 2055666 Fonte os autores 2023 0 20 40 60 80 100 120 140 160 180 200 55 60 65 70 75 80 85 90 95 Valor mi Overall Dispersão overall Dadas as hipóteses Hipótese nula H0 todos os coeficientes das variáveis explicativas são iguais a zero Hipótese alternativa H1 pelo menos um dos coeficientes das variáveis explicativas é diferente de zero Com base no valor do teste F apresentado 29709 e valorp aprox 0 concluise pela rejeição da hipótese nula pois valorp 005 nível de significância O modelo ajustado é significativo ou seja ao menos um dos coeficientes difere de zero 4 Indique se o modelo ajustado no item 3 contém coeficientes que não são estatisticamente significantes para cada um dos coeficientes escreva as hipóteses nula e alternativa do teste t associado apresente o valor da estatística do teste apropriado e conclua o teste com base no valorp Use o nível de 5 de significância em sua análise Se sua resposta foi positiva retire do modelo aquela variável explicativa que tem o maior pvalor é a menos significativa e refaça o ajuste Repita o procedimento até obter um modelo em que todas as variáveis preditoras sejam estatisticamente significativas Considerando cada coeficiente individualmente o teste t foi aplicado a cada um onde as hipóteses foram Hipótese nula H0 o coeficiente de regressão é zero Hipótese alternativa H1 o coeficiente de regressão é diferente de zero A Tabela 2 mostra os resultados obtidos Tabela 2 Teste t para os coeficientes do modelo Coeficientes Erro padrão Stat t valorP Interseção 315838 1458007 216623 50778E54 age 155661 0469001 331899 0001076172 overall 4924417 0258586 1904362 151923E46 Fonte os autores 2023 Para ambos os coeficientes temos valorp 005 logo rejeitamos H0 Isso mostra que os coeficientes são significantes no modelo ou seja que ajudam a explicar a variabilidade do valor de mercado dos jogadores 5 Investigue se faz sentido a inclusão de um termo de interação entre as variáveis explicativas presentes no seu modelo final Se sim considere o modelo que consta os termos de interação identificados por você Avalie a significância dos termos de interação caso tenha incluído algum e encontre um modelo final significativo seguindo o procedimento citado no item 4 O termo de interação fará sentido se a relação entre as variáveis explicativas e a variável resposta muda em diferentes níveis da outra variável explicativa ou seja se a influência da idade age no valor de mercado value é diferente em diferentes níveis de habilidade geral overall ou viceversa A fim de verificar a significância da interação foi adicionado o termo de interação ao modelo conforme Tabela 3 Tabela 3 Teste t para os coeficientes do modelo com interação Coeficientes Erro padrão Stat t valorP Interseção 1334091 7037794 189561 0059483 age 250675 3642274 688239 775E11 overall 043456 0857368 050686 0612826 ageoverall 0279875 0043059 6499723 651E10 Fonte os autores 2023 Sejam as hipóteses H0 não há interação significativa entre idade e overall H1 há interação significativa entre idade e overall Temos que valorp 0 005 portanto rejeitase H0 ao nível de significância de 5 O efeito de interação é portanto significativo 6 Para o modelo final obtido interprete cada um dos parâmetros do modelo O modelo final conta com os seguintes coeficientes O intercepto é de 1334091 Não tem interpretação prática neste caso pois significativa o valor de mercado de um jogador com idade e overall iguais a zero O coeficiente para idade é de 250675 sugerindo que mantendose overall constante cada ano adicional reduz o valor de mercado de um jogador em cerca de 25 milhões O coeficiente para overall é de 04346 sugerindo que sem considerar a interação com a idade a pontuação geral por si só não é um preditor significativo do valor de mercado do jogador valorp 005 Entretanto como a interação é significativa matemos a variável O coeficiente da interação entre idade e overall é 02799 sugerindo que o efeito da idade no valor de mercado é positivamente moderado pela pontuação geral à medida que a pontuação geral aumenta o impacto negativo da idade sobre o valor de mercado diminui 7 Qual é a porcentagem da variabilidade da variável resposta que é explicada pelas variávelis explicativas no seu modelo final A Tabela 4 traz as estatísticas da regressão Tabela 4 Estatísticas de regressão Estatística de regressão R múltiplo 0891715 RQuadrado 0795156 Rquadrado ajustado 0792021 Erro padrão 146575 Observações 200 Fonte os autores 2023 Como há múltiplas variáveis preditoras no modelo o Rquadrado ajustado fornece uma medida mais precisa para avaliar o ajuste do modelo pois leva em consideração o número de preditores O Rquadrado ajustado obtido foi de 07920 o que indica que cerca de 7920 da variabilidade no valor de mercado dos jogadores é explicada pelas variáveis explicativas do modelo idade overall e a interação entre idade e overall 8 Qual a estimativa da variância σ² do termo de erro do modelo A estimativa da variância do termo de erro indica a variabilidade dos valores observados em relação à linha de regressão ajustada pelo modelo Isso representa a variabilidade não explicada pelas variáveis explicativas do modelo ou seja a variabilidade atribuída a fatores não inclusos no modelo ou ao erro aleatório A estimativa de σ² é dada por 146575² 2148423 9 Escolha um conjunto de valores para as variávelis explicativas presentes no seu modelo final e faça uma previsão aplicando estes valores no modelo ajustado Considerando um jogador de 24 anos e overall de 80 o valor de mercado estimado é dado por Valor 1334091 250675 24 043456 80 24 80 0279875 343843 A previsão do modelo ajustado para um jogador de 24 anos com overall de 80 é um valor de mercado estimado de aproximadamente 343843 milhões 10 Descreva as suposições feitas sobre o termo de erro do modelo de regressão linear Não precisa fazer a verificação destas suposições através da análise de resíduos Basta enunciar quais são estas suposições No entanto vale lembrar que na prática o ideal é fazer a análise de resíduos para validar o modelo antes de usálo para predição eou extrapolação para a população As suposições do modelo de regressão linear são i Linearidade a relação entre as variáveis explicativas e a resposta é linear ii Homocedasticidade a variância dos erros é constante em todos os níveis das variáveis explicativas iii Independência os erros são independentes entre si iv Normalidade os erros seguem uma distribuição normal v Ausência de multicolinearidade não há relação linear perfeita entre as variáveis explicativas