·
Ciência da Computação ·
Outros
Send your question to AI and receive an answer instantly
Preview text
Ideia Fundamentos Naive Bayes Classifier Resumo 1030731 Inteligência Artificial Métodos Baseados em Probabilidade Parte I CIÊNCIA DA COMPUTAÇÃO Prof Dr Giancarlo D Salton 20 de outubro de 2022 Ideia Fundamentos Naive Bayes Classifier Resumo Ideia Fundamentos Teorema de Bayes Bayes Theorem Predição Bayesiana Bayesian Prediction Independência condicional e fatorização Algoritmo Padrão Naive Bayes Classifier A Worked Example Resumo Ideia Fundamentos Naive Bayes Classifier Resumo Ideia Jogo do encontre a dama a Left Center Right Likelihood b Jogo do encontre a dama a cartas viradas para baixo e b a probabilidade da carta da dama em cada uma das posições a Left Center Right Likelihood b Jogo do encontre a dama a cartas viradas para baixo e b a probabilidade da carta da dama em cada uma das posições após a coleta de informações a Left Center Right Likelihood b Jogo do encontre a dama a estado das cartas após o vento virar a carta mais à direita e b a probabilidade da carta da dama em cada uma das posições após revisarmos as probabilidades baseados nas novas evidências Jogo do encontre a dama posição final das cartas Ideia Fundamentos Naive Bayes Classifier Resumo Ideia Podemos utilizar estimativas de probabilidade para determinar a predição que deve ser feita Mais importante nós podemos revisar as probabilidades baseados em dados coletados e quando novas evidências estiverem disponíveis Ideia Fundamentos Naive Bayes Classifier Resumo Fundamentos Ideia Fundamentos Naive Bayes Classifier Resumo Tabela Dataset com features utilizadas para diagnosticar a presença da doença Meningitis dor de cabeça Headache febre Fever e vômito Vomiting ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Ideia Fundamentos Naive Bayes Classifier Resumo Uma função de probabilidade P retorna a probabilidade de uma feature receber um valor específico Uma probabilidade conjunta referese à probabilidade de várias features receberem valores específicos ao mesmo tempo Uma probabilidade condicional referese à probabilidade de uma feature receber um valor específico dado que outra feature já tenha recebido seu valor específico Uma distribuição de probabilidade é uma estrutura de dados que descreve a probabilidade de cada valor que uma feature pode receber A soma destas probabilidades deve ser 10 Ideia Fundamentos Naive Bayes Classifier Resumo Uma distribuição de probabilidade conjunta é uma distribuição de probabilidade dos valores de mais de uma feature e possuí uma estrutura de matriz multidimensional onde cada célula lista uma combinação de valores para estas features A soma de todas as células de uma distribuição de probabilidade conjunta deve ser 10 Ideia Fundamentos Naive Bayes Classifier Resumo PH F V M Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m onde h headache f Fever v Vomiting m Meningitis e indica a negação da feature ie indica quando a feature recebe o valor false Ideia Fundamentos Naive Bayes Classifier Resumo Dada uma distribuição de probabilidade conjunta podemos computar a probabilidade de um evento somando as células nas quais aquele evento é verdadeiro ie para computar o a probabilidade de uma feature receber determinado valor basta somar as células nas quais a feature tem aquele valor Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem Teorema de Bayes A probabilidade de um determinado evento ocorrer dado um conjunto de evidências é igual a probabilidade da evidência ter sido causada pela ocorrência do evento multiplicada pela probabilidade do evento em si PXY PYXPX PY onde PXY é a probabilidade do evento X ocorrer dadas as evidências Y PYX é a probabilidade das evidências terem sido causadas pelo evento PX é a probabilidade do evento em si PY é a probabilidade geral das evidências Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem O divisor é a probabilidade a priori da evidência e é necessário para que possamos calcular as probabilidades totais de forma correta Este divisor funciona como uma constante de normalização para que o resultado possa ser interpretado como uma probabilidade 0 ď PXY ď 1 ÿ i PXiY 10 Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem Podemos calcular este valor diretamente do dataset PY tnúmero de linhas onde Y tem o valor procuradou tnúmero de linhas no datasetu Ou podemos usar o teorema da probabilidade total PY ÿ i PYXiPXi 1 Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem Exemplo Após um checkup anual um médico informa ao seu paciente que ele tem boas e más notícias A má notícia é que o paciente testou positivo para uma determinada doença e que aquele teste utilizado tem uma acurácia de 99 ie a probabilidade de testar positivo quando se tem a doença é 099 assim como de se testar negativo quando não se em a doença A boa notícia é que esta é uma doença extremamente rara que atinge somente 1 em cada 10000 pessoas Qual é a probabilidade de que este paciente tenha realmente a doença Por que a raridade da doença é a boa notícia dado que o paciente testou positivo para ela Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem Pdt PtdPd Pt Pt PtdPd PtdPd 099 ˆ 00001 001 ˆ 09999 00101 Pdt 099 ˆ 00001 00101 00098 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Teorema de Bayes generalizado Pt lq1 qm Pq1 qmt lPt l Pq1 qm onde q é uma determinada query Pt l é a probabilidade do target receber o valor l probabilidade a priori Pq1 qm é a probabilidade conjunta das features da query q receberem um conjunto específico de valores Pq1 qmt l é a probabilidade condicional das features receberem um conjunto específico de valores dado que o target l Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Podese calcular a probabilidade Pq1 qmt l utilizando a regra da cadeia Regra da cadeia Chain Rule Pq1 qm Pq1 ˆ Pq2q1ˆ ˆ Pqmqm 1 q2 q1 Para aplicar a regra da cadeia a uma probabilidade condicional precisamos apenas adicionar os termos condicionantes a expressão Pq1 qmt l Pq1t l ˆ Pq2q1 t l ˆ ˆ Pqmqm 1 q3 q2 q1 t l Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Headache Fever Vomiting Meningitis true false true Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction PMh f v Utilizando o Teorema de Bayes a predição da query do slide anterior pode ser definida como PMh f v Ph f vM ˆ PM Ph f v Como são dois valores possíveis para meningitis M m m devemos realizar dois cálculos Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Começaremos com m primeiro Para isso precisamos das seguintes probabilidades Pm Ph f v e Ph f v m ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Podemos calcular as probabilidades diretamente do dataset Por exemplo podemos calcular Pm e Ph f v como demonstrado abaixo Pm td5 d8 d10u td1 d2 d3 d4 d5 d6 d7 d8 d9 d10u 3 10 03 Ph f v td3 d4 d6 d7 d8 d10u td1 d2 d3 d4 d5 d6 d7 d8 d9 d10u 6 10 06 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Como exercício vamos usar a regra da cadeia para calcular Ph f v m ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Utilizando a regra da cadeia Ph f v m Ph m ˆ Pf h m ˆ Pv f h m td8 d10u td5 d8 d10u ˆ td8 d10u td8 d10u ˆ td8 d10u td8 d10u 2 3 ˆ 2 2 ˆ 2 2 06666 Desta forma o cálculo de Pmh f v é Pmh f v Phm Pfh m Ph f v 06666 03 06 03333 O cálculo de Pmh f v é Pmh f v Ph f vm Pm Ph f v Phm Pfh m Ph f v 07143 08 10 07 06 06667 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Pmh f v 03333 Pmh f v 06667 Os cálculos nos mostram que é duas vezes mais provável que o paciente não tenha meningite mesmo que esteja com os sintomas de dor de cabeça e vômito Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Paradoxo do Falso Positivo Esquecer de incluir as probabilidades a priori é uma das origens do Paradoxo do Falso Positivo que nos diz que para fazer predições sobre um evento raro o modelo precisa ter uma acurácia igual ou superior a raridade indicada pela probabilidade a priori do evento raroa ou haverá uma change significativa de falsos positivosb a No exemplo utilizado para demonstrar o Teorema de Bayes a raridade da doença era 1 em 10000 e a acurácia do teste era de 99 b Para evitar falsos positivos neste exemplo a acurácia do modelo deveria ser igual a 9999 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Modelo MAP de Predição Baiesiano MMAPq argmax lPlevelst Pt l q1 qm argmax lPlevelst Pq1 qm t l ˆ Pt l Pq1 qm Modelo MAP de Predição Baiesiano sem normalização MMAPq argmax lPlevelst Pq1 qm t l ˆ Pt l MAP Maximum A Posteriori ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Headache Fever Vomiting Meningitis true true false ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Pm h f v Pm h f v Pm hfv Phm Pf hm Pv fhm Pm Phfv 06666 0 0 03 01 0 Pm hfv Phm Pf hm Pv fhm Pm Phfv 07143 02 10 07 01 10 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Pm h f v 0 Pm h f v 10 Tem alguma coisa estranha nestes resultados Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Maldição da dimensionalidade Curse of Dimensionality Conforme o número de features descritivas aumenta o número de eventos que podem condicionar as probabilidades também aumenta Consequentemente um aumento exponencial no tamanho do dataset é requerido para garantir que existem exemplos suficientes representando todas as condições de forma que as probabilidades resultantes sejam razoáveis Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction A probabilidade de um paciente com dor de cabeça e febre ter meningite deve ser maior do que zero Nosso dataset não é grande o suficiente Ñ nosso modelo não consegue generalizar além do dataset Os conceitos de independência condicional e fatorização nos auxiliam com esta falha no modelo MAP de predição Baiesiano Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Se o conhecimento sobre um evento não traz efeitos na probabilidade de outro evento e viceversa então os dois eventos são independentes um do outro Se dois eventos X e Y são independentes então PXY PX PX Y PX ˆ PY Lembrando que se dois eventos são dependentes as regras acima são PXY PX Y PY PX Y PXY ˆ PY PYX ˆ PX Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Independência completa entre dois eventos é um fato raro Um fenômeno mais comum é de que dois ou mais eventos são independentes entre si se soubermos que um terceiro evento aconteceu Isto é chamado de independência condicional Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Para dois eventos X e Yque são condicionalmente independentes de um terceiro evento Z a definição de probabilidade conjunta e probabilidade condicional são PXY Z PXZ PX YZ PXZ ˆ PYZ PXY PX Y PY PX Y PXY ˆ PY PYX ˆ PX se X e Y são dependentes PXY PX PX Y PX ˆ PY se X e Y são independentes Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Se o evento t l causa os eventos q1 qm ie se o target com valor l causa os valores das features da query q assumirem os valores que assumem então os eventos q1 qm são condicionalmente independentes dado t l e a regra da cadeia pode ser simplificada Pq1 qm t l Pq1 t l ˆ Pq2 t l ˆ ˆ Pqm t l m ź i1 Pqi t l Pt l q1qm i1 to m Pqi t l Pt l Pq1qm Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Sem independência condicional PX Y ZW PXW ˆ PYX W ˆ PZY X W ˆ PW Com independência condicional PX Y ZW PXW l jh n Fator1 ˆ PYW l jh n Fator2 ˆ PZW l jh n Fator3 ˆ PW l jh n Fator4 Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Distribuição de probabilidade conjunta para o dataset de predição de meningitis PH F V M Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Supondo que as features descritivas são condicionalmente independentes umas das outras dado a ocorrência ou não de meningitis precisamos armazenar apenas 4 fatores Fator1 ă PM ą Fator2 ă Phm Phm ą Fator3 ă Pfm Pfm ą Fator4 ă Pvm Pvm ą PH F V M PM ˆ PHM ˆ PFM ˆ PVM ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Calcule os fatores a partir do dataset Factor1 ă PM ą Factor2 ă Phm Phm ą Factor3 ă Pfm Pfm ą Factor4 ă Pvm Pvm ą ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Calcule os fatores a partir do dataset Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Utilize os fatores acima para calcular a probabilidade de meningitistrue para a query abaixo Headache Fever Vomiting Meningitis true true false Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Utilize os fatores acima para calcular a probabilidade de meningitistrue para a query abaixo Headache Fever Vomiting Meningitis true true false Pmh f v Phm ˆ Pfm ˆ Pvm ˆ Pm ř i PhMi ˆ PfMi ˆ PvMi ˆ PMi 06666 ˆ 03333 ˆ 03333 ˆ 03 06666 ˆ 03333 ˆ 03333 ˆ 03 07143 ˆ 04286 ˆ 04286 ˆ 07 01948 Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Utilize os fatores acima para calcular a probabilidade de meningitisfalse para a mesma query Headache Fever Vomiting Meningitis true true false Pmh f v Phm ˆ Pfm ˆ Pvm ˆ Pm ř i PhMi ˆ PfMi ˆ PvMi ˆ PMi 07143 ˆ 04286 ˆ 04286 ˆ 07 06666 ˆ 03333 ˆ 03333 ˆ 03 07143 ˆ 04286 ˆ 04286 ˆ 07 08052 Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Pmh f v 01948 Pmh f v 08052 Assim como antes a predição MAP retornou meningitisfalse No entanto a probabilidade a posteriori são mais plausíveis e menos extremas Ideia Fundamentos Naive Bayes Classifier Resumo Algoritmo Padrão Naive Bayes Classifier Naive Bayes Classifier Mq argmax i1m Pqi t l Pt l Ideia Fundamentos Naive Bayes Classifier Resumo Naive Bayes Classifier é simples de treinar 1 calcular a probabilidade a priori de cada um dos valores do target calculate the priors for each of the target levels 2 calculate the conditional probabilities for each feature given each target level Tabela Um dataset sobre detecção de fraudes fraud em empréstimos ID CH GC ACC Fraud 1 current none own true 2 paid none own false 3 paid none own false 4 paid guarantor rent true 5 arrears none own false 6 arrears none own true 7 current none own false 8 arrears none own false 9 current none rent false 10 none none own true 11 current coapplicant own false 12 current none own true 13 current none rent true 14 paid none own false 15 arrears none own false 16 current none own false 17 arrears coapplicant rent false 18 arrears none free false 19 arrears none own false 20 paid none own false Pfr 03 Pfr 07 PCH none fr 01666 PCH none fr 0 PCH paid fr 01666 PCH paid fr 02857 PCH current fr 05 PCH current fr 02857 PCH arrears fr 01666 PCH arrears fr 04286 PGC none fr 08334 PGC none fr 08571 PGC guarantor fr 01666 PGC guarantor fr 0 PGC coapplicant fr 0 PGC coapplicant fr 01429 PACC own fr 06666 PACC own fr 07857 PACC rent fr 03333 PACC rent fr 01429 PACC free fr 0 PACC free fr 00714 Tabela Probabilidades necessárias para as predições do Naive Bayes Classifier calculadas a partir do dataset Notação FRFraudulent CHCredit History GC GuarantorCoApplicant ACC Accomodation Ttrue Ffalse Pfr 03 Pfr 07 PCH none fr 01666 PCH none fr 0 PCH paid fr 01666 PCH paid fr 02857 PCH current fr 05 PCH current fr 02857 PCH arrears fr 01666 PCH arrears fr 04286 PGC none fr 08334 PGC none fr 08571 PGC guarantor fr 01666 PGC guarantor fr 0 PGC coapplicant fr 0 PGC coapplicant fr 01429 PACC own fr 06666 PACC own fr 07857 PACC rent fr 03333 PACC rent fr 01429 PACC free fr 0 PACC free fr 00714 CH GC ACC Fraud paid none rent Pfr 03 Pfr 07 PCH paid fr 01666 PGC none fr 08334 PACC rent fr 03333 k1m Pqk fr Pfr 00139 k1m Pqk fr Pfr 00245 Pfr 03 Pfr 07 PCH paid fr 01666 PGC none fr 08334 PACC rent fr 03333 k1m Pqk fr Pfr 00139 k1m Pqk fr Pfr 00245 CH GC ACC Fraud paid none rent false O modelo foi capaz de generalizar para além do dataset ID CH GC ACC Fraud 1 current none own true 2 paid none own false 3 paid none own false 4 paid guarantor rent true 5 arrears none own false 6 arrears none own true 7 current none own false 8 arrears none own false 9 current none rent false 10 none none own true 11 current coapplicant own false 12 current none own true 13 current none rent true 14 paid none own false 15 arrears none own false 16 current none own false 17 arrears coapplicant rent false 18 arrears none free false 19 arrears none own false 20 paid none own false CH GC ACC Fraud paid none rent false Ideia Fundamentos Naive Bayes Classifier Resumo Resumo Ideia Fundamentos Naive Bayes Classifier Resumo Ptd Pdt ˆ Pt Pd O Naive Bayes Classifier faz a suposição ingênua naive de que cada feature descritiva do domínio é condicionalmente independente de todas as outras features dado o valor para o target Esta suposição embora frequentemente incorreta permite ao Naive Bayes Classifier fatorizar as representações utilizadas sobre o domínio Surpreendentemente dada a ingenuidade e robustez da suposição o Naive Bayes Classifier normalmente possui uma boa performance Ideia Fundamentos Naive Bayes Classifier Resumo Ideia Fundamentos Teorema de Bayes Bayes Theorem Predição Bayesiana Bayesian Prediction Independência condicional e fatorização Algoritmo Padrão Naive Bayes Classifier A Worked Example Resumo
Send your question to AI and receive an answer instantly
Preview text
Ideia Fundamentos Naive Bayes Classifier Resumo 1030731 Inteligência Artificial Métodos Baseados em Probabilidade Parte I CIÊNCIA DA COMPUTAÇÃO Prof Dr Giancarlo D Salton 20 de outubro de 2022 Ideia Fundamentos Naive Bayes Classifier Resumo Ideia Fundamentos Teorema de Bayes Bayes Theorem Predição Bayesiana Bayesian Prediction Independência condicional e fatorização Algoritmo Padrão Naive Bayes Classifier A Worked Example Resumo Ideia Fundamentos Naive Bayes Classifier Resumo Ideia Jogo do encontre a dama a Left Center Right Likelihood b Jogo do encontre a dama a cartas viradas para baixo e b a probabilidade da carta da dama em cada uma das posições a Left Center Right Likelihood b Jogo do encontre a dama a cartas viradas para baixo e b a probabilidade da carta da dama em cada uma das posições após a coleta de informações a Left Center Right Likelihood b Jogo do encontre a dama a estado das cartas após o vento virar a carta mais à direita e b a probabilidade da carta da dama em cada uma das posições após revisarmos as probabilidades baseados nas novas evidências Jogo do encontre a dama posição final das cartas Ideia Fundamentos Naive Bayes Classifier Resumo Ideia Podemos utilizar estimativas de probabilidade para determinar a predição que deve ser feita Mais importante nós podemos revisar as probabilidades baseados em dados coletados e quando novas evidências estiverem disponíveis Ideia Fundamentos Naive Bayes Classifier Resumo Fundamentos Ideia Fundamentos Naive Bayes Classifier Resumo Tabela Dataset com features utilizadas para diagnosticar a presença da doença Meningitis dor de cabeça Headache febre Fever e vômito Vomiting ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Ideia Fundamentos Naive Bayes Classifier Resumo Uma função de probabilidade P retorna a probabilidade de uma feature receber um valor específico Uma probabilidade conjunta referese à probabilidade de várias features receberem valores específicos ao mesmo tempo Uma probabilidade condicional referese à probabilidade de uma feature receber um valor específico dado que outra feature já tenha recebido seu valor específico Uma distribuição de probabilidade é uma estrutura de dados que descreve a probabilidade de cada valor que uma feature pode receber A soma destas probabilidades deve ser 10 Ideia Fundamentos Naive Bayes Classifier Resumo Uma distribuição de probabilidade conjunta é uma distribuição de probabilidade dos valores de mais de uma feature e possuí uma estrutura de matriz multidimensional onde cada célula lista uma combinação de valores para estas features A soma de todas as células de uma distribuição de probabilidade conjunta deve ser 10 Ideia Fundamentos Naive Bayes Classifier Resumo PH F V M Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m onde h headache f Fever v Vomiting m Meningitis e indica a negação da feature ie indica quando a feature recebe o valor false Ideia Fundamentos Naive Bayes Classifier Resumo Dada uma distribuição de probabilidade conjunta podemos computar a probabilidade de um evento somando as células nas quais aquele evento é verdadeiro ie para computar o a probabilidade de uma feature receber determinado valor basta somar as células nas quais a feature tem aquele valor Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem Teorema de Bayes A probabilidade de um determinado evento ocorrer dado um conjunto de evidências é igual a probabilidade da evidência ter sido causada pela ocorrência do evento multiplicada pela probabilidade do evento em si PXY PYXPX PY onde PXY é a probabilidade do evento X ocorrer dadas as evidências Y PYX é a probabilidade das evidências terem sido causadas pelo evento PX é a probabilidade do evento em si PY é a probabilidade geral das evidências Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem O divisor é a probabilidade a priori da evidência e é necessário para que possamos calcular as probabilidades totais de forma correta Este divisor funciona como uma constante de normalização para que o resultado possa ser interpretado como uma probabilidade 0 ď PXY ď 1 ÿ i PXiY 10 Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem Podemos calcular este valor diretamente do dataset PY tnúmero de linhas onde Y tem o valor procuradou tnúmero de linhas no datasetu Ou podemos usar o teorema da probabilidade total PY ÿ i PYXiPXi 1 Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem Exemplo Após um checkup anual um médico informa ao seu paciente que ele tem boas e más notícias A má notícia é que o paciente testou positivo para uma determinada doença e que aquele teste utilizado tem uma acurácia de 99 ie a probabilidade de testar positivo quando se tem a doença é 099 assim como de se testar negativo quando não se em a doença A boa notícia é que esta é uma doença extremamente rara que atinge somente 1 em cada 10000 pessoas Qual é a probabilidade de que este paciente tenha realmente a doença Por que a raridade da doença é a boa notícia dado que o paciente testou positivo para ela Ideia Fundamentos Naive Bayes Classifier Resumo Teorema de Bayes Bayes Theorem Pdt PtdPd Pt Pt PtdPd PtdPd 099 ˆ 00001 001 ˆ 09999 00101 Pdt 099 ˆ 00001 00101 00098 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Teorema de Bayes generalizado Pt lq1 qm Pq1 qmt lPt l Pq1 qm onde q é uma determinada query Pt l é a probabilidade do target receber o valor l probabilidade a priori Pq1 qm é a probabilidade conjunta das features da query q receberem um conjunto específico de valores Pq1 qmt l é a probabilidade condicional das features receberem um conjunto específico de valores dado que o target l Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Podese calcular a probabilidade Pq1 qmt l utilizando a regra da cadeia Regra da cadeia Chain Rule Pq1 qm Pq1 ˆ Pq2q1ˆ ˆ Pqmqm 1 q2 q1 Para aplicar a regra da cadeia a uma probabilidade condicional precisamos apenas adicionar os termos condicionantes a expressão Pq1 qmt l Pq1t l ˆ Pq2q1 t l ˆ ˆ Pqmqm 1 q3 q2 q1 t l Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Headache Fever Vomiting Meningitis true false true Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction PMh f v Utilizando o Teorema de Bayes a predição da query do slide anterior pode ser definida como PMh f v Ph f vM ˆ PM Ph f v Como são dois valores possíveis para meningitis M m m devemos realizar dois cálculos Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Começaremos com m primeiro Para isso precisamos das seguintes probabilidades Pm Ph f v e Ph f v m ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Podemos calcular as probabilidades diretamente do dataset Por exemplo podemos calcular Pm e Ph f v como demonstrado abaixo Pm td5 d8 d10u td1 d2 d3 d4 d5 d6 d7 d8 d9 d10u 3 10 03 Ph f v td3 d4 d6 d7 d8 d10u td1 d2 d3 d4 d5 d6 d7 d8 d9 d10u 6 10 06 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Como exercício vamos usar a regra da cadeia para calcular Ph f v m ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Utilizando a regra da cadeia Ph f v m Ph m ˆ Pf h m ˆ Pv f h m td8 d10u td5 d8 d10u ˆ td8 d10u td8 d10u ˆ td8 d10u td8 d10u 2 3 ˆ 2 2 ˆ 2 2 06666 Desta forma o cálculo de Pmh f v é Pmh f v Phm Pfh m Ph f v 06666 03 06 03333 O cálculo de Pmh f v é Pmh f v Ph f vm Pm Ph f v Phm Pfh m Ph f v 07143 08 10 07 06 06667 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Pmh f v 03333 Pmh f v 06667 Os cálculos nos mostram que é duas vezes mais provável que o paciente não tenha meningite mesmo que esteja com os sintomas de dor de cabeça e vômito Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Paradoxo do Falso Positivo Esquecer de incluir as probabilidades a priori é uma das origens do Paradoxo do Falso Positivo que nos diz que para fazer predições sobre um evento raro o modelo precisa ter uma acurácia igual ou superior a raridade indicada pela probabilidade a priori do evento raroa ou haverá uma change significativa de falsos positivosb a No exemplo utilizado para demonstrar o Teorema de Bayes a raridade da doença era 1 em 10000 e a acurácia do teste era de 99 b Para evitar falsos positivos neste exemplo a acurácia do modelo deveria ser igual a 9999 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Modelo MAP de Predição Baiesiano MMAPq argmax lPlevelst Pt l q1 qm argmax lPlevelst Pq1 qm t l ˆ Pt l Pq1 qm Modelo MAP de Predição Baiesiano sem normalização MMAPq argmax lPlevelst Pq1 qm t l ˆ Pt l MAP Maximum A Posteriori ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Headache Fever Vomiting Meningitis true true false ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Pm h f v Pm h f v Pm hfv Phm Pf hm Pv fhm Pm Phfv 06666 0 0 03 01 0 Pm hfv Phm Pf hm Pv fhm Pm Phfv 07143 02 10 07 01 10 Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Pm h f v 0 Pm h f v 10 Tem alguma coisa estranha nestes resultados Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction Maldição da dimensionalidade Curse of Dimensionality Conforme o número de features descritivas aumenta o número de eventos que podem condicionar as probabilidades também aumenta Consequentemente um aumento exponencial no tamanho do dataset é requerido para garantir que existem exemplos suficientes representando todas as condições de forma que as probabilidades resultantes sejam razoáveis Ideia Fundamentos Naive Bayes Classifier Resumo Predição Bayesiana Bayesian Prediction A probabilidade de um paciente com dor de cabeça e febre ter meningite deve ser maior do que zero Nosso dataset não é grande o suficiente Ñ nosso modelo não consegue generalizar além do dataset Os conceitos de independência condicional e fatorização nos auxiliam com esta falha no modelo MAP de predição Baiesiano Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Se o conhecimento sobre um evento não traz efeitos na probabilidade de outro evento e viceversa então os dois eventos são independentes um do outro Se dois eventos X e Y são independentes então PXY PX PX Y PX ˆ PY Lembrando que se dois eventos são dependentes as regras acima são PXY PX Y PY PX Y PXY ˆ PY PYX ˆ PX Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Independência completa entre dois eventos é um fato raro Um fenômeno mais comum é de que dois ou mais eventos são independentes entre si se soubermos que um terceiro evento aconteceu Isto é chamado de independência condicional Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Para dois eventos X e Yque são condicionalmente independentes de um terceiro evento Z a definição de probabilidade conjunta e probabilidade condicional são PXY Z PXZ PX YZ PXZ ˆ PYZ PXY PX Y PY PX Y PXY ˆ PY PYX ˆ PX se X e Y são dependentes PXY PX PX Y PX ˆ PY se X e Y são independentes Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Se o evento t l causa os eventos q1 qm ie se o target com valor l causa os valores das features da query q assumirem os valores que assumem então os eventos q1 qm são condicionalmente independentes dado t l e a regra da cadeia pode ser simplificada Pq1 qm t l Pq1 t l ˆ Pq2 t l ˆ ˆ Pqm t l m ź i1 Pqi t l Pt l q1qm i1 to m Pqi t l Pt l Pq1qm Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Sem independência condicional PX Y ZW PXW ˆ PYX W ˆ PZY X W ˆ PW Com independência condicional PX Y ZW PXW l jh n Fator1 ˆ PYW l jh n Fator2 ˆ PZW l jh n Fator3 ˆ PW l jh n Fator4 Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Distribuição de probabilidade conjunta para o dataset de predição de meningitis PH F V M Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ph f v m Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Supondo que as features descritivas são condicionalmente independentes umas das outras dado a ocorrência ou não de meningitis precisamos armazenar apenas 4 fatores Fator1 ă PM ą Fator2 ă Phm Phm ą Fator3 ă Pfm Pfm ą Fator4 ă Pvm Pvm ą PH F V M PM ˆ PHM ˆ PFM ˆ PVM ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Calcule os fatores a partir do dataset Factor1 ă PM ą Factor2 ă Phm Phm ą Factor3 ă Pfm Pfm ą Factor4 ă Pvm Pvm ą ID Headache Fever Vomiting Meningitis 1 true true false false 2 false true false false 3 true false true false 4 true false true false 5 false true false true 6 true false true false 7 true false true false 8 true false true true 9 false true false false 10 true false true true Calcule os fatores a partir do dataset Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Utilize os fatores acima para calcular a probabilidade de meningitistrue para a query abaixo Headache Fever Vomiting Meningitis true true false Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Utilize os fatores acima para calcular a probabilidade de meningitistrue para a query abaixo Headache Fever Vomiting Meningitis true true false Pmh f v Phm ˆ Pfm ˆ Pvm ˆ Pm ř i PhMi ˆ PfMi ˆ PvMi ˆ PMi 06666 ˆ 03333 ˆ 03333 ˆ 03 06666 ˆ 03333 ˆ 03333 ˆ 03 07143 ˆ 04286 ˆ 04286 ˆ 07 01948 Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Factor1 ă Pm 03 ą Factor2 ă Phm 06666 Phm 07413 ą Factor3 ă Pfm 03333 Pfm 04286 ą Factor4 ă Pvm 06666 Pvm 05714 ą Utilize os fatores acima para calcular a probabilidade de meningitisfalse para a mesma query Headache Fever Vomiting Meningitis true true false Pmh f v Phm ˆ Pfm ˆ Pvm ˆ Pm ř i PhMi ˆ PfMi ˆ PvMi ˆ PMi 07143 ˆ 04286 ˆ 04286 ˆ 07 06666 ˆ 03333 ˆ 03333 ˆ 03 07143 ˆ 04286 ˆ 04286 ˆ 07 08052 Ideia Fundamentos Naive Bayes Classifier Resumo Independência condicional e fatorização Pmh f v 01948 Pmh f v 08052 Assim como antes a predição MAP retornou meningitisfalse No entanto a probabilidade a posteriori são mais plausíveis e menos extremas Ideia Fundamentos Naive Bayes Classifier Resumo Algoritmo Padrão Naive Bayes Classifier Naive Bayes Classifier Mq argmax i1m Pqi t l Pt l Ideia Fundamentos Naive Bayes Classifier Resumo Naive Bayes Classifier é simples de treinar 1 calcular a probabilidade a priori de cada um dos valores do target calculate the priors for each of the target levels 2 calculate the conditional probabilities for each feature given each target level Tabela Um dataset sobre detecção de fraudes fraud em empréstimos ID CH GC ACC Fraud 1 current none own true 2 paid none own false 3 paid none own false 4 paid guarantor rent true 5 arrears none own false 6 arrears none own true 7 current none own false 8 arrears none own false 9 current none rent false 10 none none own true 11 current coapplicant own false 12 current none own true 13 current none rent true 14 paid none own false 15 arrears none own false 16 current none own false 17 arrears coapplicant rent false 18 arrears none free false 19 arrears none own false 20 paid none own false Pfr 03 Pfr 07 PCH none fr 01666 PCH none fr 0 PCH paid fr 01666 PCH paid fr 02857 PCH current fr 05 PCH current fr 02857 PCH arrears fr 01666 PCH arrears fr 04286 PGC none fr 08334 PGC none fr 08571 PGC guarantor fr 01666 PGC guarantor fr 0 PGC coapplicant fr 0 PGC coapplicant fr 01429 PACC own fr 06666 PACC own fr 07857 PACC rent fr 03333 PACC rent fr 01429 PACC free fr 0 PACC free fr 00714 Tabela Probabilidades necessárias para as predições do Naive Bayes Classifier calculadas a partir do dataset Notação FRFraudulent CHCredit History GC GuarantorCoApplicant ACC Accomodation Ttrue Ffalse Pfr 03 Pfr 07 PCH none fr 01666 PCH none fr 0 PCH paid fr 01666 PCH paid fr 02857 PCH current fr 05 PCH current fr 02857 PCH arrears fr 01666 PCH arrears fr 04286 PGC none fr 08334 PGC none fr 08571 PGC guarantor fr 01666 PGC guarantor fr 0 PGC coapplicant fr 0 PGC coapplicant fr 01429 PACC own fr 06666 PACC own fr 07857 PACC rent fr 03333 PACC rent fr 01429 PACC free fr 0 PACC free fr 00714 CH GC ACC Fraud paid none rent Pfr 03 Pfr 07 PCH paid fr 01666 PGC none fr 08334 PACC rent fr 03333 k1m Pqk fr Pfr 00139 k1m Pqk fr Pfr 00245 Pfr 03 Pfr 07 PCH paid fr 01666 PGC none fr 08334 PACC rent fr 03333 k1m Pqk fr Pfr 00139 k1m Pqk fr Pfr 00245 CH GC ACC Fraud paid none rent false O modelo foi capaz de generalizar para além do dataset ID CH GC ACC Fraud 1 current none own true 2 paid none own false 3 paid none own false 4 paid guarantor rent true 5 arrears none own false 6 arrears none own true 7 current none own false 8 arrears none own false 9 current none rent false 10 none none own true 11 current coapplicant own false 12 current none own true 13 current none rent true 14 paid none own false 15 arrears none own false 16 current none own false 17 arrears coapplicant rent false 18 arrears none free false 19 arrears none own false 20 paid none own false CH GC ACC Fraud paid none rent false Ideia Fundamentos Naive Bayes Classifier Resumo Resumo Ideia Fundamentos Naive Bayes Classifier Resumo Ptd Pdt ˆ Pt Pd O Naive Bayes Classifier faz a suposição ingênua naive de que cada feature descritiva do domínio é condicionalmente independente de todas as outras features dado o valor para o target Esta suposição embora frequentemente incorreta permite ao Naive Bayes Classifier fatorizar as representações utilizadas sobre o domínio Surpreendentemente dada a ingenuidade e robustez da suposição o Naive Bayes Classifier normalmente possui uma boa performance Ideia Fundamentos Naive Bayes Classifier Resumo Ideia Fundamentos Teorema de Bayes Bayes Theorem Predição Bayesiana Bayesian Prediction Independência condicional e fatorização Algoritmo Padrão Naive Bayes Classifier A Worked Example Resumo