Slide - Probabilidade B2 - Matemática Discreta - 2023-2

B2 - Probabilidade Jeroen van de Graaf DCC/UFMG Tópicos probabilidade Aula 1. ▶ Intro, Laplace; axiomas; eventos, Dois exemplos importantes Aula 2. ▶ Probabilidade condicional ▶ independência de eventos ▶ Teorema de Bayes 3. Váriaveis estocásticas 4. Distribuições princiais 5. *Comportamento asintótico das distribuições Probabilidade condicional Definição [6.2.3] Sejam E e F eventos, com p(F) > 0. A probabilidade condicional de E dado F é Pr[E|F] = Pr[E ∩ F] Pr[F] ▶ Exigimos que p(F) > 0; se não a definição não faz sentido (condicionando a um evento que não ocorre); ▶ Repare que o denominador normalize a probabilidade; se F = E obtemos p = 1. ▶ Uma probabilidade condicional satisfaz todos os axiomas; logo, também é uma distribuição. Probabilidade condicional Exemplo [6.2.3] Seja S = {0, 1}4, os strings de tamanho 4. Seja E o evento que s tem pelo menos dois 0s consecutivo, e F o evento que o primeiro bit de s é 0. Calcule P(E|F). Resposta ▶ Temos E ∩ F = {0000, 0001, 0010, 0100, 0011, 0100} ▶ Temos que |F| = 8. Portanto p(E|F) = p(E ∩ F) p(F) = 5/16 8/16 = 5 8 Probabilidade condicional Exemplo [6.2.3] Considere uma família com dois filhos. Se sabemos que há pelo menos um menino, qual é a probabilidade que há dois meninos? Resposta ▶ Temos que E ∩ F = {Boy, Boy} ▶ Temos que F = {BB, BG, GB}. Portanto p(E|F) = p(E ∩ F) p(F) = 1 3 Probabilidade condicional Exemplo [6.2.3] Considere uma família com dois filhos. Se sabemos que há pelo menos um menino, qual é a probabilidade que há dois meninos? Outra resposta Temos inicialmente BB BG GB GG 1 4 1 4 1 4 1 4 mas GG não se concretiza. Então obtemos, após normalização BB BG GB GG 1 3 1 3 1 3 0 Probabilidade condicional Figure 1: Exemplo wikipedia Probabilidade condicional 1. Dado que a soma de dois dados dá no máximo 5, qual é a probabilidade que o primeiro dado é 1? 2. Dado que que o primeiro dado é 1, qual é a probabilidade que a soma de dois dados dá no máximo 5? ▶ Condicionar muda a probabilidade procurada? ▶ p(E|F) ?= p(E)? ▶ p(F|E) ?= p(F)? Probabilidade condicional 1. Dado que a soma de dois dados dá no máximo 5, qual é a probabilidade que o primeiro dado é 1? 2. Dado que que o primeiro dado é 1, qual é a probabilidade que a soma de dois dados dá no máximo 5? ▶ Condicionar muda a probabilidade procurada? ▶ p(E|F) ?= p(E)? ▶ p(F|E) ?= p(F)? Eventos independentes Se p(E|F) = p(E) então condicionar E a F sim ou não não faz diferença para p(E), eportanto o evento E não depende do F. E se p(F|E) = p(F), então F não depende de E. Definição [6.2.4] Os eventos E e F são independentes se p(E ∩ F) = p(E)p(F). Repare que neste caso p(E|F) = p(E ∩ F) p(F) = p(E)p(F) p(F) = p(E) e que p(F|E) = p(F) Eventos independentes Se p(E|F) = p(E) então condicionar E a F sim ou não não faz diferença para p(E), eportanto o evento E não depende do F. E se p(F|E) = p(F), então F não depende de E. Definição [6.2.4] Os eventos E e F são independentes se p(E ∩ F) = p(E)p(F). Repare que neste caso p(E|F) = p(E ∩ F) p(F) = p(E)p(F) p(F) = p(E) e que p(F|E) = p(F) Eventos independentes Se p(E|F) = p(E) então condicionar E a F sim ou não não faz diferença para p(E), eportanto o evento E não depende do F. E se p(F|E) = p(F), então F não depende de E. Definição [6.2.4] Os eventos E e F são independentes se p(E ∩ F) = p(E)p(F). Repare que neste caso p(E|F) = p(E ∩ F) p(F) = p(E)p(F) p(F) = p(E) e que p(F|E) = p(F) Eventos independentes Exemplo ▶ jogar duas moedas, ou a mesma moeda duas vezes ▶ jogar dois dados, ou o mesmo dado duas vezes Neste exemplos a independência também é física: não existe correlação. Eventos independentes Exemplo [6.2.5] Considere os string de tamanho 4. E é o evento que o bit gerado começa com um 1, enquanto F é o evento que o bit tem um número par de 1s. Claramente p(E) = p(F) = 8/16 = 1/2 Como E ∩ F = {1111, 1100, 1010, 1001} vemos que p(E ∩ F) = 4/16 = 1/4 = 1/2 · 1/2 = p(E)p(F) então E e F são independentes. Eventos independentes Exemplo [6.2.6] Assume que BB, BG, GB, GG são equiprováveis. Seja E o evento que uma família com duas crianças tem dois meninos, e F o evento que ela tem pelo menos 1 menino. E e F são independentes? ▶ E = {BB} então p(E) = 1/4. ▶ F = {BB, BG, GB} então p(F) = 3/4 ▶ E ∩ F = E então p(E ∩ F) = 1/4 ̸= 3/16 = p(E) · p(F) então E e F não são independentes. Eventos independentes Exemplo [6.2.6] Assume que BB, BG, GB, GG são equiprováveis. Seja E o evento que uma família com duas crianças tem dois meninos, e F o evento que ela tem pelo menos 1 menino. E e F são independentes? ▶ E = {BB} então p(E) = 1/4. ▶ F = {BB, BG, GB} então p(F) = 3/4 ▶ E ∩ F = E então p(E ∩ F) = 1/4 ̸= 3/16 = p(E) · p(F) então E e F não são independentes. Eventos independentes Exemplo [6.2.7] (com 3 crianças) Assume que BBB, BBG, BGB, BGG, GBB, GBG, GGB e GGG são equiprováveis. Seja E o evento que uma família com tem crianças de ambos os sexos, e F o evento que ela tem no máximo 1 menino. E e F são independentes? ▶ E = {BBG, BGB, BGG, GBB, GBG, GGB} então p(E) = 6/8 = 3/4. ▶ F = {BGG, GBG, GGB, GGG} então p(F) = 4/8 = 1/2 ▶ E ∩ F = {BGG, GBG, GGB} então p(E ∩ F) = 3/8 = 3/4 · 1/2 = p(E) · p(F) então E e F são independentes. Eventos independentes Exemplo [6.2.7] (com 3 crianças) Assume que BBB, BBG, BGB, BGG, GBB, GBG, GGB e GGG são equiprováveis. Seja E o evento que uma família com tem crianças de ambos os sexos, e F o evento que ela tem no máximo 1 menino. E e F são independentes? ▶ E = {BBG, BGB, BGG, GBB, GBG, GGB} então p(E) = 6/8 = 3/4. ▶ F = {BGG, GBG, GGB, GGG} então p(F) = 4/8 = 1/2 ▶ E ∩ F = {BGG, GBG, GGB} então p(E ∩ F) = 3/8 = 3/4 · 1/2 = p(E) · p(F) então E e F são independentes. Teorema de Bayes Sabemos que Pr[F|E] = Pr[E ∩ F] Pr[E] ⇐⇒ Pr[E ∩ F] = Pr[F|E]Pr[E] e que Pr[E|F] = Pr[E ∩ F] Pr[F] ⇐⇒ Pr[E ∩ F] = Pr[E|F]Pr[F] Portanto Pr[F|E]Pr[E] = Pr[E|F]Pr[F] ⇐⇒ Pr[F|E] = Pr[E|F]Pr[F] Pr[E] Teorema de Bayes Teorema de Bayes (versão simples) Pr[F|E] = Pr[E|F]Pr[F] Pr[E] O teorema de Bayes nos permite de inverter a probabilidade condicional Pr[E|F] para a probabilidade condicional inversa, Pr[F|E]. A intuição humana é notavelmente ruim para entender a diferença entre essas probabilidades condicionais. Mostraremos isso em breve. Primeiro mostramos como calcular o denominador, Pr[E]. Teorema de Bayes O denominador pode ser calculado de seguinte maneira: Pr[E] = Pr[E ∩ F] + Pr[E ∩ F] = Pr[E|F]Pr[F] + Pr[E|F]Pr[F] Assim obtemos: Teorema de Bayes (versão completa) [6.3.1] Pr[F|E] = Pr[E|F]Pr[F] Pr[E|F]Pr[F] + Pr[E|F]Pr[F] Teste de laboratório médico ▶ Você fez um teste para doença XYZ. ▶ O resultado deu positivo. ▶ A precisão do teste é de 99%. ▶ A doença é rara: apenas 0.1% da população é afetada. ▶ Qual é a probabilidade que você é realmente doente? ▶ A probabilidade procurada é Pr( doente | positivo). ▶ Aquela 99% é Pr( positivo | doente ); ▶ Usando Bayes vamos ver que Pr( positivo | doente ) = 0.99 ̸= Pr( doente | positivo) = 0.090163 . . . Teste de laboratório médico ▶ Você fez um teste para doença XYZ. ▶ O resultado deu positivo. ▶ A precisão do teste é de 99%. ▶ A doença é rara: apenas 0.1% da população é afetada. ▶ Qual é a probabilidade que você é realmente doente? ▶ A probabilidade procurada é Pr( doente | positivo). ▶ Aquela 99% é Pr( positivo | doente ); ▶ Usando Bayes vamos ver que Pr( positivo | doente ) = 0.99 ̸= Pr( doente | positivo) = 0.090163 . . . Teste de laboratório médico ▶ E = testar positivo ▶ F = estar doente ▶ Temos que Pr(F) = 0.001 e Pr(E|F) = 0.99 ▶ Bayes: Pr(F|E) = Pr(E|F)Pr(F) Pr(E|F)Pr(F) + Pr(E|¯F)Pr(¯F) Então Pr(F|E) = 0.99 × 0.001 0.99 × 0.001 + 0.01 × 0.999 = 0.00099 0.01098 ≃ 0.090103. Teste de laboratório médico Considere uma população com 100000 pessoas: F: estar doente \bar{F}: estar saudável Total E: testar positivo 99 999 1098 \bar{E}: testar negativo 1 98901 98902 Total 100 99900 100000 Pr(doente | positivo) = \frac{99}{1098} \simeq 9% Pr(saudável | positivo) = \frac{999}{1098} \simeq 90.9% Ou seja, um resultado positivo tem 10 vezes mais chances de ser um alarme falso que indicar alguém que tem a doença. Inferência Bayesiana Exemplo ▶ Caixa 1 contém 1 bola branca e 9 bolas pretas ▶ Caixa 2 contém 4 bolas brancas e 1 preta. ▶ Vc escolhe uma das caixas aleatóriamente ▶ Tire uma bola aleatóriamente, elá é branca. Qual é a probabilidade que a caixa é Caixa 1? Inferência Bayesiana F = Caixa 1 F = Caixa 2 E = branca 1 4 E = preta 9 1 Pr[F] = 1 2 Pr[F] = 1 2 A probabilidade procurada é Pr[F|E]. Aplicando Bayes obtemos Pr(F|E) = Pr(E|F)Pr(F) Pr(E|F)Pr(F) + Pr(E|¯F)Pr(¯F) = 1/10 · 1/2 1/10 · 1/2 + 4/5 · 1/2 = 1 9 Dica: Sempre montar uma tabela nesse tipo de questões. Voltando a Monty Hall O exemplo aparece como exercício, mas é um pouco difícil por dois motivos: 1. O teorema de Bayes padrão conheço apenas dois casos no númerador, com F e ¯F. Monty Hall precisa de 3. 2. É muito fácil se confundir na definiçãp dos eventos. Definimos os seguintes eventos: ▶ X = A : ‘porta escolhido pelo participante X é A’; ▶ M = B : ‘porta aberta pelo Monty é B’; ▶ P = Z : ‘porta onde fica o Prêmio é Z’ onde Z ∈ {A, B, C} Voltando a Monty Hall Supomos que ▶ o participante X abre porta A, notação X = A. ▶ Monty abra porta B, notação: M = B. Queremos calcular a probabilidade que o prêmio está na porta A, B ou C dado que Monty porta B e X escolheu porta A e. Ou seja, queremos calcular Pr[P = A|M = B ∧ X = A] Pr[P = B|M = B ∧ X = A] Pr[P = C|M = B ∧ X = A] Mas já que Monty abriu porta B sabemos que o prêmio não está lá, ou seja Pr[P = B|M = B ∧ X = A] = 0 Para calcular a primeira e terceira probabilidade precisamos do teorema de Bayes. Voltando a Monty Hall Para a primeira e probabilidade Pr[P = A | M = B \land X = A] = \frac{\underbrace{Pr[M = B \land X = A | P = A] \cdot Pr[P = A]}_{(1)}}{Pr[M = B \land X = A]} Voltando a Monty Hall Para a primeira e probabilidade Pr[P = A | M = B \land X = A] = \frac{\underbrace{Pr[M = B \land X = A | P = A] \cdot Pr[P = A]}_{(1)}}{Pr[M = B \land X = A]} Aqui o denominador pode ser escrito como \Pr[M = B \land X = A] = \underbrace{Pr[M = B \land X = A | P = A] Pr[P = A] + Pr[M = B \land X = A | P = B] Pr[P = B]}_{(1)} + \underbrace{Pr[M = B \land X = A | P = C] Pr[P = C]}_{(2)} = 1/2 \cdot 1/3 + 0 \cdot 1/3 + 1 \cdot 1/3 = 1/6 + 1/3 = 1/2 já que \underbrace{Pr[M = B \land X = A | P = A]}_{(1)} = 1/2 enquanto \underbrace{Pr[M = B \land X = A | P = C]}_{(2)} = 1 Voltando ao Bayes 5 VOLTANDO AO TEOREMA DE BAYES Teorema de Bayes Teorema de Bayes (versão simples) Pr[F|E] = Pr[E|F]Pr[F] Pr[E] ▶ O teorema de Bayes nos permite de inverter a probabilidade condicional Pr[E|F] para a probabilidade condicional inversa, Pr[F|E]. ▶ A probabilidade procurada é Pr[F|E], mas ao invés de calcula-la diretamente, vamos calcular a razão Pr[F|E] Pr[F|E] Teorema de Bayes Exemplo ▶ Caixa 1 contém 1 bola branca e 9 bolas pretas ▶ [Caixa 2 contém 4 bolas brancas e 1 preta. ▶ Vc escolhe uma das caixas aleatóriamente ▶ Tire uma bola aleatóriamente, elá é branca. Qual é a probabilidade que a caixa é Caixa 1? Teorema de Bayes F = Caixa 1 F = Caixa 2 E = branca 1 5 4 5 E = preta 9 10 1 10 Pr[F] = 1 2 Pr[F] = 1 2 ▶ Vamos calcular a razão Pr[F|E] Pr[F|E] ▶ Sabemos que Pr[F|E] + Pr[F|E] = 1 ▶ Na divisão, o fator Pr[E] se cancela: Pr[F|E] Pr[F|E] = Pr[E|F]Pr[F] Pr[E] · Pr[E] Pr[E|F]Pr[F] = Pr[E|F] Pr[E|F] · Pr[F] Pr[F] Teorema de Bayes F = Caixa 1 F = Caixa 2 E = branca 1 5 4 5 E = preta 9 10 1 10 Pr[F] = 1 2 Pr[F] = 1 2 ▶ Vamos calcular a razão Pr[F|E] Pr[F|E] ▶ Sabemos que Pr[F|E] + Pr[F|E] = 1 ▶ Na divisão, o fator Pr[E] se cancela: Pr[F|E] Pr[F|E] = Pr[E|F]Pr[F] Pr[E] · Pr[E] Pr[E|F]Pr[F] = Pr[E|F] Pr[E|F] · Pr[F] Pr[F] Teorema de Bayes ▶ Aplicando a fórmula ao nosso exemplo: Pr[F|E] Pr[F|E] = Pr[E|F] Pr[E|F] · Pr[F] Pr[F] = 1/10 4/5 · 1/2 1/2 = 1 8 ▶ As chances são de 1 para 8, então Pr[F|E] = 1 9 ▶ Repare que a razão Pr[F] Pr[F] = 1 1 era nossa avaliação a priori da chance F versus F. ▶ Dada a evidência E podemos atualizar essa razão. Teorema de Bayes ▶ Você fez um teste para doença XYZ. ▶ O resultado deu positivo. ▶ A precisão do teste é de 99%. ▶ A doença é rara: apenas 0.1% da população é afetada. ▶ Qual é a probabilidade que você é realmente doente? Teorema de Bayes F : estar doente ¯F : estar saudável Total E : testar positivo 99 999 1098 ¯E : testar negativo 1 98901 98902 Total 100 99900 100000 ▶ Repare que Pr[F] Pr[F] = 1 999 ▶ Aplicando a fórmula ao nosso exemplo: Pr[F|E] Pr[F|E] = Pr[E|F] Pr[E|F] · Pr[F] Pr[F] = 0.99 0.01 · 1 999 = 99 999 ▶ Obtemos portanto Pr[F|E] = 99 99 + 999 = 99 1098 ≈ 99 1100 = 9 100 Teorema de Bayes ▶ Nova informação a doença XYZ é heriditária: se um pai tem, passe ao filho com p = 0.1 ▶ Repare que Pr[F] Pr[F] = 1 9 ▶ Aplicando a fórmula ao nosso exemplo: Pr[F|E] Pr[F|E] = Pr[E|F] Pr[E|F] · Pr[F] Pr[F] = 0.99 0.01 · 1 999 = 99 9 = 11 1 ▶ Portanto Pr[F|E] = 11 11 + 1 = 11 12 ≈ 0.916666 Teorema de Bayes ▶ Nova informação a doença XYZ é heriditária: se um pai tem, passe ao filho com p = 0.1 ▶ Repare que Pr[F] Pr[F] = 1 9 ▶ Aplicando a fórmula ao nosso exemplo: Pr[F|E] Pr[F|E] = Pr[E|F] Pr[E|F] · Pr[F] Pr[F] = 0.99 0.01 · 1 999 = 99 9 = 11 1 ▶ Portanto Pr[F|E] = 11 11 + 1 = 11 12 ≈ 0.916666 Teorema de Bayes ▶ A fórmula Pr[F|E] Pr[F|E] = Pr[E|F] Pr[E|F] · Pr[F] Pr[F] ▶ A força da evidência não depende so de F, mas também do seu complemento, ¯F. ▶ Informação lateral/adicional pode ter um impacto profundo para calcular Pr[F|E] Pr[F|E] ▶ Questão: seja F =’o marido matou sua esposa’, qual razão corresponde a ‘além da dúvida razoável’?