Notas de Aula de Processos Estocásticos

UNIVERSIDADE FEDERAL DE GOIAS INSTITUTO DE MATEMATICA E ESTATÍSTICA ESTATÍSTICA NOTAS DE AULA DE PROCESSOS ESTOCÁSTICOS VALDIVINO VARGAS JÚNIOR GOIANIA2023 1 VALDIVINO VARGAS JÚNIOR INTRODUÇÃO AOS PROCESSOS ESTOCÁSTICOS vvjuniorufgbr 2 Sumário 01 Introdução aos Processos Estocásticos 4 011 Notas de Aulas 4 012 Exercícios 12 02 Funções do Processo e Classificação de Processos Estocásticos 12 021 Notas de Aulas 12 1 Processo de Bernouli 18 101 Notas de Aulas 18 2 Passeios Aleatórios Conceitos e Propriedades 23 201 Notas de Aulas 23 3 Processo de Ramificação 33 301 Notas de Aulas 33 4 Cadeia de Markov a Tempo Discreto 38 41 Cadeia de Markov a Tempo Discreto Definições Básicas 38 411 Notas de Aulas 38 42 Cadeia de Markov a Tempo Discreto Equações de ChapmanKolmogorov 44 421 Notas de Aulas 44 43 Cadeia de Markov a Tempo Discreto Distribuições do Processo 47 431 Notas de Aulas 47 44 Cadeia de Markov a Tempo Discreto Distribuição Invariante 48 441 Notas de Aulas 48 45 Cadeia de Markov a Tempo Discreto Estrutura do Espaço de Estados 49 451 Notas de Aulas 49 46 Cadeia de Markov a Tempo Discreto Irredutibilidade 52 461 Notas de Aulas 52 3 47 Cadeia de Markov a Tempo Discreto Teorema Ergódico 54 471 Notas de Aulas 54 5 Processo de Poisson 63 51 Processo de Poisson Definição e Propriedades Básicas 63 511 Notas de Aulas 63 52 Processo de Poisson Tempo entre Chegadas 67 521 Notas de Aulas 67 53 Superposição e Decomposição de um Processo de Poisson 72 531 Notas de Aulas 72 54 Processo de Poisson Composto e Processo de Poisson não Homogêneo 77 541 Notas de Aulas 77 6 Processo de Renovação 83 601 Notas de Aulas 83 7 Cadeia de Markov a Tempo Contínuo 90 71 Cadeia de Markov a Tempo Contínuo Propriedades Básicas 90 711 Notas de Aulas 90 72 Cadeia de Markov a Tempo Contínuo Estrutura da Cadeia 92 721 Notas de Aulas 92 73 Cadeia de Markov a Tempo Contínuo Estrutura de Classe 94 731 Notas de Aulas 94 74 Cadeia de Markov a Tempo Contínuo Teorema Ergódico 97 741 Notas de Aulas 97 75 Cadeia de Markov a Tempo Contínuo Exemplos Processos de Nascimento e Morte 102 751 Notas de Aulas 102 76 Cadeia de Markov a Tempo Contínuo Exemplos Filas 106 761 Notas de Aulas 106 01 Introdução aos Processos Estocásticos 011 Notas de Aulas Definição 011 Processo Estocástico Um processo estocástico Xt t T onde T é um conjunto de índices é uma família de variáveis aleatórias Isto é para cada t T Xt é uma variável aleatória 4 Exemplo 012 Sejam XX2Xn varidveis aleatérias independentes e identicamente dis tributdas tais que PX 1 p e PX 11p Seja n Sn U Xi n 12 i1 e So 0 A colegaéo Sn 0 um processo estocdstico chamado passeio aleatério simples unidi mensional Nesse caso T 012 n Definicgao 013 Espaco de Estados O conjunto E de todos os valores que um processo estocdstico Xt T pode assumir chamado espaco de estados Exemplo 014 No Exemplo 012 E 21012 Exemplo 015 Processo de Ramificagao Para cada n N defina uma sequéncia de varidveis aleatérias independentes e identicamente distri butdas NO NS é 0 ntimero de filhos do mésimo individuo da ngeragao Agora defina Zo 1 e indutivamente Zn ni Nor tee ny para n 1 Zn representa o tamanho total da populagéo na nésima geragao O processo Znnen chamado processo de ramificagao Nesse caso E 012 Exemplo 016 Martingale Seja Snn0 um processo estocdstico Dizemos que S um martingale se para todo n 1 ES co 2 ESn41S01 Sn Sn Exemplo 017 Sejam So 0 e n Sn So n 12 i1 onde uma sequéncia de varidveis aleatérias iid com distribuigao exponencial de média 1 Mostre que Y 2 exp Sn 12 define um martingale 5 Exemplo 018 Seja XX2 uma sequéncia de varidveis aleatérias tid com distribuigao Uni forme01 Seja Yo 1 e n Yn 2 7 Xin 12 i1 Mostre que Y wm martingale Definicgao 019 Processo Estocdstico a Tempo Discreto Um processo estocdstico X1t T dito a tempo discreto se o conjunto de tndices T associado é enumerdvel Exemplo 0110 Sejam X X2 Xn varidveis aleatérias independentes e identicamente dis tribuidas tais que PX 1 p e PX 11p Seja n Sn S 2X n12 i1 e So 0 A colegado Sn 0 um processo estocdstico a tempo discreto 6 Definição 0111 Processo Estocástico a Tempo Contínuo Um processo estocástico X Xt t T é dito a tempo contínuo se o conjunto de índices T associado é não enumerável Exemplo 0112 Considere um processo aleatório Xt definido por Xt Y cosωt Θ onde X e Y são variáveis aleatórias independentes tais que Y Uniforme A A e Θ Uniforme π π O processo Xt é um processo a tempo contínuo Definição 0113 Processo Estocástico Discreto Um processo estocástico X Xt t T é dito discreto se o espaço de estados E associado é enumerável Exemplo 0114 Considere o espaço de estados 0 1 d e variáveis aleatórias independentes entre si tais que Se Sn 1 2 d 1 então PXn1 1 p e PXn1 1 1 p q Se Sn 0 então PXn1 1 p e PXn1 0 1 p q Se Sn d então PXn1 0 p e PXn1 1 1 p q O processo assim descrito é chamado passeio aleatório com barreiras de retenção Tratase de um processo estocástico discreto Definição 0115 Processo Estocástico Contínuo Um processo estocástico X Xt t T é dito contínuo se o espaço de estados E associado é não enumerável Exemplo 0116 Considere um processo aleatório Xt definido por Xt Y cosωt Θ onde X e Y são variáveis aleatórias independentes tais que Y Uniforme A A e Θ Uniforme π π O processo Xt é um processo estocástico contínuo Definição 0117 Realização de um Processo Estocástico Seja um ponto amostral ω de Ω A esse ponto associamos Xtω para todo t T Essa função é chamada realização do processo X Xt t T Exemplo 0118 No Exemplo 012 um exemplo de realização seria A 0 1 2 3 4 5 Neste caso Sn n para todo n Ou seja todos os movimentos ocorrem para a direita 7 Definição 0119 Processo de Contagem Seja Xtt0 um processo estocástico a tempo contínuo Xtt0 é chamado processo de contagem caso represente o número de ocorrências de um determinado evento no intervalo 0 t Observação 0120 Um processo de contagemXtt0 satisfaz as seguintes condições 1 X0 0 2 Xt 0 3 Xt é valor inteiro 4 Xs Xt se s t 5 Xt Xs corresponde ao número de ocorrências no intervalo s t Exemplo 0121 O número de emails que chegam a um servidor no intervalo de tempo 0 t é para cada t 0 uma variável aleatória Nt O processo Ntt0 é um processo de contagem Definição 0122 Processo entre Chegadas Seja Xtt0 um processo de contagem Considere Tn como o tempo gasto entre as n 1ésima e nésima ocorrências A sequência Tnn1 forma um processo estocástico chamado processo entre chegadas Exemplo 0123 O número de emails que chegam a um servidor no intervalo de tempo 0 t é para cada t 0 uma variável aleatória Nt O processo Ntt0 é um processo de contagem Considere Tn como o tempo gasto entre as n 1ésima e nésima chegadas de emails O processo Tnn1 forma um processo entre chegadas Definição 0124 Processo de Chegadas Seja Xtt0 um processo de contagem Considere Sn como o tempo gasto até a nésima ocorrência A sequência Snn0 forma um processo estocástico chamado de processo de chegadas Observação 0125 Podemos escrever Tn Sn Sn1 com S0 0 1 Exemplo 0126 O número de emails que chegam a um servidor no intervalo de tempo 0 t é para cada t 0 uma variável aleatória Nt O processo Ntt0 é um processo de contagem Considere Sn como o tempo gasto até a chegada do nésimo eamail O processo Snn1 forma um processo de chegadas 8 Definigao 0127 Especificagao de Primeira Ordem Um processo estocdstico X Xt T estd especificado até a primeira ordem caso a fungao de distribuigao Fxx seja conhecida para todo valor det T A fungao de distribuigéo acumulada Fy x PX 2 chamada de distribuigao de primeira ordem de X Exemplo 0128 Sejam X X2 Xn varidveis aleatérias independentes e identicamente dis tributdas tais que PX 1 p e PX 11p Seja n Sn 7 Xi n12 i1 e So 0 Dé a especificagao de Primeira Ordem para este processo Definigao 0129 Especificagao de Segunda Ordem Um processo estocdstico X X1t T estd especificado até a segunda ordem caso a fungdo de 9 distribuigdo acumulada conjunta Fx x12 seja conhecida para todo para de valores t1t2 t T et2 ET A fungao de distribuigdo acumulada conjunta Fx x 15 2 PX 71 Xt 2 chamada de distribuigdo de segunda ordem de X Definigao 0130 Especificagao de Ordem m Um processo estocdstico X Xt T estd especificado até a ordem m caso a fungdo de distribui cao acumulada conjunta Fx X15 Xtm 41 3 32m seja conhecida para todo conjunto de valores t1ta3 stm t T parai 12m A fungdao de distribuigao acumulada conjunta Px Xtg es Xtm x1 93 ve Zm PXi S 1 Xty D2 Xi Lm chamada de distribuigdo de ordem m de X Exemplo 0131 Numa partida do Goids pela Copa do Brasil torcedores esmeraldinos chegam ao Serra Dourada em instantes aleatérios pontuais Seja S o tempo em segundos até a chegada do nésimo esmeraldino Podemos escrever n S S07 n 12 i1 e So 0 onde T 0 tempo em minutos entre a chegada do i1ésimo torcedor e do iésimo torcedor Suponha que o tempo entre a chegada de dois torcedores esmeraldinos consecutivos uma varidvel ale atoéria ezponencial de parémetro X 100 a Dé a especificagao de Primeira Ordem para o processo estocdstico Sn 0 b Dé a especificagéo de Ordem m para o processo estocdstico Tn O 10 Definição 0132 Incrementos de Um Processo Estocástico Seja X Xt t T um processo estocástico e Xti i 1 2 n tais que ti T com 0 t1 t2 tn As variáveis aleatórias X0 Xt1 X0 Xt2 Xt1 Xtn Xtn1 são chamadas incrementos do processo X Exemplo 0133 Seja Xn n 0 um processo estocástico tal que as variáveis aleatórias Xi são independentes e identicamente distribuídas com lei PXn 1 p 1 PXn 0 Escreva ti 1 As variáveis aleatórias Xi Xi1 são exemplos de incrementos para o processo Xn n 0 Qual é a distribuição destes incrementos 11 012 Exercicios 02 Funcgoes do Processo e Classificagao de Processos Estocas ticos 021 Notas de Aulas Definigao 021 Funcao Média Seja X Xt T um processo estocdstico A fungdo média de X é dada por xt EX Definigao 022 Funcao Varidncia Seja X Xt T um processo estocdstico A fungdo varidncia de X dada por ox t VarX Exemplo 023 Sejam X1XoXn varidveis aleatérias independentes e identicamente distribut das tais que PX 5 p e PX 11p Seja n SnS 2X n12 i1 e So 0 a Calcule a média e a varidncia de S Qual é 0 valor méximo para a varidncia de Si em fungado de p b Fixado p construa gréficos para a média e a varidncia de Sy c Fizado n construa o grafico para a varidncia de S em fungdao de p 12 Definição 024 Função Autocorrelação Seja X Xt t T um processo estocástico A função de autocorrelação é uma medida de depen dência entre as variáveis aleatórias Xt É dada por RXt s EXtXs t T e s T Definição 025 Função Autocovariância Seja X Xt t T um processo estocástico A função de autocovariância do processo X é dada por KXt s CovXt Xs t T e s T Exemplo 026 Considere um processo aleatório definido por Xt A cosωt Θ t onde A e ω são constantes e Θ Uniforme π π a Calcule a média de Xt b Calcule a variância de Xt c A autocorrelação de Xt d A autocovariância de Xt 13 Definigao 027 Processo Estaciondrio Um processo estocdstico X Xt T é dito estritamente estaciondrio se todas as distribuicoes finito dimensionais permanecem as mesmas sob translagoes no tempo ou seja PX Xtgy Xt B13 2500 5 En Px Le Xig pry Xin gr WU L5 5 Ln para todo n para todo t e todo conjunto de instantes de tempo t Ti12 tn Observagao 028 Dizemos que um processo estaciondrio se todas as caractertsticas do comporta mento do processo nao sao alterados no tempo ou seja 0 processo se desenvolve no tempo em torno da média de modo que a escolha de uma origem dos tempos nao é importante Definigao 029 Processos Independentes Seja X Xt T um processo estocdstico Se X11 12 n sdéo varidveis aleatérias inde pendentes de modo que para todo n 23 n Px Xtg Xty 21 Tay0 n II Fx xi i1 entado o processo X dito independente Definigao 0210 Processo com Incrementos Independentes Seja X Xt T um processo estocdstico X tem incrementos independentes se para qualquer escolha de indices t T com0 ti to tn os incrementos Xo Xt Xo Xt Xt Xt Xen y sao varidveis aleatérias independentes Definigao 0211 Processo com Incrementos Independentes Estaciondrios Seja X Xt T um processo estocdstico com incrementos independentes Se dados s T e t T arbitrérios s t XX tem a mesma distribuigado que Xi4n Xsn para qualquer escolha de h dizse que X tem incrementos independentes estaciondrios Exemplo 0212 Considere uma urna contendo oito bolas verdes e duas bolas vermelhas Bolas sao retiradas uma a uma da urna ao acaso e com reposigao Sejam X1Xo as varidveis aleatérias definidas por x 1 se a iésima retirada resulta em bola verde a 0 caso contrario Defina o processo estocdstico S Sn1 tal que S 07 Xnn 1 a Sp um Processo com Incrementos Independentes 14 b Sn tem Incrementos Independentes Estacionários c Considere o processo Tn como o número de retiradas após a n 1ésima extração de bola verde até a nésima ocorrência de bola verde Verifique se a sequência Tnn1 forma um processo indepen dente d O processo Tnn1 definido anteriormente forma um processo estacionário 15 Definigao 0213 Processo de Markov Um Processo Estocdstico X Xt T onde T um conjunto de indices é um processo de Markov se para qualquer escolha de indices ty tg tn tn41 temos PXt4 S n4ilXe 01 Xt V Xt Fn PXt4 Cn41Xt Ln 2 Exemplo 0214 Sejam X1XoXn varidveis aleatérias independentes e identicamente distri butdas tais que PX 1 p e PX 11p Seja n Sn SXj n12 il e Sg 0 A colegado Sn 0 um processo aleatério chamado passeio aleatério simples Mostre que este processo uma Cadeia de Markov Exemplo 0215 Considere uma urna contendo oito bolas verdes e duas bolas vermelhas Bolas sao retiradas uma a uma da urna ao acaso e com reposigao Sejam X1Xo as varidveis aleatérias 16 definidas por x 1 se a iésima retirada resulta em bola verde 0 caso contrario Defina o processo estocdstico S Sp n1 tal que Sp ean Xn 1 Verifique se este processo uma Cadeia de Markov 17 Capítulo 1 Processo de Bernouli 101 Notas de Aulas Definição 101 Processo de Bernoulli Seja Xnn0 um processo estocástico a tempo discreto tal que as variáveis Xi são independentes e identicamente distribuídas de modo que PXn 1 p 1 PXn 0 O processo Xnn0 é chamado processo de Bernoulli com parâmetro p Proposição 102 Seja Xnn0 um processo de Bernoulli com parâmetro p Então a EXn p b VarXn p1 p Definição 103 Processo do Número de Sucessos Seja Xnn0 um processo de Bernoulli com parâmetro p Defina Sn por Sn X1 X2 Xn se n 1 0 n 0 18 O processo estocdstico Sn0 chamado processo do ntimero de sucessos no processo de Bernoulli Observagao 104 Note que S Binomialn p Teorema 105 Lei Forte dos Grandes Numeros SejaXnn0 um processo de Bernoulli com parametro p e Snn0 0 processo do ntimero de sucessos associado Entéo p n Teorema 106 Teorema Central do Limite SejaXnn0 um processo de Bernoulli com parametro p e Snn0 0 processo do ntimero de sucessos associado Escreva Sy 7n Zn PnP Vnp1 p Entao Zp Z onde Z normal padrao Exemplo 107 Considere uma urna contendo oito bolas verdes e duas bolas vermelhas Bolas sao retiradas uma a uma da urna ao acaso e com reposigao Sejam X1X2 as varidveis aleatérias 19 definidas por x 1 se a iésima retirada resulta em bola verde 0 caso contrario Defina o processo estocdstico de Bernoulli X Xnn1 seu processo do niimero de sucessos asso ciado Si no0 tal que Sy Sv Xin 1 a Obtenha ES e VarS b A let dos grandes niimeros pode ser aplicada para S Explique graficamente sua concluséo c Calcule PSi90 84 Definigao 108 Processo de Chegadas Seja Xnno0 um processo de Bernoulli com parémetro p Escreva Typ 0 ec paran 12 defina 20 Tn como o instante da ocorrência do nésimo sucesso O processo Tnn0 é um processo estocástico chamado processo das chegadas Observação 109 Note que Tn Pascaln p Teorema 1010 Lei Forte dos Grandes Números Seja Xnn0 um processo de Bernoulli com parâmetro p e Tnn0 o processo de chegadas associado Então Tn n qc 1 p Teorema 1011 Teorema Central do Limite Seja Xnn0 um processo de Bernoulli com parâmetro p e Snn0 o processo de chegadas associado Escreva Wn Tn n p n1p p Então Wn D Z onde Z é normal padrão Exemplo 1012 Considere uma urna contendo oito bolas verdes e duas bolas vermelhas Bolas são retiradas uma a uma da urna ao acaso e com reposição Sejam X1 X2 as variáveis aleatórias 21 definidas por Xi 1 se a iésima retirada resulta em bola verde 0 caso contrário Defina o processo estocástico de Bernoulli X Xnn1 e seu processo de chegadas associado Tnn0 a Obtenha ETn e VarTn b A lei dos grandes números pode ser aplicada para Tn Explique graficamente sua conclusão c Calcule PT84 100 22 Capitulo 2 e 2 e e Passeios Aleatérios Conceitos e Propriedades 201 Notas de Aulas Definigao 201 Passeio Aleatério Sejam X1X2 varidveis aleatérias independentes e identica mente distributdas tal que E X co Seja So C e Sn SotS Xin 1 i1 O processo Sn 0 chamado passeio aleatério Teorema 202 O passeio aleatério um Processo de Markov Teorema 203 n nk nk PS k ih p 2 1p 2 23 Exemplo 204 Sejam X X2Xn varidveis aleatérias independentes e identicamente distribut das tais que 3 2 PX 4 e PX l 5 5 Seja um passeio aleatério Sn 0 onde n Sn S 2X n 12 i1 e So 0 Calcule PSi3 27 Teorema 205 Lei Forte dos Grandes Numeros Sejam X1Xo varidveis aleatérias independentes e identicamente distribuidas com média finita e varidncia finita néonula tais que EX uw e VarX 0 Seja Sn 0 o passeio aleatério n Sn So Xin 1 So 0 i1 24 Sn WC Entao 22 w Corolario 206 Lei Forte dos Grandes Niimeros Sejam Xj X2 varidveis aleatérias independentes e identicamente distribuidas tais que PX 1 p1PX 0 Seja Sn 0 o passeio aleatério n Sn 5 Xjn10 0 i1 Entéo 5 2p 1 25 Teorema 207 Sejam X1Xo varidveis aleatérias independentes e identicamente distributdas com média finita e varidncia finita naonula tal que EX uw e VarX 0 Seja Sn 0 o passeio aleatério n Sn So Xin 1 So 0 i1 Sn x Defina Zp eae Entéo Zn Z onde Z normal padrao Corolario 208 Sejam X 1 X2 varidveis aleatérias independentes e identicamente distribuidas tal que PX 1p e PX 1 1p Seja Sn 0 o passeio aleatério simples n Sn So Xin 1 So 0 i1 Defina Z 32s22P Entéo fina Zp 24np1p Zn Z onde Z normal padrao Exemplo 209 Sejam X X2Xn varidveis aleatérias independentes e identicamente distribut das tais que 3 2 PX 4 e PX l 5 5 Seja um passeio aleatério Sn 0 com So 0 e n Sn S 2X n 12 i1 a Calcule PS9 42 b O que a Lei Forte diz neste caso 26 Exemplo 2010 Sejam X1XoXn varidveis aleatérias independentes e identicamente distri butdas tais que PX 1 3 PX 1 2 n e n r 5 5 Seja um passeio aleatério Sn 0 com So 0 e Sn SXi n12 i1 a Calcule PS29 5 b O que a Lei Forte diz neste caso Teorema 2011 Problema da ruina do jogador Sejam X1X2 varidveis aleatérias independentes e identicamente distributdas tal que PX 1 p e PX 11p Seja So C e Sn Sot S Xin 1 i1 27 Defina P como a probabilidade do passeio aleatério iniciando da posigao i chegar ao valor 0 antes de um valor fixado n Temos a 1 P sep on P 2 8 Pp 1 P sep rey Pp Exemplo 2012 Considere dois jogadores realizando apostas num jogo de par ou impar Suponha que eles repetem apostas em rodadas apostando um real em cada rodada Os dois jogadores sdo O Estrategista Nao joga aleatoriamente adota a estratégia de assumir que o outro jogaré aleatori 28 amente e joga de forma a maximizar suas chances de ganho Assim quando escolhe par colocar uma quantidade tmpar de dedos e quando escolhe impar colocar uma quantidade par de dedos O Leigo Joga aleatoriamente e nunca usa estratégia para tentar aumentar suas chances de ganho Suponha que o estrategista comeca com a reais e o leigo com b reais Admita que o jogo acaba quando um dos jogadores perder todo seu dinheiro A probabilidade do leigo em algum momento perder todo seu dinheiro é Q2a P 1 a 2 ab 1 3 Por exemplo seab2 temos Pz Seab3 temos P3 oe Proposigao 2013 Principio da dualidade X1 XoXn tem a mesma distribuigado conjunta de Xn Xn1 X1 Proposigao 2014 Principio da Reflexao Sex ey sao positivos entado o ntimero de passeios de 0x para ny que tocam o eizo x igual ao numero de passeios de 0x para ny 29 Definigao 2015 Instante de Primeira Passagem Seja Snno0 um passeio aleatério com espaco de estados E o 1 2 e matriz de transicgao P Suponha So 0 O instante de primeira passagem pelo estado i E a varidvel aleatéria T minn 05 7 Teorema 2016 Teorema do Primeiro acerto Sejab 0 e To minn 0 S bSo 0 Entao num passeio aleatério simples b PTo5 n PS b n Exemplo 2017 Considere um passeio aleatério simples Sn 0 com So 0 e Sy x onde PX 1 e PX 1 4 para todon 12 10 10 a Calcule PS25 5 b Calcule PTo5 25 30 Definigao 2018 Tempo de Parada Sejam X1X2 uma seqtiéncia de varidveis aleatérias independentes Uma varidvel aleatéria N é dita tempo de parada para esta seqtiéncia se o evento N n é independente de Xn4i1 Xn2 para todo n12 Teorema 2019 Equacao de Wald Se Xi i 1 sao vaiid tal que EX co e se N um tempo de parada para X1 X2 com EN ov entéo N E ys x ENEX i1 Exemplo 2020 Sejam X1XoXn varidveis aleatérias independentes e identicamente distri butdas tais que 3 2 PX l e PX l 5 5 Seja n Sn UX n12 i1 e So 0 Sn 0 6 um passeio aleatério simples assimétrico Seja N o tempo até o passeio alcangar a posigao 10 a Mostre que N é tempo de parada b Usando a equgao de Wald calcule o valor esperado de N 31 Exemplo 2021 Considere um passeio aleatério simples assimétrico com p 5 O ntimero esperado de passos até o passeio alcancar a posicao kk 0 é k EN 2p1 Demonstragao Observe que EX 1 oo Além disso N N So Xj k ELS Xj k jl jl Como EX 2p 1 basta usar a equagdo de Wald para obter o resultado oO Definigao 2022 Distribuigdo Invariante Considere um passeio aleatério simples com barreiras Sn 0 onde o espago de estados é E 1234 k e as probabilidades de transigao Piitiplick1l Dii1 1p2ik Pil P Pkk 1p So ripiy 1j para todo 7 E 21 1B é chamada distribuigaéo invariante do passeio aleatério Sy n0 Observagao 2023 Levando em conta que o passeio aleatério simples com barreira uma Cadeia de markov as definigdes e interpretagdes apresentadas no capttulo anterior sdo vdlidas nesse caso Exemplo 2024 Considere um passeio aleatério simples com barreiras onde o espaco de estados é E 12345 e as probabilidades de transigdao 2 3 3 2 Piiti plsisd Pig1 ps2S7S5 Piss P55 Calcule em todos os detalhes a distribuigado invariante Dé duas interpretacoes intuitivas para o resul tado obtido 32 Capítulo 3 Processo de Ramificação 301 Notas de Aulas Definição 301 Processo de Ramificação Para cada n N defina uma sequência de variáveis aleatórias independentes e identicamente distri buídas N n m m N n m é o número de filhos do mésimo indivíduo da ngeração Agora defina Z0 1 e indutivamente Zn N n1 1 N n1 2 N n1 Zn1 para n 1 Zn representa o tamanho total da população na nésima geração O processo ZnnN é chamado processo de ramificação Teorema 302 Seja ZnnN um processo de ramificação tal que µ é o número médio de descen 33 dentes por individuo Temos EZ yp Exemplo 303 Cada bola na figura a seguir representa um individuo Suponha que de inicio o individuo na posigado chamada Origem recebe uma informagao e deseja propagdla ao longo de um sistema como o da figura onde vizinhos imediatos sao ligados por segmentos de reta Quando um individuo recebe a informacao ele tenta transmitila para seus vizinhos imediatos abaixo A chance de um indivtduo detentor da informacao transmitila para um de seus vizinhos imediatos abaixo é de 3 e independe da tentativa de transmissado para outro vizinho imediato A figura apresenta parte da estrutura onde os indivitduos estao distributdos A estrutura completa infinita de modo que cada individuo possui dois vizinhos imediatos abaixo e um vizinho imediato acima Por exemplocada indivtduo na Geragao 1 possui dois vizinhos imediatos abaixo que pertencem a Geracao 2 Apenas o individuo na Origem nao possui vizinho imediato acima Seja Xy o ntimero de individuos na Geragao n que receberao a informagao a Escreva X como um processo de ramificagado e calcule sua probabilidade de extingao b Seja Zp O e Zn1 Zn S x i1 34 o total de individuos até a geragao n que recebem a informagao Calcule para n finito EZ Definigao 304 Probabilidade de Extingao SejaZnnen um processo de ramificagao A probabilidade de extingao deste processo a probabilidade m de que em algum momento finito nao haja ovos descendentes no processo Isto é co Ulm 0l n0 Teorema 305 Seja Znnen um processo de ramificagao tal que pp 0 ntimero médio de descen dentes por individuo Suponha que PZ 0 0 e PZ 0 P4 1 1 Entao a x 0 menor ntimero positivo satisfazendo z So PA a ou seja 0 menor niimero positivo satisfazendo z Gzz onde Gzz a fungao geradora de probabilidade de Z b 1 se e somente se pw 1 Teorema 306 Seja Znnen um processo de ramificagao tal que o ntimero médio de descen dentes por individuo Se uw 1 entao co 1 S EZ n1 1 M Exemplo 307 Considere um processo de ramificagao onde Xo 1 e cada individuo tem um niimero de filhos com distribuigéo Binomial 8 3 Calcule a probabilidade de extingao desse processo 35 Exemplo 308 Cada bola na figura a seguir representa um individuo Suponha que de intcio o individuo na posigado chamada Origem recebe uma informagao e deseja propagdla ao longo de um sistema como o da figura onde vizinhos imediatos sao ligados por segmentos de reta Quando um individuo recebe a informacao ele tenta transmitila para seus vizinhos imediatos abaixo A chance de um indivtduo detentor da informacao transmitila para um de seus vizinhos imediatos abaixo é de 5 e independe da tentativa de transmissado para outro vizinho imediato A figura apresenta parte da estrutura onde os indivitduos estao distributdos A estrutura completa infinita de modo que cada individuo possui dois vizinhos imediatos abaixo e um vizinho imediato acima Por exemplocada indivtduo na Geragao 1 possui dois vizinhos imediatos abaixo que pertencem a Geracao 2 Apenas o individuo na Origem nao possui vizinho imediato acima Seja Z o numero de individuos na Geragao n que receberao a informagéao a SejaZy 1e Zn1 n Zn S Xi em SZ i1 i0 o ntimero de individuos na Geragao n o total de individuos até a geracao n que recebem a informagao respectivamente Calcule para n finito EZ e ETn b Sob quais condigdes este processo se extingue com probabilidade 1 Nesse caso calcule ET onde oo T S Z i0 36 Exemplo 309 Seja Xn o número de indivíuos na geração n de um processo de ramificação de GaltonWatson com distribuição PNi k pk1 p k 0 1 2 onde 1 2 p 1 para o número de descendentes diretos de um indivíuo a Conclua que a probabilidade de extinção da população partindo de um único indivíduo é 1p p b Suponha que Z0 Geométrica r 0 r 1 Use o resultado em a para calcular a probabilidade de extinção da população 37 Capítulo 4 Cadeia de Markov a Tempo Discreto 41 Cadeia de Markov a Tempo Discreto Definições Básicas 411 Notas de Aulas Definição 411 Processo de Markov Um Processo Estocástico Xt t T onde T é um conjunto de índices é um processo de Markov se para qualquer escolha de índices t1 t2 tn tn1 temos PXtn1 xn1Xt1 x1 Xt2 x2 Xtn xn PXtn1 xn1Xtn xn 41 Exemplo 412 Sejam Xn n 1 variáveis aleatórias assumindo valores reais tal que PXn x Γ x Tome Sn1 Sn Xn1 Temos um Processo de Markov 38 Definigao 413 Cadeia de Markov Um Processo de Markov com espaco de estados discreto chamado Cadeia de Markov Exemplo 414 Sejam XX2Xn varidveis aleatérias independentes e identicamente dis tributdas tais que PX 1 p e PX 11p Seja n Sn SX n 12 i1 e So 0 A colegéo Snn 0 uma Cadeia de Markov Definigao 415 Cadeia de Markov a Tempo Discreto Uma Cadeia de Markov a Tempo Discreto Xnn0 um processo estocdstico a tempo discreto satisfazendo PXn41 UngiX1 11 XQ 2 Xn Ln PXn41 Ln41Xn Ln para todon 42 Exemplo 416 Considere uma particula realizando movimentos aleatérios sobre os vértices de um cubo Seja E i1i 8 os vértices do cubo e 1 PSr41 JSn 1 3 sete estao conectados e PSn41 3Sn 1 0 caso contréario Temos uma Cadeia de Markov a Tempo Discreto Neste a cada passo a particula escolhe saltar para um vértice vizinho tendo a mesma probabilidade de salto para cada um deles 39 Observação 417 Se PXn1 xn1Xn xn é independente de n a Cadeia de Markov é dita Homogênea Exemplo 418 Considere que existem 5 bolas que estão distribuídas por duas urnas A e B Em cada período seleccionase uma urna ao acaso e se não estiver vazia é retirada uma bola dessa urna e colocada na outra Seja Xn o número de bolas na urna A no período n Xnn0 é uma Cadeia de Markov homogênea Definição 419 Cadeia de Markov Não Homogênea Se a Cadeia de Markov é tal que PXn1 xn1Xn xn depende de n a Cadeia de Markov é dita Não Homogênea Exemplo 4110 Um jogador chega a uma casa de jogos e decide apostar num jogo com a seguinte dinâmica Inicialmente há uma urna com uma bola verde e uma bola vermelha A aposta inicial é de 1 real e a cada rodada o valor da aposta aumenta 1 real Em cada rodada uma bola é retirada da urna ao acaso e o jogador vence se sair sair bola verde e perde se sair bola vermelha Assim na nesima rodada o jogador ganha n reais se sair bola verde e perde n reais se sair bola vermelha Após cada rodada são acrescentadas uma bola verde e duas bolas vermelhas Defina o processo Xnn0 tal que Xn é o capital acumulado pelo jogador após a nésima jogada admitese capital negativo nesse caso o que seria a dívida acumuladaToda bola retirada é devolvida O processo Xnn0 é uma Cadeia de Markov não homogênea tal que PXn jXn1 i n 3n1 se j i n 2n1 3n1 se j i n 0 caso contrário 40 Definigao 4111 Matriz de Transicao Seja Xnno uma Cadeia de Markov Homogénea com espago de estados E io i1 i2 Sejam Pij PXn41 r5Xn i ij EE 43 A matriz P definida por Piosio Piojir Pigg p Piyyio Pixjir Pirin 1 44 Pizi9 Pi2i4 Pig ic ue é chamada matriz de transigao de Xn n0 Observagcao 4112 A matriz de transicao satisfaz 1 pij 2 0 2 ice Pi 1 para todoiecé E Definigao 4113 Grafo de Transigao Um grafo de transigao um grafo dirigido onde cada aresta é rotulada com as probabilidades de transiao de um estado a outro sendo estes estados representados como os nés conectados pelas arestas Exemplo 4114 Considere uma particula realizando movimentos aleatérios sobre os vértices de um cubo Seja E i1i 8 os vértices do cubo e 1 PSr41 JSn 1 3 sete estao conectados e PSn41 3Sn 1 0 caso contréario Encontre a matriz de transicado para esta cadeia 41 Exemplo 4115 Uma urna contém inicialmente 5 bolas verdes e 5 bolas vermelhas O seguinte experimento é repetido indefinidamente uma bola é retirada da urna se a mesma é vermelha ela é re colocada na urna caso contrário é deixada de fora Seja Xn o número de bolas verdes que permanecem na urna depois de n testes Encontre a matriz de transição para esta cadeia Exemplo 4116 Suponha que um grupo de 6 pessoas está subdividido em ignorantes pessoas que não sabem da informação e informantes pessoas que sabem da informação Suponha que em cada instante de tempo ocorre uma interação entre um par destas pessoas e que cada par possível tem a mesma probabilidade de interagir Se uma das pessoas do par é um informante e a outra é um igno rante o informante conta a informação com probabilidade p e neste caso o ignorante vira informante Em qualquer outra situação nada acontece Seja Xn o número de informantes no grupo no nésimo instante de tempo Determine a matriz de probabilidades de transição da cadeia Xnn0 42 Exemplo 4117 Um ratinho ocupa inicialmente a gaiola 1 e é treinado para mudar de gaiola atra vessando uma porta sempre que soa um alarme Cada vez que soa o alarme o ratinho escolhe qualquer uma das portas incidentes a sua gaiola com igual probabilidade e sem ser afetado por escolhas ante riores Considere que o alarme ficou programado para tocar a cada minuto Monte uma Cadeia de Markov para este problema e escreva a matriz de transição Exemplo 4118 Suponha que só existem dois refrigerantes guaraná e soda Se uma pessoa escolheu guaraná existe 90 de chance de que peça novamente guaraná Se a pessoa tiver escolhido soda a chance de que peça este refrigerante outra vez é de 80 Monte uma Cadeia de Markov para este problema e escreva a matriz de transição 43 42 Cadeia de Markov a Tempo Discreto Equações de Chapman Kolmogorov 421 Notas de Aulas Teorema 421 Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E i0 i1 i2 e matriz de transição P As probabilidades de transição em P satisfazem PXn1 i1 Xn2 i2 Xn3 i3 Xnm imXn i0 pi0i1pi1i2pim1im para qualquer escolha de estados i0 i1 im em E Exemplo 422 Considere uma Cadeia de Markov com espaço de estados E 1 2 3 e matriz de transição P 7 16 1 16 1 2 3 8 9 16 1 16 1 16 13 16 1 8 Calcule PX3 1 X2 3 X1 2X0 2 44 Teorema 423 Equacgées de ChapmanKolmogorov Seja Xnno0 uma Cadeia de Markov Homogénea com espago de estados E io 1 i2 e matriz de transicao P pe S Pi Py para todo ij E kek Observacado 424 Como consequéncia do Teorema P P Exemplo 425 Considere uma Cadeia de Markov com espaco de estados E 123 e matriz de transicao 7 1 1 16 16 2 3 9 1 P 3 16 i 1 13 1 16 16 8 Calcule PX3 1Xo 2 45 Exemplo 426 Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E 0 1 e matriz de transição P 07 03 02 08 Mostre que P n 2305n 5 3305n 5 2205n 5 3205n 5 e conclua que lim n P n 2 5 3 5 2 5 3 5 46 43 Cadeia de Markov a Tempo Discreto Distribuigoes do Pro cesso 431 Notas de Aulas Definigao 431 Distribuicado Inicial Seja Xnno0 uma Cadeia de Markov Homogénea com espago de estados E io 1 i2 e matriz de transigéo P Considere uma distribuigdo de probabilidades p0iex no conjunto E Isto é pi0 PXo 7 sao as probabilidades iniciais da cadeia ou seja a distribuigao inicial da cadeia Em forma vetorial escrevemos P0 pe 0 De 0 De 0 Definigao 432 Distribuicgado do Processo Seja Xnno0 uma Cadeia de Markov Homogénea com espago de estados E io 1 i2 e matriz de transigao P O vetor Pn pin pi n pin onde pn PX i chamado distribuigao do processo no tempo n distribuigao de X Teorema 433 Seja Xnno uma Cadeia de Markov Homogénea com espaco de estados E to i1 t2 e matriz de transigao P Se Pn pi n pi pin distribuigdo do processo no tempo n e P0 p0 pi 0 pi0 distribuigao inicial entao Pn P0P ou seja PX k S plpoi tCE 47 Definicao 434 Distribuicdo Assintética Seja Xnno0 uma Cadeia de Markov Homogénea com espago de estados E io 1 i2 e matriz de transigao P Uma distribuigado de probabilidade Tos Toot0 Too t1 satisfazendo lim pj TooJ para todo j E 45 noo é chamada distribuicdo assintotica da cadeia Xnn0 Proposigao 435 Seja Xnns0 wma Cadeia de Markov Homogénea com espago de estados E io 41 t2 e matriz de transigao P A distribuigdo Tx Mooto Toot1 sera assintética para a cadeia Xyn0 se e somente se para todo j E lim PX j ToxoJ noo 44 Cadeia de Markov a Tempo Discreto Distribuigao Invari ante 441 Notas de Aulas Definigao 441 Distribuigéo Invariante Seja Xnno0 uma Cadeia de Markov Homogénea com espaco de estados E ioi12 e matriz de transigao P Uma distribuigao de probabilidades II 1to wi1 satisfazendo So ripij 1j para todo 7 E 46 1B é chamada distribuigaéo invariante da cadeia Xnn0 Teorema 442 Seja Xnno uma Cadeia de Markov Homogénea com espaco de estados E to i1 12 e matriz de transigao P Se Il mto t1 distribuigao invariante do processo a Para todo j Een1 vale que dor PR 4 1EB b Se a cadeia tem distribuigdo inicial mo 7 entao para todo n 1 vale PX 7 xt 48 Proposição 443 Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E i0 i1 i2 matriz de transição P e distribuição assintótica Π πi0 πi1 Então Π é a única distribuição invariante da cadeia 45 Cadeia de Markov a Tempo Discreto Estrutura do Espaço de Estados 451 Notas de Aulas Definição 451 Estado Acessível Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E i0 i1 i2 e matriz de transição P Dizemos que um estado j é acessível a partir de i se e somente se existe probabilidade do processo após assumir o estado i assumir o estado j Isto é pn ij 0 Definição 452 Estados Comunicantes Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E i0 i1 i2 e matriz de transição P Dois estados i e j em E são comunicantes se e somente se i é acessível a partir j e j é acessível a partir de i 49 Definição 453 Estado Absorvente Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E i0 i1 i2 e matriz de transição P Um estado i em E é absorvente se pij 1 se i j 0 caso contrário Definição 454 Classe Diz se que um conjunto de estados de uma Cadeia de Markov forma uma classe C se quaisquer dois estados desse conjunto são comunicantes Definição 455 Cadeia Irredutível Uma Cadeia de Markov Xnn0 é dita irredutível se todos seus estados formam uma única classe 50 Definição 456 Período Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E e0 e1 e2 e matriz de transição P O período de i E é definido por di mdcn 1 pn ii 0 Proposição 457 Seja Xnn0 uma Cadeia de Markov Homogênea Os períodos de todos os estados de uma classe irredutível coincidem Teorema 458 Seja Xnn0 uma Cadeia de Markov Homogênea com distribuição invariante Π πi0 πi1 Se Xnn0 é irredutível e aperiódica então Π é sua distribuição assintótica 51 46 Cadeia de Markov a Tempo Discreto Irredutibilidade 461 Notas de Aulas Definição 461 Probabilidade de Retorno Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E e0 e1 e2 Para cada estado i E definimos fi como a probabilidade de que o processo saindo do estado i retorne ao estado i Isto fi P existe n 0 tal que Xn iX0 i Definição 462 Estado Recorrente Seja Xnn0 uma Cadeia de Markov Homogênea com espaço de estados E i0 i1 i2 Um estado i E se chama recorrente se fi 1 52 Definigao 463 Estado Transiente Seja Xnno0 uma Cadeia de Markov Homogénea com espaco de estados E iot112 Um estado i E se chama recorrente se f 1 Teorema 464 Seja Xnno uma Cadeia de Markov Homogénea com espaco de estados E igt112 Um estado i E recorrente se co Si n1 e transiente se co Yo pf oe n1 Definigao 465 Instante de Primeira passagem Seja Xnno0 uma Cadeia de Markov Homogénea com espago de estados E io 1 i2 e matriz de transicao P O instante de primeira passagem pelo estado i E a varidvel aleatoria T minn 0 X t 53 Proposigaéo 466 Seja Xnno0 uma Cadeia de Markov Homogénea com espago de estados E io 41 12 Se j E um estado recorrente e j k entao a kj e PT wX0 k 1 b k recorrente Proposigao 467 Seja Xyn0 wma Cadeia de Markov Homogénea com espago de estados finito E to1 12 tm Entdo existe pelo menos um estado recorrente em E 47 Cadeia de Markov a Tempo Discreto Teorema Ergédico 471 Notas de Aulas Definigao 471 Numero de Visitas Seja Xnn0 uma Cadeia de Markov Homogénea com espago de estados E eo 1 2 e matriz de transigao P O ntimero de visitas ao estado i E a varidvel aleatéria que dé o ntimero de vezes que a cadeia visita o estado i Isto é co Vi doIn n0 onde lse Xy 1 In 0 caso contrario Teorema 472 Seja Xnno0 uma Cadeia de Markov Homogénea com espago de estados E 54 eo 1 2 e matriz de transigao P Se V 0 ntimero de visitas ao estado i entao oo EViXo i So pl n0 Definigao 473 Tempo de Retorno Esperado SejaXnn0 wma Cadeia de Markov Homogénea com espaco de estados E 0 1 2 e matriz de transigao P Dado o instante de primeira passagem pelo estado i E representado pela varidvel aleatoria T minn 0X i chamamos de tempo de retorno esperado ou valor esperado do tempo de retorno ao estado i a média condicional da varidvel T condicionada em Xo i Usamos a seguinte representagao m ETXo 2 Definigao 474 Estado Recorrente Positivo SejaXnn0 uma Cadeia de Markov Homogénea com espago de estados E ig i1 i2 e matriz de transigao P Sei E é um estado recorrente dizemos que ele é recorrente positivo se m finito Definigao 475 Estado Recorrente Nulo Seja Xnno0 uma Cadeia de Markov Homogénea com espago de estados E io 1 i2 e matriz 55 de transição P Se i E é um estado recorrente dizemos que ele é recorrente nulo se mi é infinito Exemplo 476 Suponha que um conjunto de 4 bolas é distribuído por 5 urnas numeradas de 1 a 3 sendo inicialmente instante 0 colocadas todas as bolas na urna 1 Em cada instante n n 1 2 é escolhida ao acaso uma bola a qual é retirada da urna em que se encontra e colocada numa urna seleccionada ao acaso Seja para n N Xn número de bolas na urna 1 no instante n a Encontre a distribuição invariante b Mostre que Xnn0 é uma cadeia de Markov irredutível e recorrente positiva c Interprete a distribuição invariante obtida em a Lembrese que nesse caso a composição inicial das urnas não pode ser sorteada 56 Definigao 477 Cadeia de Markov Ergédica SejaXnn0 wma Cadeia de Markov Homogénea com espaco de estados E 0 1 2 e matriz de transigao PXnno0 dita ergédica se todos os seus estados sao recorrentes e aperiddicos Definigao 478 Estado Ergédico Considere Xnn0 uma Cadeia de Markov Homogénea com espago de estados E o 12 e matriz de transigao P Um estado i E dito ergddico se uma vez que o processo entrou nesse estado garantido um retorno a ele em tempo finito embora o estado nao seja periddico Corolario 479 Teorema Ergddico Seja Xnn0 uma Cadeia de Markov Homogénea irredutivel com espago de estados finito E io 11 12 tee sim Entao 1d k lim Sopp 7 k1 57 Neste caso hé distribuigao invariante e esta é igual at Corolario 4710 Teorema Ergédico Seja Xnn0 uma Cadeia de Markov Homogénea irredutivel com espago de estados finito E io 11 12 a sim Entao p Vi ng 1 1 n mi 58 Teorema 4711 SejaXnn0 uma Cadeia de Markov Homogénea irreduttvel com espaco de estados E ioi12 Suponha que a cadeia possua distribuigao invariante Se Il to 7i1 Entao 1 m para todoi E mt Exemplo 4712 Considere uma Cadeia de Markov Xnno0 com espaco de estados E 1234 e probabilidades de transicao 99 1 1 99 iit1 a1 St s3 ii1 72 S14 Piet Tog7 Pit Tog Pia joo0 3 4 T00 Defina T minn 0 X i e Vn So Ix i j0 a Obtenha e dé duas interpretagées para a distribuigdo invariante b Obtenha e interprete ETXo 1 parai E V c O que se pode concluir sobre Van Interprete o resultado n 59 Exemplo 4713 Um ratinho ocupa inicialmente a gaiola 1 e é treinado para mudar de gaiola atra vessando uma porta sempre que soa um alarme Cada vez que soa o alarme o ratinho escolhe qualquer uma das portas incidentes a sua gaiola com igual probabilidade e sem ser afetado por escolhas anteri ores Considere que o alarme ficou programado para tocar a cada minuto Seja Vin o número de visitas ao estado i até o alarme soar n vezes e Ti minn 0 Xn i a O que se pode concluir sobre V1n n quando n Interprete o resultado b Obtenha e interprete ET1X0 1 60 Exemplo 4714 Considere uma Cadeia de Markov a tempo discreto com espaço de estados E 0 1 2 e matriz de transição P 9 10 0 1 10 1 10 9 10 0 0 0 1 Seja Vi o número de visitas ao estado i e Ti minn 0 Xn i a Obtenha e interprete EV0X0 1 b Obtenha e interprete EV1 quando X0 Binomial 2 1 8 c Classifique cada estado desta cadeia em recorrente ou transiente É preciso justificar d Obtenha a distribuição e a média de T0 dado que X0 1 isto é PT0 kX0 1 e ET0X0 1 61 Exemplo 4715 Uma partícula deslocase sobre uma circunferência parando em cinco pontos pre viamente marcados no sentido dos ponteiros do relógio 0 1 2 3 e 4 Em cada passo a partícula deslocase no sentido dos ponteiros do relógio com probabilidade p e no sentido contrário com pro babilidade 1 p com 0 p 1 Seja para n N Xn a posição da partícula no instante n e Tj minn 0 Xn j a Para i 0 1 2 3 4 determine ETiX0 i b Determine ETiX0 i quando p 9 10 e p 1 10 Interprete os resultados 62 Capítulo 5 Processo de Poisson 51 Processo de Poisson Definição e Propriedades Básicas 511 Notas de Aulas Definição 511 função oh Uma função g é dita ser oh se é uma função de h que tende a zero mais rapidamente que h Ou seja lim h0 oh h lim h0 gh h 0 51 Definição 512 Processo de Poisson Definição 1 Um processo de contagem Xtt0 é dito ser um processo de Poisson com taxa λ λ 0 se 1 Xt tem incrementos estacionários e independentes 2 PXh 1 λh oh 3 PXh 2 oh Observação 513 Como consequência da Definição 512 temos PXh 0 1 λh oh 52 63 Definição 514 Processo de Poisson Definição 2 Um processo de contagem Xtt0 é dito ser um processo de Poisson com taxa λ λ 0 se 1 Xt tem incrementos independentes 2 O número de ocorrências em qualquer intervalo de comprimento t tem distribuição de Poisson com média λt Ou seja PXts Xs n eλtλtn n n 0 1 2 Observação 515 Como consequência da segunda condição da Definição 514 temos EXt λt VarXt λt Teorema 516 As definições 512 e 514 são equivalentes 64 Exemplo 517 Um sistema de mensagens gravadas recebe acessos de acordo com um processo de Poisson de taxa 15 acessos por minuto Encontre a probabilidade de em um intervalo de tempo de 1 minuto 3 acessos sejam feitos nos primeiros 10 segundos e 2 acessos sejam feitos nos últimos 15 segundos Exemplo 518 Clientes chegam em determinada loja de acordo com um processo de Poisson com taxa λ por hora Dado que dois clientes chegaram durante a primeira hora determine a probabilidade de que a Ambos tenham chegado nos primeiros 30 minutos b Pelo menos um deles tenha chegado nos primeiros 20 minutos 65 Teorema 519 Seja Xzi0 um processo de Poisson com tara A Entéo X TS quando t co Teorema 5110 Seja X50 um processo de Poisson com taxa X Entéo X At I Lo lim P z e dz too VAt oo V2T 66 Exemplo 5111 Considere que o tráfego de veículos automóveis numa avenida é governado por um processo de Poisson É sabido que para qualquer intervalo de 5 minutos de duração 50 carros chegam em média Encontre a probabilidade de que para um intervalo de 5 minutos cheguem no máximo 55 carros 52 Processo de Poisson Tempo entre Chegadas 521 Notas de Aulas Teorema 521 Os intervalos de tempo entre ocorrências sucessivas num processo de Poisson Xtt0 com taxa λ são variáveis aleatórias independentes identicamente distribuídas com lei exponencial de parâmetro λ 67 Exemplo 522 Mensagens chegam a um servidor de acordo com um processo de Poisson de taxa 36 por hora a Qual a probabilidade de que chegue pelo menos 1 mensagem no primeiro minuto a esse servidor b Determine a probabilidade de que a quarta mensagem chegue em mais de 3 minutos após a chegada da terceira mensagem a esse servidor Considere 10 servidores daquele tipo que operam de forma independente Teorema 523 Seja Sn o instante da nésima ocorrência num processo de Poisson Xtt0 com taxa λ Sn tem distribuição gama com parâmetros n e λ 68 Corolário 524 Seja Sn o instante da nésima ocorrência num processo de Poisson Xtt0 com taxa λ Então Zn Sn n λ n λ D Z onde Z é normal padrão Exemplo 525 Mensagens chegam a um servidor de acordo com um processo de Poisson de taxa 36 por hora Qual a probabilidade de que cheguem 3 mensagens em menos de seis minutos a esse servidor 69 Exemplo 526 Numa partida do Goiás pela Copa do Brasil veículos chegam ao estacionamento do Estádio Serra Dourada segundo um processo de Poisson de taxa λ 100 veículos por minuto Calcule a probabilidade de se demorar pelo menos 90 segundos até a chegada de 144 veículos Exemplo 527 A quantidade de tempo que certo tipo de componente funciona antes de falhar é uma variável aleatória com distribuição exponencial de parâmetro λ Assim que o componente falha ele é imediatamente substituído por outro do mesmo tipo Se Xi representa o tempo de vida do iésimo componente utilizado então Sn Σn i1Xi representa o instante da nésima falha A taxa de falhas r a longo prazo é definida por r lim n n Sn Suponha que as variáveis aleatórias Xi i 1 sejam independentes a Determine r b A fim de estimar λ verificouse que num intervalo 90 dias foram utilizados 2160 componentes Neste caso qual seria uma estimativa para λ c Com base no item b construa um intervalo de confiança a 95 para o estimador ˆλ Interprete o 70 intervalo obtido Teorema 528 Seja Xtt0 um processo de Poisson com taxa λ Suponha que t não é um instante na qual houve uma ocorrência no processo Xt Defina a variável aleatória Wt como o tempo até a próxima ocorrência Então 1 Wt é independente de t 2 Wt tem distribuição exponencial de parâmetro λ 71 Exemplo 529 Suponha que as chegadas de ônibus a um dado ponto de ônibus formam um processo de Poisson com intensidade 4 onibus por hora Suponha que um homem chega às 1000 hs no ponto de ônibus O último ônibus passou as 955 hs Qual é a probabilidade dele esperar pelo menos 15 minutos até a passagem do próximo ônibus 53 Superposição e Decomposição de um Processo de Poisson 531 Notas de Aulas Definição 531 Sejam X1 tt0 X2 tt0 Xn tt0 n processos de contagem O processo Ztt0 definido por Zt X1 t X2 t Xn t é chamado superposição dos processos X1 tt0 X2 tt0 Xn tt0 72 Teorema 532 Sejam X1 tt0 X2 tt0 Xn tt0 n processos de Poisson independentes com taxas λ1 λ2 λn respectivamente O processo Ztt0 definido por Zt X1 tX2 t Xn t é um processo de Posson com taxa ν λ1 λ2 λn Corolário 533 Sejam Xtt0 e Ytt0 dois processos de Poisson independentementes com taxas µ e λ respectivamente O processo Zt Xt Yt é um processo de Poisson com taxa ν µ λ 73 Exemplo 534 Suponha que no horário comercial 8 da manhã as 17 da tarde aeronaves chegam a determinado aeroporto provenientes de vôos domésticos de acordo com um processo de Poisson de taxa de 500 aeronaves por dia Enquanto que no horário comercial aeronaves que chegam a esse mesmo aeroporto porém provenientes de vôos internacionais segue um processo de Poisson de taxa 100 aeronaves por dia a Determine a probabilidade de que ao longo de 3 horas do horário comercial cheguem a esse aero porto mais de 240 aeronaves b Dado que ao longo de 6 horas chegaram 100 aeronaves provenientes de vôos internacionais qual é o número médio total de aeronaves que chegaram nesse período Definição 535 Seja Xtt0 um processo de contagem Suponha que o evento a ser contado pode ser dde n n 2 tipos digamos Tipo 1 Tipo 2 Tipo n Neste caso se chamarmos de Xit 74 o número de ocorrências do Tipo i i 1 2 n até o instante t então os processos X1tt0 X2tt0 e Xntt0 formam uma decomposição do processo Xtt0 Teorema 536 Seja Xtt0 um processo de Poisson com taxa λ Suponha que cada ocorrência do processo pode ser classificada entre n tipos distintos Admita que a probabilidade da ocorrência ser do Tipo i i 1 2 n é pi Seja Xit o número de ocorrências do Tipo i i 1 2 n até o instante t Os processos X1tt0 X2tt0 e Xntt0 são processos de Poisson com taxas λp1 λp2 λpn respectivamente Além disso os processos X1tt0 X2tt0 e Xntt0 são independentes Corolário 537 Seja Xtt0 um processo de Poisson com taxa λ Suponha que cada ocorrência do processo pode ser classificada como do Tipo I com probabilidade p ou do Tipo II com probabilidade 1 p Sejam X1t o número de ocorrências do Tipo 1 até o instante t e X2t o número de ocorrências do Tipo 2 até o instante t Então X1t e X2t são processos de Poisson com taxas λp e λ1 p respectivamente Além disso os processos X1t e X2t são independentes 75 Exemplo 538 Os carros que chegam num restaurante em Goiânia o fazem segundo um processo de Poisson com taxa λ 20 por hora Os veículos têm 1 2 3 4 ou 5 ocupantes com probabilidades pi 03 03 02 01 e 01 respectivamente Calcule o número esperado de pessoas que chegam nesse restaurante durante uma hora Exemplo 539 Numa partida do Goiás pela Copa do Brasil carros chegam ao Serra Dourada se gundo um processo de Poisson de taxa λ 90 veículos por minuto Os veículos têm i torcedores com probabilidade 6i 15 i 1 2 3 4 5 a Calcule a probabilidade de que cheguem menos de 360 carros com 5 pessoas ao Serra Dourada num período de 20 minutos b Calcule a probabilidade de que cheguem menos de 3600 pessoas ao Serra Dourada num período de 20 minutos 76 Exemplo 5310 Carros passam em um ponto da estrada de acordo com um processo de Poisson com intensidade um por minuto Se 5 dos carros são Fuscas a Qual a probabilidade de pelo menos um Fusca passar durante uma determinada hora b Dado que 10 Fuscas passaram durante uma hora qual o número esperado de carros que passaram durante essa hora c Se 50 carros tiverem passado em uma hora qual a probabilidade de 5 deles serem Fuscas 54 Processo de Poisson Composto e Processo de Poisson não Homogêneo 541 Notas de Aulas Definição 541 Processo de Poisson Composto Seja Xtt0 um processo de Poisson e Ynn1 uma sequência de variáveis aleatórias independentes 77 e identicamente distribuidas O processo C1i0 definido por Xt C oY 53 n1 chamado Processo de Poisson Composto Observagao 542 Convencao 0 S ay 0 i1 Teorema 543 Seja Xi0 wm processo de Poisson e Ynn0 wma sequéncia de varidveis ale atérias independentes e identicamente distribuidas Defina 0 processo de Poisson composto C10 por Xt C S Yn 54 n1 Entéo EC AtEY4 78 Exemplo 544 O modelo cldssico do risco na atividade seguradora um processo estocdstico Ututcad St onde Ut 0 capital da seguradora no instante t reserva de risco ec uma constante que representa o prémio por unidade de tempo de forma que ct sera o prémio que recebeu a seguradora até o instante t u a reserva inicial da seguradora e St representa o valor total das indenizagées até o instante t Xt StSY n1 onde Ynn1 uma sequéncia de varidveis aleatérias nado negativas que representam os valores das indenizacées individuais que deve pagar a seguradora ante a ocorréncia de sinistros e Xi0 um processo de Poisson homogéneo das ocorréncias das indenizagoes até o instante t Suponha um caso particular onde Y Exponencialue X um processo Poisson de taza X Nesse caso calcule EU t 79 Exemplo 545 Um shopping de Goiânia têm três andares As chegadas a cada um deles formam um processo de Poisson com taxas λ1 110 λ2 90 λ3 160 clientes por hora 30 dos clientes são homens A probabilidade de um cliente homem comprar alguma coisa é 03 e a probabilidade de uma cliente comprar é 03 As mercadorias custam em média 450 reais a Qual será a média do total de vendas num dia com expediente de 10 horas b Qual é a probabilidade de que a terceira cliente mulher que comprou alguma coisa chegue durante os primeiros 15 minutos Qual é o valor esperado do momento da sua chegada Definição 546 Processo de Poisson Não Homogêneo Um processo de contagem Xtt0 é dito ser um processo de Poisson não Homogêneo com função intensidade λt t 0 se 1 Xt tem incrementos independentes 2 PXth Xt 2 oh 3 PXth Xt 1 λth oh 80 Teorema 547 Para um processo de Poisson nao Homogéneo X110 com funcao intensidade Xt t 0 temos que t mtke7 m 8 m PXizs X k ES Oe 01200 onde ms a fungdo média dada por Ss ms At dt 0 Exemplo 548 Considere um processo de Poisson naéohomogéneo Nti0 com fungao média mt tt1t0 a Calcule a probabilidade de ocorrerem exatamente 2 eventos entre os instantes 1 e 3 b Sabendo que ocorrerem exatamente 2 eventos entre os instantes 1 e 8 calcule a probabilidade de ambos os eventos terem ocorrido apés o instante 2 81 Exemplo 549 A chegada de clientes em uma loja forma um processo de Poisson com a seguinte intensidade a intensidade começa com 5 clientes por hora e aumenta linearmente até o máximo de 20 clientes por hora as 11 horas Das 1100hs até 1300hs a intensidade é constante igual a 20 clientes por hora E depois a intensidade diminui linearmente até atingir as 17 horas a intensidade de 12 clientes por hora a Qual é a probabilidade de que nenhum cliente chegue entre 830hs e 930hs da manhã b Qual é o número médio de clientes que chegam das 800 da manhã até 1700 da tarde 82 Capítulo 6 Processo de Renovação 601 Notas de Aulas Definição 601 Processo de Contagem Seja Xtt0 um processo estocástico a tempo contínuo Xtt0 é chamado processo de contagem caso represente o número de ocorrências de um determinado evento no intervalo 0 t Observação 602 Um processo de contagemXtt0 satisfaz as seguintes condições 1 X0 0 2 Xt 0 3 Xt é valor inteiro 4 Xs Xt se s t 5 Xt Xs corresponde ao número de ocorrências no intervalo s t Definição 603 Processo entre Chegadas Seja Xtt0 um processo de contagem Considere Tn como o tempo gasto entre as n 1ésima e nésima ocorrências A sequência Tnn1 forma um processo estocástico chamado processo entre chegadas Definição 604 Processo de Chegadas Seja Xtt0 um processo de contagem Considere Sn como o tempo gasto até a nésima ocorrência A sequência Snn0 forma um processo estocástico chamado de processo de chegadas Observação 605 Podemos escrever Tn Sn Sn1 com S0 0 61 83 Definição 606 Processo de Renovação Seja Xtt0 um processo de contagem com processo entre chegadas associado Tnn1 e processo de chegadas associado Snn0 Suponha que 1 A sequência Tnn1 é formada por variáveis aleatórias independentes e identicamente distri buídas 2 PTn 0 1 Então o processo Xt supnSn t é chamado processo de renovação Exemplo 607 A quantidade de tempo em horas que certo tipo de componente funciona antes de falhar é uma variável aleatória com densidade fx x 2 0 x 2 0 caso contrário Assim que o componente falha ele é imediatamente substituído por outro do mesmo tipo Se Ti representa o tempo de vida do iésimo componente utilizado então Sn Σn i1Ti representa o instante da nésima falha e Xt sup n Sn t o número de falhas até o instante tSuponha que as variáveis aleatórias Ti i 1 sejam independentes O processo Xt t 0 é um processo de renovação 84 Teorema 608 Seja X50 um processo de contagem com processo entre chegadas associado Inn1 e processo de chegadas associado Sn0 Seja w ET Quando t oo com pro babilidade 1 Xt 1 t Hl Teorema 609 Seja Xi50 um processo de contagem com processo entre chegadas associado Tnn1 processo de chegadas associado Snn0 Sejam pw ET e 0 VarT assumi dos finitos Entao Xt a 1 e lim P z e dz too o te 00 27 85 Exemplo 6010 A quantidade de tempo em horas que certo tipo de componente funciona antes de falhar é uma variável aleatória com densidade fx xex x 0 0 caso contrário Assim que o componente falha ele é imediatamente substituído por outro do mesmo tipo Se Ti repre senta o tempo de vida do iésimo componente utilizado então Sn Σn i1Ti representa o instante da nésima falha e Xt sup n Sn t o número de falhas até o instante t Suponha que as variáveis aleatórias Ti i 1 sejam independentes a Obtenha lim t Xt t Interprete o resultado obtido b Calcule a probabilidade de ocorrerem menos de 61 falhas num intervalo de tempo de 5 dias completos Definição 6011 Tempo de Parada Seja Ynn0 um processo estocástico A variável aleatória N PN 1 é tempo de parada 86 para a sequéncia YY2 se o evento aleatério N n é independente de Yn41 Yn42 para todo n 12 Exemplo 6012 Sejam X1XoXn varidveis aleatérias independentes e identicamente distri butdas tais que 3 2 PX 1 e PX l 5 5 Seja n Sn S 2X n12 il e So 0 Sn 0 6 um passeio aleatério simples assimétrico Seja N o tempo até o passeio alcangar a posigao 10 Mostre que N é tempo de parada Teorema 6013 Equagao de Wald Sejam TT T varidveis aleatérias independentes identicamente distributdas com média finita e 87 N um tempo de parada para Tien Entao N E n ENET n1 Exemplo 6014 Um dado honesto é langado até que saia face cinco pela décima vez Apds cada langamento anotase a pontuagao obtida na jogada isto é o valor da face obtida Seja X a pontuagao acumulada até o ultimo langamento Calcule EX Exemplo 6015 Um minerador esté preso em uma mina contendo 8 portas A primeira porta leva a um tténel que o levaré a satda apds 2 horas de viagem A segunda porta leva a um tunel que fara com que ele retorne mina apés 8 horas de viagem A terceira porta leva a um ttnel que faré com que ele retorne mina apés 8 horas Considere que em todo o tempo o minerador escolhe qualquer uma das portas com igual probabilidade Seja T o tempo até o minerador sair livre a Defina uma sequéncia de vaiid X1X2 e um tempo de parada N tal que N TSX i1 Obs Vocé pode supor que o minerador continua escolhendo portas aleatoriamente mesmo apés ele alcangar a liberdade b Use a equagao de Wald para calcular ET c Calcule N E ys XN i1 88 Esta quantidade é igual a E x il d Use a parte c para calcular ET de forma diferente da parte b 89 Capítulo 7 Cadeia de Markov a Tempo Contínuo 71 Cadeia de Markov a Tempo Contínuo Propriedades Bási cas 711 Notas de Aulas Definição 711 Cadeia de Markov a Tempo Contínuo Seja X XttT um processo estocástico a tempo contínuo com espaço de estados E finito ou enumerável X é uma Cadeia de Markov a tempo contínuo se e somente se PXts jXu xu u s PXts jXs xs para todo escolha de s T e t T Definição 712 Cadeia de Markov a Tempo Contínuo Homogênea no Tempo Seja X XttT uma Cadeia de Markov a tempo contínuo X será dita homogêna no tempo se PXts jXs xi pijt Observação 713 Isso significa que a probabilidade de transição entre dois estados depende somente do intervalo de tempo durante o qual ocorre a transição e não dos instantes nos quais a cadeia ocupa esses estados Definição 714 Função de Transição Seja X XttT uma Cadeia de Markov a tempo contínuo Para cada t T seja Pt pijtijE Pt é chamada função de transição da cadeia X Propriedade 711 A função de transição Pt apresenta as seguintes propriedades 90 1 P0 T 2 Para todot T Pt uma matriz de transigao 3 Pts PtPs Teorema 715 Seja X Xiter wma Cadeia de Markov a tempo continuo com espago de estados FE Entao para quaisquer instantes se T et ET pigts S piktprjs para todos ij E keE Teorema 716 Seja X Xier wma Cadeia de Markov a tempo continuo com espago de estados E Sejam t T parai 012 n instantes de tempo tais que ty ty tn ee EF para j 012 n estados em E Entao PXt e1 Xt 2 Xt CnXto o Peoer t1 to Per eo t2 t1 Pen1entn1 tn Se além disso a cadeia tem distribuigao inicial mo vale PXi 1 Xt 2 Xt n S T00Peoe1 ty to Pe e5 tz ty Den1n tn1 tn eoE Exemplo 717 Considere wma Cadeia de Markov Xn 0 com espago de estados E 12 e fungdao de transigao 0940le 0101e7 0404e7 0640 4e7 Calcule a PX18 2 X36 1 X64 1Xo 1 b PX18 2 X36 1 X64 1 se mo1 2 170 2 91 72 Cadeia de Markov a Tempo Contínuo Estrutura da Cadeia 721 Notas de Aulas Definição 721 Tempo de Permanência Seja X XttT uma Cadeia de Markov a tempo contínuo Para cada t T definimos Wtω infs 0 Xts Xt Definição 722 Estado Instantâneo Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E Um estado i E é dito ser estado instantâneo se PWt 0Xt i 1 Definição 723 Estado Absorvente Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E Um estado i E é dito ser estado absorvente se PWt Xt i 0 Definição 724 Estado Estável Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E Um estado i E é dito ser estado estável se P0 Wt Xt i 1 92 Definição 725 Processo de Saltos Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E X é dita ser processo de saltos se não há estados instantâneos em E Definição 726 Processo Regular Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E X é dita ser regular se em cada intervalo de tempo finito X tem um número finito de saltos Definição 727 Esqueleto do processo Seja X XttT uma Cadeia de Markov a tempo contínuo regular com espaço de estados E Defina ˆ Xn como o estado visitado pela cadeia na nésima transição ˆ Xn é uma Cadeia de Markov a tempo discreto chamada esqueleto do processo ˆ X0 é o estado inicial do processo Propriedade 721 Seja X XttT uma Cadeia de Markov a tempo contínuo regular com espaço de estados E Defina Tn como o instante de tempo no qual o processo muda de estado pela nésima vez Escreva T0 0 Então 1 0 T0 T1 T2 Tn 2 Xt ˆ Xn Tn t Tn1 3 W0 T1 e portanto T1 ˆ X0 i expqi 4 Tn1 Tn WTn e Tn1 Tn ˆ Xn i expqi 93 Observação 728 A Cadeia ˆ Xn que determina a sequência de estados visitados é uma cadeia de Markov a tempo discreto onde só há transição entre estados diferentes Observação 729 Seja X XttT uma Cadeia de Markov a tempo contínuo regular com espaço de estados E A Cadeia ˆ Xn determina a sequência de estados visitados enquanto a sequência Tnn0 determina os instantes de transição Assim as sequências juntas determinam Xt 73 Cadeia de Markov a Tempo Contínuo Estrutura de Classe 731 Notas de Aulas Definição 731 Matriz de transição do esqueleto Seja X XttT uma Cadeia de Markov a tempo contínuo regular com espaço de estados E e esqueleto ˆ Xn A matriz de transição de ˆ Xn é a matriz Q QijijE Definição 732 Gerador Infinitesimal Seja X XttT uma Cadeia de Markov a tempo contínuo regular com espaço de estados E e matriz de transição do esqueleto dada por Q QijijE Para i j escreva qij qiQij e qii qi A matriz A qijijE é chamada gerador infinitesimal da matriz XttT Observação 733 Podemos interpretar qij como a taxa com que o processo faz uma transição de i para j Proposição 734 Seja X XttT uma Cadeia de Markov a tempo contínuo regular com espaço de estados E função de transição Pt e gerador infinitesimal A Para cada par i j E a função pijt é diferenciável e sua derivada é contínua Além disso p ij0 qij isto é P 0 A 94 Exemplo 735 Considere uma Cadeia de Markov Xn n 0 com espaço de estados E 1 2 e função de transição 0 8 0 2e2t 0 2 0 2e2t 0 3 0 3e2t 0 7 0 3e2t Calcule a PX18 2 X36 1 X64 1 se π01 4 5 1 π02 b Obtenha as taxas qi i E Interprete os valores c Obtenha as taxas qij i j E Interprete os valores Teorema 736 Equações Diferenciais de Kolmogorov Seja X XttT uma Cadeia de Markov a tempo contínuo regular com espaço de estados E finito ou infinito com supiE qi função de transição Pt e gerador infinitesimal A Então P t APt ou P t PtA Observação 737 P t APt nos dá as chamadas equações de Kolmogorov retrospectivas Com 95 ponente a componente temos Pi t 4 Y QiePng t GPig t ki Pt PtA nos dé as chamadas equagées de Kolmogorov prospectivas Componente a componente temos Pig t Se ae QhjPint Gpij t kAj Teorema 738 Seja X Xirer uma Cadeia de Markov a tempo continuo regular com espago de estados E finito Entéo Pt e4 a tinica solucdo das equacoes diferenciais de Kolmogorov Exemplo 739 Suponha que E 123 que a matriz de transigdo do esqueleto é 0 05 05 Q 08 0 02 07 03 O e que as taxas de saida valem q 10 q2 1q3 5 Nesse caso como ficam as equagdes de Kolmo gorov retrospectivas 96 Exemplo 7310 Considere uma Cadeia de Markov a tempo contínuo com espaço de estados E 1 2 que permanece no estado 1 durante um tempo exponencial com taxa 1 antes de passar para o estado 2 onde estará um tempo exponencial com taxa 5 antes de voltar ao estado 1 a Escreva as equações de Kolmogorov prospectivas para esta cadeia b Calcule usando a a função de transição Pt c Calcule PX3 2 X12 1X0 1 74 Cadeia de Markov a Tempo Contínuo Teorema Ergódico 741 Notas de Aulas Definição 741 Instante de Primeira Passagem Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E Para i E e X0 i τi inft T1 Xt i 97 é o instante de primeira passagem do processo pelo estado i E Definição 742 Instante de Primeiro Retorno Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E Para i E e X0 i τi inft T1 Xt i é o instante de primeiro retorno do processo ao estado i E Definição 743 Estado Transiente Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E O estado i E é chamado transiente se Pτi X0 i 1 Definição 744 Estado Recorrente Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E O estado i E é chamado recorrente se Pτi X0 i 1 Observação 745 Observe que um estado i E será recorrente para a cadeia X se e somente se ele for recorrente para o esqueleto ˆ Xn Definição 746 Classe Irredutível Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E Uma classe C E é dita ser irredutível se para todo par i j E tivermos Pτj X0 i 0 Ou seja existe probabilidade positiva da cadeia ir de i para j Observação 747 Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E Os conjuntos irredutíveis para X e para o seu esqueleto ˆ Xn coincidem 98 Definigao 748 Estado Recorrente Positivo Seja X Xi ter uma Cadeia de Markov a tempo continuo com espago de estados E Um estado recorrente i E é chamado recorrente positivo se E1Xo 1 oo Definigao 749 Estado Recorrente Nulo Seja X Xi ter uma Cadeia de Markov a tempo continuo com espago de estados E Um estado recorrente i E chamado recorrente nulo se E7Xo 1 co Observagao 7410 A recorréncia nula ou positiva da cadeia X e do seu esqueleto sao propriedades diferentes Isso é razodvel de se pensar jd que a esperanca E7Xo 1 depende tanto da matriz Q como das taxas q Definigao 7411 Distribuicao Estaciondria Seja X Xi rer uma Cadeia de Markov a tempo continuo com espago de estados E Uma distri buigao 7 sobre o espaco de estados E seré chamada de distribuigao estaciondria da Cadeia de markov X se para todo j7 E e todot ET So rkPxjt 7 71 kek Como no caso discreto se iniciarmos a cadeia com distribuigdo estaciondria teremos que todos os estados terao a mesma distribuicao isto é PX j J Proposigaéo 7412 Seja X Xiter uma Cadeia de Markov a tempo continuo com espago de estados E Suponha que na Equagao 71 é posstvel derivar ambos termos da equacgao em relagao at e avaliar no zero Neste caso uma distribuicao serdé estaciondria se e somente se S mkqrj 9 keE No caso de EF finito uma distribuigdo seraé estaciondria se e somente se 7A 0 Proposigéo 7413 Seja X Xiter uma Cadeia de Markov a tempo continuo com espago de estados EF Se j E transiente entao para todo i E too Teorema 7414 Seja X Xi ier uma Cadeia de Markov a tempo continuo com espago de estados E Se X é irredutivel entao existe jim PX jXo0 t m9 99 que nao depende dei Se a cadeia transiente ou recorrente nula as componentes de m sao nulas Se a cadeia recorrente positiva entao nm a tinica distribuigado estaciondria e 1 9 a qGEZ5Xo J Teorema 7415 Seja X Xi ier uma Cadeia de Markov a tempo continuo com espago de estados E e matriz do esqueleto Xn nso Se Xnnso tem distribuigao limite tg e recorrente positiva entao X sera recorrente positiva se e somente se TaQt Fe Te ce jen Nesse caso a distribuicgao limite da cadeia sera ra J j 4 i ice a Exemplo 7416 Seja X wma Cadeia de Markov com gerador infinitesimal 5 2 3 A 2 3 1 2 4 6 100 Encontre a distribuição estacionária desta cadeia Interprete o resultado obtido Exemplo 7417 Considere uma Cadeia de Markov a tempo contínuo com espaço de estados E 1 2 3 e matriz de transição Q 0 0 0 3 0 7 0 1 0 0 0 9 0 2 0 8 0 0 e taxas q1 10 q2 4 q3 2 Encontre a distribuição estacionária desta cadeia Interprete o reultado obtido 101 Exemplo 7418 Considere três bolas distribuídas em duas urnas Suponha que o seguinte processo é repetido indefinidamente Sorteamos simultaneamente uma das três bolas ao acaso e trocamos cada uma delas de urna Admita que o tempo entre duas trocas consecutivas tem distribuição exponencial com parâmetro dependente do número de bolas na urna 1 Mais especificamente suponha que se após a nésima troca há i bolas na urna 1 então λi 5i a Descreva dois processos ˆXnn0 que dá o número de bolas na primeira urna após a nésima troca e Xtt0 que dá o número de bolas na urna 1 no tempo t b Encontre e dê duas interpretações para a distribuição invariante de ˆXnn0 c Encontre e dê duas interpretações para a distribuição invariante de Xtt0 75 Cadeia de Markov a Tempo Contínuo Exemplos Proces sos de Nascimento e Morte 751 Notas de Aulas Definição 751 Processo de Nascimento e Morte Seja X XttT uma Cadeia de Markov a tempo contínuo com espaço de estados E 0 1 2 102 e gerador infinitesimal A λ0 λ0 0 0 0 0 µ1 λ1 µ1 λ1 0 0 0 0 µ2 λ2 µ2 λ2 0 0 0 0 µ3 λ3 µ3 λ3 0 72 Observação 752 Um processo de nascimento e morte é uma Cadeia de Markov em tempo contínuo com espaço de estados E 0 1 2 para a qual do estado n é apenas possível passar para o estado n 1 ou para o estado n 1 Assim se Xt i a próxima transição ocorrerá para i 1 nascimento com taxa λi ou para i 1 morte com taxa µi Os parâmetros λnn0 são as taxas de nascimento ou chegadas e µnn0 as taxas de morte ou partidas Lema 753 Seja X XttT um processo de nascimento e morte com taxas de nascimento λnn0 e taxas de morte µnn0 A matriz de transição do esqueleto ˆ Xnn0 de X é dada por Q 0 1 0 0 0 0 µ1 λ1µ1 0 λ1 λ1µ1 0 0 0 0 µ2 λ2µ2 0 λ2 λ2µ2 0 0 0 0 µ3 λ3µ3 0 λ3 λ3µ3 0 73 103 Lema 754 Seja X Xirer um processo de nascimento e morte com taxas de nascimento Anno e taras de morte Unno0 As equagdes de Kolmogorov prospectivas sao dadas por Diot H1pi1t Aoviot Pjot Aj1Pig1L My 41Pig 41 b Ag Hy pi3 t Proposigaéo 755 Seja X Xer um processo de nascimento e morte com taras de nascimento Anno e taras de morte Unn0 O processo sera recorrente se e somente se co J ST 1 ht Xi jli1 Teorema 756 Seja X Xtier um processo de nascimento e morte recorrente com taxas de nascimento Ann0 e tatas de morte tinn0 O processo sera recorrente positivo e logo tera distri buicao estaciondria tinica se e somente se co fj ri S jlil Mi Neste caso a distribuicgado estaciondria seraé também a distribuigao limite e seré dada por 1 0 sa a 1 Vje1 Tas Mi k1 XG nk Heo sek 1 1 dojaa inn SS Liza Hs 104 Definição 757 Processo de Nascimento Puro Seja X XttT um processo de nascimento e morte tal que µi 0 para todo i E X é um processo de nascimento puro Exemplo 758 O Processo de Poisson é um processo de nascimento puro onde λn λ Exemplo 759 Considere um processo de nascimento e morte com três estados E 0 1 2 e taxas de nascimento e morte tais que λ0 µ2 a Escreva o gerador infinitesimal b Escreva a matriz de transição do esqueleto c Escreva as equações de Kolmogorov prospectivas 105 76 Cadeia de Markov a Tempo Contínuo Exemplos Filas 761 Notas de Aulas Definição 761 Fila Um sistema de filas pode ser descrito como clientes chegando esperando pelo serviço se não forem atendidos imediatamente e saindo do sistema após serem atendidos O termo cliente é usado de maneira geral e não implica necessariamente num cliente humano Pode ser por exemplo um processo esperando para utilizar a CPU de um computador Em geral seis características básicas de processos de filas fornecem uma descrição adequada de um sistema de filas São elas padrão de chegada dos clientes padrão de serviço dos servidores disciplina de filas capacidade do sistema número de canais de serviço e número de estágio de serviços Observação 762 A notação de processos de filas mais utilizada atualmente foi proposta por Ken dall em 1953 e é descrita por ABmkM onde A indica a distribuição de interchegada dos clientes B o padrão de serviço de acordo com uma distribuição de probabilidade para o tempo de serviço m o número de canais de serviços paralelos servidores k a capacidade do sistema e M a disciplina de filas Definição 763 Fila MM1 Uma fila MM1 é um sistema de filas onde as chegadas ocorrem de acordo com o processo de Poisson com taxa média λ primeiro M na notação de Kendal os tempos entre serviços são exponencialmente distribuídos com taxa µ segundo M na notação de Kendal há apenas um servidor 1 e não há limite para o tamanho da fila Lema 764 Uma fila MM1 é um processo de nascimento e morte com taxas µn µ e λn λ Teorema 765 Seja X XttT um processo de nascimento e morte recorrente com taxas de nascimento λn λ e taxas de morte µn µ associado a uma fila MM1 O processo será recorrente 106 positivo e logo terdé distribuigao estaciondria tinica se e somente se vA pb Neste caso a distribuicgado estaciondria seraé também a distribuigao limite e seré dada por 1 m0 nwo fas k mk 10 2 sek1 Lb Exemplo 766 Considere uma fila do tipo MM1 com a seguinte modificagao quando hé trés clientes no sistema dois na fila e outro sendo atendido se um outro chegar ele vai embora e nao volta nunca mais Suponha o caso onde 6e w 2 a Calcule a distribuigado estaciondria desta cadeia Intereprete o resultado obtido b Seja T minn 0 Xp i Obtenha e interprete EToXo 0 107 Exemplo 767 Um estabelecimento comercial possui uma máquina de polimento de carros com duas velocidades Na velocidade baixa a máquina leva 60 minutos em média para polir um carro Na velocidade alta leva só 20 minutos na média Uma vez que o chaveamento da baixa velocidade para alta é feito os tempos atuais podem ser assumidos seguirem uma distribuição exponencial Assuma que o chaveamento para alta velocidade ocorre quando existe pelo menos dois clientes esperando ou seja três ou mais no sistema Além disso os clientes são atendidos na base do primeiro a chegar é o primeiro a ser atendido e que há limite no número de clientes que podem esperar Mais especificamente há vagas para no máximo 4 clientes 3 em espera e 1 em atendimento Quando há 4 clientes e um outro chega ele vai embora e não volta nunca mais É estimado que os clientes cheguem de acordo com um processo de Poisson com um tempo médio entre chegadas de 30 minutos a Represente este modelo de filas como um processo de Markov a tempo contínuo b Encontre a distribuição invariante para este modelo Interprete o resultado c Em média quanto tempo leva para o estabelecimento ficar vazio pela primeira vez sem clientes 108