Canais Discretos e sem Memória - Teoria da Informação

Instituto Federal de Educação Ciência e Tecnologia da Paraíba Teoria da Informação Profa Suzete E N Correia Canais Discretos e sem Memória Canais Discretos e sem Memória Discreto entradas e saídas discretas Sem Memória saída depende da entrada atual Canal Discreto e sem Memória DMC Alfabeto de entrada X Alfabeto de saída Y Canal de comunicação meio pelo qual os símbolos da entrada são transmitidos para o receptor Canais Discretos e sem Memória Seja uma fonte com alfabeto Xx1x2xm finito com um vetor de distribuição pxi Após passagem pelo canal temos o provável símbolo estimado com alfabeto Yy1y2yr que pode ser diferente do símbolo transmitido O Canal Discreto e sem Memória DMC é um modelo estatístico especificado por uma matriz de transição com probabilidades condicionais Pyj xi Alfabeto de entrada X Alfabeto de saída Y Canal Discreto e sem Memória DMC Canais Discretos e sem Memória Exemplo de DMC m2 r3 y1 x1 x2 y2 y3 y1 x1 p y2 x1 p y3 x1 p y3 x2 p y1 x2 p y2 x2 p Canal discreto ruidoso Notação pxi probabilidade do símbolo xi pyj probabilidade do símbolo yj ser recebido pxi yj probabilidade conjunta do par xi yj pxiyj probabilidade condicionada que xi tenha sido Tx dado que yj foi Rx pyj xi probabilidade condicionada que yj tenha sido Rx dado que xi foi Tx Matriz de Transição x1 x2 xm y1 y2 yr pyrxm py1x1 𝑃 py1x1 py2x1 pyrx1 py1x2 py2x2 pyrx2 py1xm py2xm pyrxm 𝑗1 𝑟 p𝑦𝑗𝑥𝑖 1 para todo i Canal Binário sem Ruído Canal Binário Simétrico BSC Canal Binário com Apagamento BEC Cálculo de probabilidades de um canal DMC 910 10 1 13 23 P 23 34 14 0 1 0 1 13 110 910 Teorema de Bayes 𝑝 𝑥𝑖 𝑦𝑗 𝑝 𝑦𝑗 𝑝 𝑥𝑖 𝑦𝑗 𝑝 𝑦𝑗 𝑥𝑖 𝑝 𝑥𝑖 𝑝 𝑦𝑗 𝑖 𝑝 𝑥𝑖 𝑦𝑗 𝑝 𝑥𝑖 𝑗 𝑝 𝑥𝑖 𝑦𝑗 Cálculo de probabilidades de um canal DMC 23 34 14 0 1 0 1 13 110 910 𝑝 𝑦𝑗 𝑖 𝑝 𝑦𝑗 𝑥𝑖 𝑝 𝑥𝑖 𝑝 𝑦 0 2 3 3 4 1 10 1 4 21 40 𝑝 𝑦 1 1 3 3 4 9 10 1 4 19 40 𝑝 𝑥𝑖 𝑦𝑗 𝑝 𝑦𝑗 𝑥𝑖 𝑝 𝑥𝑖 𝑝 𝑥 0 𝑦 0 2 3 3 4 1 2 𝑝 𝑥 0 𝑦 1 1 3 3 4 1 4 𝑝 𝑥 1 𝑦 0 1 10 1 4 1 40 𝑝 𝑥 1 𝑦 1 9 10 1 4 9 40 𝑝 𝑥𝑖 𝑦𝑗 𝑝 𝑥𝑖 𝑦𝑗 𝑝 𝑦𝑗 𝑝 𝑥 0 𝑦 0 1 2 21 40 20 21 𝑝 𝑥 0 𝑦 1 1 4 19 40 10 19 𝑝 𝑥 1 𝑦 0 1 40 21 40 1 21 𝑝 𝑥 1 𝑦 1 9 40 19 40 9 19