Incertezas de Canais Discretos e sem Memória na Teoria da Informação

Instituto Federal de Educação Ciência e Tecnologia da Paraíba Teoria da Informação Profa Suzete E N Correia Incertezas de Canais Discretos e sem Memória Canais de Informação Informação gerada por uma fonte deve ser transmitida em um Sistema de Comunicações Erros introduzidos pelo canal podem alterar a informação transmitida resultando em perda de informação na recepção fonte destinatário Canal Incertezas dos Canais de Informação fonte destinatário Canal X x1 x2 xm p px1 px2 pxm Y y1 y2 yr p py1 py2 pyr HX é a entropia da fonte ou na entrada do canal HY é a entropia no destino ou na saída do canal Incertezas dos Canais de Informação fonte destinatário Canal HXY e HYX são respectivamente a equivocação e dispersão provocadas por ruídos e distorções no canal que acarretam erros nos símbolos e perda de informação São chamadas entropias condicionais HXY é a entropia conjunta estabelecida pelos símbolos da fonte e do destinatário tomados em conjunto ou entropia do Sistema Entropia Conjunta e Condicional Demonstração Entropia Condicional Quantidade média de informação para uma saída HXY pxiyjlog2 pxiyj HXY pxiyjlog2pyjpxiyj Entropia Conjunta e Condicional Para X e Y dependentes entre si Para X e Y independentes Conclusão 𝐻 𝑋 𝑌 𝐻 𝑋 𝐻𝑌 HXY pyjlog2pyj Informação Mútua Informação media transmitida da fonte para o destinatário HX HY HXYHYX HXY e IXY 23 34 14 0 1 0 1 13 110 910 HX HY HXYHYX HXY e IXY 23 34 14 0 1 0 1 13 110 910 𝐻 𝑋 3 4 log2 3 4 1 4 log2 1 4 𝐻 𝑋 081 𝐻 𝑌 21 40 log2 21 40 19 40 log2 10 40 𝐻 𝑌 099 𝐻 𝑋 𝑌 1 2 log2 1 2 1 4 log2 1 4 1 40 log2 1 40 9 40 log2 9 40 𝐻 𝑋 𝑌 161 𝐻 𝑋𝑌 𝐻 𝑋 𝑌 𝐻 𝑌 161 099 062 𝐻 𝑌𝑋 𝐻 𝑋 𝑌 𝐻 𝑋 161 081 080 𝐼 𝑌 𝑋 𝐻 𝑋 𝐻 𝑋𝑌 081 069 019