Testo nascosto, fai click qui per vederlo
Credo che dovresti dimostrare che \( 4 < H(X \mid Y) \leq 5 \). Dove \( X \) è la variabile aleatoria che descrive lo scegliere \(16\) posizioni tra \(512\) (i bit mancanti) e \( Y \) è la variabile aleatoria di osservare un messaggio dopo cancellazione (le due variabili aleatorie sono dipendenti). Comunque sia \(H(X \mid Y) \) è detta entropia condizionale e descrive la quantità d'informazione necessaria per descrivere il valore di \(X\) noto il valore di \( Y \). Pertanto hai \( K \geq H(X \mid Y)\). Non ho tempo di farlo ma
\[ H(X\mid Y) = - \sum_{y \in Y} p(y) \sum_{x \in X} p(x \mid y) \log p(x \mid y) \]
Dato un messaggio prestabilito, devi cercare la probabilità \(p(y)\) di osservare \( y \in Y \). Dove \(y\) è il messaggio dopo cancellazione di \(16 \) bits scelti casualmente tra \(512\). Ad esempio supponiamo che il messaggio sia lungo 4 bits per semplicità. Se mandiamo \(0000 \) e cancelliamo le ultime due otteniamo \(y=00\). Ma anche se mandiamo \(1001 \) e cancelliamo la prima e l'ultima otteniamo \( y= 00 \). Devi descrivere qual è la probabilità di osservare \(y \).
Successivamente devi descrivere la probabilità che, osservato un \(y\) io abbia scelto di cancellare proprio certe posizioni fissate di bits, per ogni possibile combinazione di bits da cancellare ovviamente, e questo è \(p(x \mid y) \). Una volta fatto questo dovresti poter verificare che
\[ 4 < H(X \mid Y) \leq 5 \]
il che ti dice che sono necessari l'invio di \(5\) messaggi di test.