Misura dell'informazione per sorgenti senza memoria

La caratteristica principale di un messaggio non è la sua forma ma il suo contenuto informativo. In una conversazione telefonica, ad esempio, il nostro interlocutore è una sorgente di informazione che può generare dei messaggi scelti da un determinato repertorio (il vocabolario della lingua italiana), formato da sequenze temporali di simboli (le lettere dell’alfabeto).

Sorgente senza memoria

Definiamo una sorgente discreta senza memoria una sorgente che emette sequenze di simboli ciascuno dei quali è selezionato in maniera casuale dall’insieme degli n simboli disponibili $(x_{1},...,x_{n})$ che hanno una probabilità di ricorrenza (probabilità di essere emessi dalla sorgente) $P(x_{1}),...,P(x_{n})$ .

Esempio di sorgente binaria

Una sorgente binaria è formata da n=2 simboli (0,1) e ciscuno di essi ha la stessa probabilità di essere emesso, $P(0)=P(1)=\frac{1}{2}$ .

Una sorgente telegrafica, invece, ha bisogno di n=26 simboli (A,…,Z,SPAZIO) in cui la probabilità di ricorrenza sono quelle della lingua italiana (ovviamente le lettere della lingua italiana hanno probabilità di ricorrenza diversa).

Tuttavia, anche in quest’ultimo caso, non avremo ancora definito una sorgente che emette messaggi in lingua italiana. In una sorgente senza memoria, infatti, non si tiene conto della probabilità di ciascuna lettera condizionata dal fatto di essere seguita o preceduta da un’altra lettera. Ad esempio, in lingua italiana, la probabilità che in un messaggio la lettera ‘a’ sia seguita da un’altra lettera ‘a’ è nulla.

Misura dell’informazione

Possiamo affermare, in maniera abbastanza intuitiva, che la ricezione di un simbolo poco probabile “porta” molta informazione mentre quella di un simbolo molto probabile ne porta poca. Pensate, ad esempio al caso di una sorgente con 1 solo simbolo: ogni suo messaggio non porterebbe alcuna informazione in quanto esso può contenere solo 1 simbolo che ha dunque probabilità 100% di essere emesso.

Dunque se chiamiamo $I(x_{i})$ il contenuto di informazione relativo al simbolo ricevuto $x_{i}$ , possiamo dedurre che $I(x_{i})$ dovrà essere in qualche modo inversamente proporzionale a $P(x_{i})$ .

Se poi consideriamo che il contenuto di informazione di un messaggio costituito da un sequenza di simboli $(x_{i}x_{j}x_{k}..)$ deve essere pari alla somma del contenuto di informazione dei simboli che lo compongono $(I(x_{i})+I(x_{j})+I(x_{k})+...)$ , potremo scrivere:

$I(x_{i})=log(\frac{1}{P(x_{i})})=-log[P(x_{i})]$

La base del logaritmo dipenderà dal numero di livelli del segnale digitale con cui dovremo codificare i simboli della sorgente, cioè dal cosiddetto “alfabeto di codice”.

Segnali binari

Quando il segnale è binario, la base è 2 (l’alfabeto di codice è {0,1} o equivalente) e l’unità di informazione è il bit.

Entropia

Consideriamo, ad esempio, una sorgente con n=5 simboli aventi le seguenti probabilità di ricorrenza (ovviamente la loro somma deve essere unitaria):

$P(x_{1})=\frac{1}{4};P(x_{2})=\frac{1}{8};P(x_{3})=\frac{1}{8};P(x_{4})=\frac{1}{4};P(x_{5})=\frac{1}{4}$

Dalla formula vista in precedenza, si avranno allora le seguenti quantità di informazione relative a ciascun simbolo:

$I(x_{1})=log(\frac{1}{P(x_{1})})=log_{2}(4)=2log_{2}(2)=2bit$

E con calcoli analoghi:

$I(x_{2})=I(x_{3})=3 bit; I(x_{4})=I(x_{5})=2 bit$

In una sorgente senza memoria, la quantità di informazione correlata alla trasmissione di un messaggio qualsiasi è data dalla somma delle quantità di informazione dei simboli che compongono il messaggio. Se, ad esempio, il messaggio fosse $(x_{2},x_{1},x_{4},x_{1})$ :

$I(x_{2}x_{1}x_{4}x_{1})=I(x_{2})+I(x_{1})+I(x_{4})+I(x_{1})=3+2+2+2=9bit$

Sorgenti con simboli equiprobabili

Vogliamo confrontare il risultato precedente con il caso di una sorgente, sempre con 5 simboli però equiprobabili. In altre parole, la sorgente ha $P(x_{i})=\frac{1}{5}$ per i=1,2,3,4,5.

In questo caso, considerando lo stesso messaggio visto in precedenza $(x_{2},x_{1},x_{4},x_{1})$ , avremo un contenuti informativo pari a:

$I(x_{2}x_{1}x_{4}x_{1})=4log_{2}(5)=9,3bit$

Da questo risultato possiamo quindi stabilire che lo stesso messaggio proveniente da sorgenti diverse (ovvero con diverse probabilità di ricorrenza dei suoi simboli) porta una quantità di informazione diversa. Pensiamo, ad esempio, a una stessa parola in lingue diverse.

Entropia di una sorgente

La quantità di informazione media associata ai simboli di una sorgente viene detta Entropia della sorgente e viene indicata con H. In formula:

$H=\sum_{1}^{n}P(x_{i})I(x_{i})=\sum_{1}^{n}P(x_{i})log(\frac{1}{P(x_{i})})$

H viene espressa in bit/simbolo (b/S).

Confrontiamo adesso l’entropia delle due sorgenti viste in precedenza, la prima con simboli non equiprobabili e la seconda con simboli equiprobabili.

Nel primo caso:

$H=\frac{1}{4}\ast 2+\frac{1}{8}\ast 3+\frac{1}{8}\ast 3+\frac{1}{4}\ast 2+\frac{1}{4}\ast 2=2,25b/S$

Nel secondo caso (simboli equiprobabili):

$H=5\frac{1}{5}log(5)=log(5)=2,32b/S$

Da questo esempio possiamo comprendere che l’entropia di una sorgente cambia in base alla probabilità di ricorrenza dei suoi simboli. In particolare, dal nostro esempio vediamo che l’entropia è maggiore quando la sorgente ha i suoi simboli equiprobabili.

In realtà questo risultato vale in generale: l’entropia di una sorgente di n simboli non può mai essere maggiore di $log(n)$ che è il valore di entropia di una sorgente di n simboli equiprobabili. In formula:

$H\leqslant log(n)$

Questa conclusione è comprensibile intuitivamente: quando una sorgente ha simboli equiprobabili, l’incertezza sul simbolo ricevuto è massima. In media, quindi, tale sorgente porta la maggior quantità di informazione.