Claude Elwood Shannon! L’inizio dell’era digitale

Il padre dell’era digitale, cioè l’era dei bit, è senza dubbio Claude Elwood Shannon. Un po’ di storia! Ma chi era Claude Elwood Shannon?

Claude Elwood Shannon nasce a Petoskey (Michigan) il 30 aprile 1916. Fu ingegnere e matematico ed è ricordato come il padre della “teoria dell’informazione”. Presso l’Università del Michigan consegue due lauree triennali: una in matematica e una in ingegneria elettronica.

Nel 1948, mentre lavora nei Bell Labs in New Jersey, celebri per l’atmosfera rilassata e un’assoluta libertà di ricerca, pubblica in due parti il saggio “Una teoria matematica della comunicazione“.

Il titolo può sembrare asettico, ma è uno dei saggi più importanti del XX secolo. Non solo pose le fondamenta per la moderna rete di comunicazione globale, ci regalò anche una nuova prospettiva sul linguaggio umano, su cose che facciamo intuitivamente come parlare o scrivere.

In questo saggio Shannon prese il vago e misterioso concetto di “informazione” e riuscì a definirlo. Non lo fece però con brillanti argomentazioni filosofiche, perché trovò il modo di misurare con precisione l’informazione contenuta in un messaggio.

La quantità di informazione in un messaggio non ha niente a che vedere col suo significato!

Un qualsiasi messaggio può essere trasmesso con dei segnali 0, 1 (bit) tradotti in codice binario con una sequenza di 0 e in questo modo l’informazione diventa precisa, calcolabile e gestibile.
Una singola cifra binaria diventa un’unità fondamentale di informazione, quasi fosse un atomo di informazione.

Bit è il nome di questa unità fondamentale.

L’importanza del bit risiede nella sua universalità: qualsiasi sistema abbia due stati (come nella moneta testa e croce) può contenere un bit di informazione, 1 oppure 0.

E poiché tutto può essere ridotto in bit (suoni, immagini, testi), l’umile bit è diventato il linguaggio comune di tutto ciò che è chiamato “informazione”. (liberamente tratto da Davide Lo Vetro / 13 Gennaio 2020)

L’altra grande intuizione di Shannon è stata quella di avere formalizzato l’anologia del comportamento dei circuiti elettrici (circuito con interruttori in serie AND, interruttori in parallelo OR, circuito con interruttore deviatore NOT, con l’algebra di Boole. Ha conseguito il titolo di Master of Science in ingegneria elettronica presentando la tesi Un’analisi simbolica dei relè e dei circuiti, dove sono descritte queste intiuzioni. Ha introdotto le LOGIC GATES o porte logiche. Si passa dai rotismi meccanici per fare calcoli ad una concezione più generale e geniale di computabilità.

Se si fanno corrispondere i due valori di verità VERO e FALSO della logica simbolica allo stato APERTO o CHIUSO di un interruttore entriamo nella Booelan Algebra. Un circuito digitale può essere descritto da un’espressione booleana, la quale può essere manipolata secondo le regole di questa algebra. Shannon definì così un potente metodo, ancora oggi usato, per l’analisi e la progettazione dei sistemi digitali di elaborazione dell’informazione.

Questo dopo ottanta anni che Boole aveva descritto con la sua teoria la formalizzazione matematica della logica in algebra.

Si deve quindi a una intuizione di Shannon l’idea di posizionare commutatori in serie e in parallelo per realizzare i circuiti elettrici relativi rispettivamente all’and e all’or inclusivo. Anche l’operazione logica not può essere realizzata mediante una adeguata disposizione dei contatti del commutatore.

Nei circuiti i contatti mobili sono indicati con le lettere delle variabili booleane (A, B) la tensione applicata al contatto mobile può essere pari a 5 V (valore logico 19 E 0 V (ground valore logico 0)

Presentiamo le Logic Gates fondamentali.

Un altro modo di vedere i circuiti e la loro natura binaria, porta AND, porta OR, porta NOT, le tre porte fondamentali. Combinandone opprtunamente queste si possono ottenere anche le porte NAND, NOR, XOR e XNOR:

L’affidabilità dell’informazione digitale

Shannon è un personaggio molto importante per la storia dell’informatica: ha, letteralmente, permesso all’umanità di entrare nell’era digitale (0, 1).

Oltre alla sua grande intuizione di notare l’analogia formale tra i switching circuits (circuiti di commutazione) e l’algebra booleana, ha pubblicato un articolo di importanza fondamentale.

L’articolo è del 1948 “A Mathematical Theory of Communicative” e costituisce il fondamento della “Teoria dell’informazione”.

In questo articolo viene affrontato lo studio delle limitazioni teoriche cui è soggetta la trasmissione di informazione da un punto A (la sorgente) a un punto B (il ricevente) attraverso un mezzo intermedio (il canale).

Dobbiamo pensare che l’informazione (per esempio, il segnale di una voce umana che proviene da un microfono, oppure i segnali di output provenienti dai tasti di una tastiera) sia sottoposta a qualche tipo di codifica prima di poter essere inviata attraverso il canale. Shannon considerò due diversi tipi di canali: il canale continuo che trasmette un segnale continuo, come quello di una voce umana, e il canale discreto che trasmette un flusso digitale, come quello dell’output di una tastiera.

In un mondo ideale il flusso digitale arriverebbe al ricevente senza alcuna variazione rispetto a come era stato inviato. Tuttavia nel mondo reale il canale è “rumoroso” e quindi può capitare che qualche bit giunga a destinazione in modo errato. Ciò significa che a volte un valore pari a 0 viene ricevuto come se fosse pari a 1 o viceversa.

Facciamo una piccola osservazione sul termine bit. La sua prima comparsa in letteratura si ebbe proprio nel fondamentale lavoro di Shannon, il quale ne attribuì la paternità a John W. Tukey.

Shannon sostenne che per trasmettere informazione deve esserci incertezza sul valore di ogni nuovo bit. Per esempio, nel caso di un canale discreto che trasmette soltanto sequenze composte dalle cifre 0 e 1, indichiamo con p la probabilità che un bit ricevuto sia pari a 0 e con 1-p la probabilità che sia pari a 1, Shannon elaborò la seguente formula:

questa formula è valida per un caso particolare nel quale i simboli utilizzati sono soltanto due. Nel caso più in generale a n simboli discusso da Shannon la formula diventa:

La somiglianza formale fra questa equazione e la funzione dell’entropia studiata dalla meccanica statistica (in termodinamica) indusse Shannon a chiamare la funzione H, i cui valori sono misurati in bit, entropia dell’informazione.

Un cenno a questa formula è doveroso, ma non mi inoltro perché dovremmo sviluppare un trattato di matematica delle probabilità. E’ un argomento complesso e non rientra nei nostri scopi divulgativi.

L’importanza di questa formula assieme al concetto di ridondanza (Nel linguaggio tecnico, la caratteristica di un impianto, di un’attrezzatura o di un sistema informatico in cui sono presenti più elementi (generalmente il doppio di quelli necessari) capaci di svolgere la stessa funzione, così da aumentarne l’affidabilità) hanno reso affidabili le trasmissioni, ad esempio l’invio di foto dai pianeti o l’uso dei CD.

La nostra età dell’informazione dipende da segnali digitalizzati: lunghe sequenze di 0 e 1, impulsi e pause di segnali elettrici o radiotrasmessi. Gli apparecchi che inviano, ricevono, registrano segnali dipendono strettamente da piccolissimi e precisi circuiti installati su CHIP. (Un circuito integrato, in elettronica digitale, è un circuito elettronico miniaturizzato dove i vari transistori sono stati formati tutti nello stesso istante grazie a un unico processo fisico-chimico)

Sull’involucro son riportati i simboli logici, in questo caso 4 porte AND. La miniaturizzazione è stato un ulteriore processo di accelerazione dell’informatica, la possibilità di implementare tar due wafer di silicio i circuiti elettronici ha reso possibile l’avvento dei moderni computer

Tuttavia, malgrado l’ingegnosità della progettazione e dei sistemi produttivi, nessuno di essi può operare senza codici per la rivelazione degli errori e loro correzione.

Il problema è stato quello di risolvere questi errori e rendere affidabile la trasmissione dei segnali.

È proprio in questo contesto che il termine “informazione” smette di essere una parola generica equivalente a competenza, conoscenza e diventa una grandezza numerica e misurabile.

0       1

È Shannon a definire l’acronimo bit (contrazione di Binary digIT) come:

Basic Indissolubile information UniT

Il termine si ricollega a questa altra importante interpretazione riferita ovviamente ad un contesto diverso e sta a significare Unità Minima Indivisibile di Informazione. Non esiste unità informativa più piccola e viene scritta con la maiuscola Bit. È l’unità di misura del contenuto informativo di un segnale.

È ragionevole pensare che l’informazione presente in una sequenza di cifre binarie sia il numero complessivo delle cifre della sequenza stessa. La seguente “stringa” 10011101 contiene otto bit di informazione.

Shannon aveva capito che assumere l’apparentemente banale conteggio dei bit come misura dell’informazione è davvero ragionevole soltanto se le cifre 0 e 1 sono equivalenti a testa e croce nel lancio di una moneta non truccata, cioè se hanno una probabilità uguale di presentarsi. I messaggi possono utilizzare solo due simboli: 0 e 1. Ora essi sono equivalenti agli esiti dei lanci di una moneta truccata, dunque a 0 è associata la probabilità p di comparire mentre per 1 la

probabilità è 1-p. Shannon ha dedotto la formula H che dà il contenuto dell’informazione

H, la quantità di informazione, aumenta senza intoppi da 0 a 1, p (la probabilità) varia invece: cresce da 0 a ½, poi decresce simmetricamente tornando a 0.

Shannon ha evidenziato numerose proprietà interessanti di H così descritte:

• Se p=0, nel quale caso compare soltanto il simbolo 1, la quantità di informazione H ha valore 0. Ciò significa che, se sappiamo con certezza quale simbolo stia per essere trasmesso, quando esso verrà ricevuto non porterà nessun tipo di informazione.
• La stessa situazione si verifica quando p=1. Comparirà soltanto il simbolo 0 e di nuovo non riceveremmo alcun tipo di informazione.
• La quantità di informazione è massima quando p=1/2 e (1-p)=1/2, caso che corrisponde al lancio di una moneta non truccata. In questo caso ricordando che i logaritmi sono in base 2, si ha:

---