Utente:Giuseppe Masino/Sandbox/Bit
Interpretazione[modifica | modifica wikitesto]
Una quantità in bit può essere interpretata in 3 modi differenti:
- come misura dell'informazione netta trasferita [1]
Come informazione netta[modifica | modifica wikitesto]
Quantità frazionaria[modifica | modifica wikitesto]
Relazione alla funzione entropia: valore medio e caso assoluto.
---
Se ci sono due possibili eventi, uno con probabilità 25% e l'altro con probabilità 75%, il verificarsi del primo evento convoglia l'informazione di −log2(0,25) = 2 bit, mentre il verificarsi del secondo evento convoglia l'informazione di −log2(0,75) = ~0,415 bit.
Il contenuto informativo (o entropia) di un generatore di eventi (detto "sorgente") è la media statistica dei contenuti informativi di ogni possibile valore, ovvero la somma delle informazioni pesate per la probabilità del corrispondente valore.
Nel caso dei due valori con probabilità 25% e 75%, il contenuto informativo della sorgente è:
0,25 × (−log2(0,25)) + 0,75 × (−log2(0,75)) = ~0,811 bit.
Cioè la sorgente genera meno di un bit per ogni evento.
Nel caso di due eventi equiprobabili, si ha:
0,5 × (−log2(0,5)) + 0,5 × (−log2(0,5)) = 0,5 × 1 + 0,5 × 1 = 1 bit.
Cioè la sorgente genera esattamente un bit per ogni evento.
Alternative[modifica | modifica wikitesto]
Alternative storiche[modifica | modifica wikitesto]
Nel 1928, Ralph Hartley
Hartley [2]
Multpli derivanti dal cambiamento della base logaritmica. (Shannon 2001, p. 1).
- b = 3: l'unità informativa è chiamata "trit" (contrazione di Ternary digit), e corrisponde a log2 3 (≈ 1.585) bit[3].
- b = 10: l'unità informativa è chiamata digit decimale, hartley, ban, decit, o dit, e corrisponde a log2 10 (≈ 3.322) bit.[4][5][6][7].
- b = e (numero di Nepero): l'unità informativa è chiamata nat, nit, o nepit (da John Napier), ed equivale a log2 e (≈ 1.443) bit[4].
Corrispondenza tra cifra binaria e esadecimale.
ma è possibile usare anche (numero di Nepero), usando dunque il logaritmo naturale; in tal caso l'unità di misura dell'informazione si dice "Nat". [8]
Rappresentazione[modifica | modifica wikitesto]
In generale una quantità di informazione è una proprietà misurabile ma astratta ed intrinseca di oggetti di natura concreta classificabili in generale come dati. [9] In questo senso l'informazione può manifestarsi sotto una moltitudine di forme. Volendo generalizzare si possono raggruppare le rappresentazioni dell'informazione in due macro-categorie: rappresentazioni simboliche e rappresentazioni fisiche.
Simbolica[modifica | modifica wikitesto]
I numeri, o più correttamente le cifre, sono un banale esempio di portatori di una certa quantità fissata di informazione. La quantità di informazione trasportata da ciascuna cifra dipende dalle caratteristiche del sistema numerico di riferimento.
Particolarmente interessante è il sistema numerico binario: composto da soli due simboli è tale che l'informazione intrinseca di ciascuna cifra misura esattamente 1 bit.[10] Tale sistema si presta molto bene come base dell'algebra di Boole.
Fisica[modifica | modifica wikitesto]
Ogni fenomeno fisico è portatore di informazione e può essere rivelato da un osservatore in una moltitudine di forme. Da un punto di vista analitico un fenomeno è rappresentabile per mezzo di un segnale associato, ovvero un insieme di dati organizzati rispetto ad una grandezza di riferimento. [11]
__ quantizzazione
In informatica ed elettronica[modifica | modifica wikitesto]
In questo contesto il bit rappresenta l'unità di definizione di uno stato logico, definito anche unità elementare dell'informazione trattata da un elaboratore. La rappresentazione logica del bit è rappresentata dai soli valori {0, 1}.
Ai fini della programmazione è comune raggruppare sequenze di bit in entità più vaste che possono assumere valori in intervalli assai più ampi di quello consentito da un singolo bit. Questi raggruppamenti contengono generalmente un numero di stringhe binarie pari a una potenza binaria, pari cioè a 2n; il più noto è il byte (chiamato anche ottetto), corrispondente a 8 bit, che costituisce l'unità di misura più utilizzata in campo informatico.
ALT
Il bit può assumere due tipi di significati, quello numerale, in cui il bit assume un valore numerico, quello logico in cui il bit assume un valore riguardante la tensione elettrica in cui il bit "0", corrisponde alla corrente elettrica assente, invece il bit "1" corrisponde alla corrente elettrica presente.
Note[modifica | modifica wikitesto]
- ^ "From our previous discussion of entropy as a measure of uncertainty it seems reasonable to use the conditional entropy of the message, knowing the received signal, as a measure of this missing information. [...] Following this idea the rate of actual transmission, R, would be obtained by subtracting from the rate of production (i.e., the entropy of the source) the average rate of conditional entropy." (Shannon 2001, p. 19)
- ^ Hartley, R. V. L., "Transmission of Information," Bell System Technical Journal, July 1928, p. 535
- ^ (EN) Donald E. Knuth, Seminumerical algorithms, in The Art of Computer programming, vol. 2, 1973.
- ^ a b Errore nelle note: Errore nell'uso del marcatore
<ref>: non è stato indicato alcun testo per il marcatoreabramson - ^ (EN) Shanmugam, Digital and Analog Computer Systems, 2006.
- ^ (EN) Gregg Jaeger, Quantum information: an overview, 2007.
- ^ (EN) I. Ravi Kumar, Comprehensive Statistical Theory of Communication, 2001.
- ^ "In analytical work where integration and differentiation are involved the base e is sometimes useful. The resulting units of information will be called natural units." (Shannon 2001, p. 2)
- ^ Informazione, in Treccani.it – Enciclopedie on line, Roma, Istituto dell'Enciclopedia Italiana.;
Dato, in Treccani.it – Enciclopedie on line, Roma, Istituto dell'Enciclopedia Italiana. - ^ Errore nelle note: Errore nell'uso del marcatore
<ref>: non è stato indicato alcun testo per il marcatorecita shannon 2001 p.1 - ^ Segnale, in Treccani.it – Enciclopedie on line, Roma, Istituto dell'Enciclopedia Italiana.