Termodinamica dell'informazione

La termodinamica dell'informazione è un campo della meccanica statistica, e in particolare della termodinamica stocastica, che indaga sulle implicazioni termodinamiche della manipolazione dell'informazione in sistemi mesoscopici, fra cui sistemi di interesse biologico. Il risultato fondamentale è che è necessario tenere conto dell'entropia dell'informazione (entropia di Shannon) acquisita su un sistema termodinamico nel bilancio globale dell'entropia. In questo modo il secondo principio della termodinamica vale (in media) anche per sistemi che manipolano informazione. Una delle conseguenze più importanti è che se una sequenza di calcoli è reversibile, è possibile in linea di principio valutarla dissipando una quantità arbitrariamente piccola di energia. Viceversa, operazioni logicamente irreversibili, che distruggono informazione, come la cancellazione di una memoria, richiedono la dissipazione di una quantità piccola, ma finita, per ogni bit cancellato. Questa predizione è stata verificata sperimentalmente in sistemi mesoscopici (Bérut et al. (2012)) ed elettronici (Koski et al. (2014)). Una recente rassegna è dovuta a Parrondo et al. (2015).

Storia

Si può far risalire la nascita della termodinamica dell'informazione all'esperimento concettuale proposto da Maxwell (1871) per mostrare la natura statistica del secondo principio della termodinamica (il cosiddetto "diavoletto di Maxwell"). Questo esperimento venne ripreso da Szilard (1929), che propose una macchina ideale apparentemente in grado di estrarre lavoro da un unico serbatoio di calore, in violazione del secondo principio della termodinamica. Un'ulteriore motivazione allo sviluppo della disciplina venne dall'osservazione che la formula di Gibbs per l'entropia di un sistema all'equilibrio termodinamico coincide, a meno di una costante moltiplicativa, con l'espressione dell'entropia nel senso della teoria dell'informazione (entropia di Shannon) del corrispondente ensemble statistico. Nel tentativo di fornire una soluzione al problema posto da Szilard, Landauer (1961) postulò che l'informazione acquistata su un sistema debba essere messo in conto nel bilancio dell'entropia. In particolare, la cancellazione dell'informazione acquisita (rimettendo la memoria in uno stato di riferimento fissato) richiede la dissipazione di una quantità di energia il cui valore è connesso con la quantità di informazione contenuta nella memoria. Questa relazione è nota come limite di Landauer. Più recentemente si è arrivati a una comprensione più soddisfacente dei legami fra informazione e termodinamica mediante l'uso dei risultati fondamentali della teoria dell'informazione e della termodinamica stocastica.

Macchina di Szilard e principio di Landauer

Schema della macchina di Szilard (1929).

Szilard (1929) propone di considerare un cilindro di volume $V$, in contatto con un serbatoio di calore alla temperatura $T$, in cui è contenuta una singola molecola di gas. Viene inserita nel cilindro una partizione mobile, dividendolo in due compartimenti. A questo punto si determina in quale compartimento si trova la molecola e si introduce una barra in contatto con la partizione dalla parte del compartimento vuoto. Si lascia poi espandere reversibilmente il gas finché esso non occupa l'intero cilindro. In questa trasformazione viene estratto un lavoro ${\mathcal {W}}$, pari in media a $k_{\mathrm {B} }T\ln(V/V_{0})$, dove $k_{\mathrm {B} }$ è la costante di Boltzmann e $V_{0}$ è il volume iniziale del compartimento in cui si trova la molecola. La partizione viene rimossa e si ritorna allo stato iniziale. È facile vedere che, se la partizione divide il cilindro in compartimenti di volume rispettivamente pari a $pV$ e $(1-p)V$, il lavoro medio estratto è pari a

$W=-k_{\mathrm {B} }T\left[p\ln p+(1-p)\ln(1-p)\right]=k_{\mathrm {B} }T\,H(p),$

dove $H(p)$ è l'entropia di Shannon della distribuzione di probabilità della posizione iniziale della molecola, a destra o a sinistra della partizione. Questo sistema è stato realizzato sperimentalmente in un transistor a elettrone singolo (SET) da Koski et al. (2014) e in una particella colloidale ruotante da Toyabe et al. (2010).

Bennett (2003) ha sottolineato come, nonostante le apparenze, la trasformazione considerata non sia esattamente ciclica. Infatti alla fine del ciclo rimane la memoria del compartimento (R o L) in cui la molecola si trovava all'inizio. Questa memoria deve essere cancellata, rimettendola in uno stato standard. Questo vuol dire che l'entropia di Shannon della memoria passa da $H(p)$ a $0$. Quindi il secondo principio rimane valido se si ammette che questa trasformazione richiede la dissipazione di una quantità di lavoro pari perlomeno a $k_{\mathrm {B} }T\,H(p)$. In particolare, per $p=1/2$ (divisione equa) si ha $W\geq k_{\mathrm {B} }T\,\ln 2$, che è noto come il limite di Landauer.

Feedback e relazione di Sagawa-Ueda

Più in generale, consideriamo un sistema a stati discreti, denotati con $x$, la cui dinamica è descritta da un processo di Markov. L'energia dello stato $x$ è denotata da $\epsilon _{x}$. Il sistema è inizialmente all'equilibrio termodinamico con un serbatoio alla temperatura $T$. Il sistema viene collegato a uno strumento di misura i cui stati sono descritti dalla variabile $y$, e supponiamo che tutti questi stati abbiano lo stesso valore di energia. La mutua dipendenza fra $y$ e $x$ è quantificata dall'informazione mutua

$I(X:Y)=\sum _{x,y}p_{x,y}\ln {\frac {p_{x,y}}{p_{x}p_{y}}}.$

Indichiamo con $t_{\mathrm {m} }$ l'istante in cui avviene la misura. Immediatamente prima della misura, lo stato del sistema e quello dello strumento sono indipendenti: $p_{x,y}(t_{0})=p_{x}^{\mathrm {eq} }p_{y}^{0}$, dove $p_{x}^{\mathrm {eq} }\propto e^{-\epsilon _{x}/k_{\mathrm {B} }T}$ è la distribuzione di Boltzmann e $p_{y}^{0}$ è la distribuzione iniziale dello strumento. Supponendo che la misura non alteri lo stato del sistema, la variazione di entropia subìta dal complesso sistema+strumento è data da

$\Delta S=S(t_{\mathrm {m} })-S(t_{0})=-k_{\mathrm {B} }\sum _{x,y}\left[p_{x,y}(t_{\mathrm {)} }\ln p_{x,y}(t_{\mathrm {m} })-p_{x,y}(t_{0})\ln p_{x,y}(t_{0})\right].$

Poiché $p_{x,y}(t_{\mathrm {m} })=p_{y|x}(t_{\mathrm {m} })p_{x}(t_{\mathrm {m} })$, si ottiene

$\Delta S=-k_{\mathrm {B} }\sum _{x,y}\left[p_{x,y}(t_{\mathrm {m} })\ln {\frac {p_{y|x}(t_{\mathrm {m} })}{p_{x}(t_{\mathrm {m} })}}-p_{x,y}(t_{0})\ln p_{y}(t_{0})\right],$

dove abbiamo tenuto conto che la distribuzione $p_{x,y}(t_{0})$ si fattorizza e che la distribuzione di $x$ rimane invariata. Sommando e sottraendo l'entropia dello strumento ${\textstyle S^{(\mathrm {s} )}(t_{\mathrm {m} })=-\sum _{y}p_{y}(t_{\mathrm {m} })\ln p_{y}(t_{\mathrm {m} })}$ otteniamo

$\Delta S=-k_{\mathrm {B} }\,I(X:Y)-\Delta S^{(\mathrm {s} )},$

dove $\Delta S^{(\mathrm {s} )}=S^{(\mathrm {s} )}(t_{\mathrm {m} })-S^{(\mathrm {s} )}(t_{0})$. Dato che il sistema interagisce con un unico serbatoio di calore, il fatto che $\Delta S<0$ implica che una quantità di calore $Q$ pari almeno a $-T\,\Delta S$ deve essere stata ceduta al serbatoio perché il secondo principio sia soddisfatto.

Questo risultato si generalizza a sistemi manipolati, quando il protocollo di manipolazione dipende dal risultato della misura. Introducendo la mutua informazione fluttuante ${\mathcal {I}}_{x:y}$ definita da

${\mathcal {I}}_{x:y}=\ln {\frac {p_{x,y}(t_{\mathrm {m} })}{p_{x}(t_{\mathrm {m} })p_{y}(t_{\mathrm {m} })}}=\ln {\frac {p_{x|y}(t_{\mathrm {m} })}{p_{x}(t_{\mathrm {m} })}},$

tale che $\left\langle {\mathcal {I}}\right\rangle =I$, si ottiene la relazione di fluttuazione integrale

$\left\langle e^{-{\mathcal {S}}/k_{\mathrm {B} }-{\mathcal {I}}}\right\rangle =1,$

dove ${\mathcal {S}}$ è la quantità totale di entropia prodotta in una realizzazione dell'esperimento, compreso l'aumento di entropia del serbatoio, e la media è presa su tutte le possibili realizzazioni. Da questo si ottiene la disuguaglianza

$\left\langle {\mathcal {S}}\right\rangle -k_{\mathrm {B} }\,I\geq 0.$

Sfruttando la relazione, ottenuta in energetica stocastica,

$T\,{\mathcal {S}}[\mathbf {x} ]={\mathcal {W}}[\mathbf {x} ]-\Delta F,$

dove $\mathbf {x}$ è una traiettoria del sistema, ${\mathcal {W}}$ è il lavoro stocastico compiuto sul sistema e $\Delta F$ è la variazione di energia libera del sistema all'inizio e alla fine della manipolazione, si ottiene

$\left\langle {\mathcal {W}}\right\rangle -\left\langle \Delta F\right\rangle \geq -k_{\mathrm {B} }\,I,$

che è nota come relazione di Sagawa-Ueda (2010).

Serbatoi d'informazione

Possiamo anche considerare, seguendo un suggerimento di Feynman (1996), dei sistemi che estraggono lavoro da un serbatoio di calore mediante l'interazione con un serbatoio di informazione, cioè con un sistema che può cambiare la sua entropia senza richiedere la fornitura di energia. Un esempio idealizzato di tale sistema è un nastro diviso in tante caselle, ognuna delle quali contiene una variabile binaria, cioè un bit d'informazione. Se tutte le caselle stanno nello stesso stato, p.es., 1, l'entropia del nastro è nulla. Se invece le caselle sono indipendenti fra di loro, e la probabilità che il bit valga 1 è pari a $p$, l'entropia del nastro è pari a $S=k_{\mathrm {B} }H(p)$ per casella, dove $H(p)$ è l'entropia di Shannon.

Mandal e Jarzynski (2012) hanno proposto un modello idealizzato di sistema che permette l'estrazione di calore da un serbatoio con l'aiuto di un nastro di cui viene variata l'entropia. Per il secondo principio, il lavoro medio $W$ estratto dal serbatoio per ogni casella deve soddisfare la disuguaglianza

$W\leq k_{\mathrm {B} }T\,\left(H(p')-H(p)\right),$

Schema della macchina di Mandal-Jarzynski (2012).

dove $p$ è la probabilità che il bit entrante valga 1 e $p'$ è l'analoga probabilità per il bit uscente. Il sistema è a 3 stati, $x\in \{\mathrm {A} ,\mathrm {B} ,\mathrm {C} \}$, tutti di energia uguale. Le transizioni fra A e B e viceversa, e fra B e C e viceversa avvengono tutte con la stessa frequenza media. Le transizioni fra C ed A avvengono tramite interazione con un nastro. Se il sistema è in C e la casella ha il bit in 1, è permessa la transizione $\mathrm {C} \longrightarrow \mathrm {A}$, e se essa avviene, il bit viene posto a 0. Viceversa, se il sistema è in A e la casella ha il bit in 0, è permessa la transizione $\mathrm {A} \longrightarrow \mathrm {C}$ e il bit viene messo a 1. Questa transizione è accoppiata a un peso di massa $m$, che viene alzato di un tratto $h$ se il sistema passa da C ad A, e calato dello stesso tratto nel caso contrario. La frequenza di transizione fra C e A (se permessa) è collegata alla frequenza della transizione inversa dalla relazione di bilancio dettagliato:

${\frac {k_{\mathrm {AC} }}{k_{\mathrm {CA} }}}=e^{-mgh/k_{\mathrm {B} }T}.$

Ogni casella viene lasciata interagire con il sistema per un intervallo di durata $\tau$, dopo di che si passa a una nuova casella.

Si mostra che il sistema può operare in uno di tre regimi, in funzione dei parametri $\zeta =\tanh(mgh/2k_{\mathrm {B} }T)$ e $d=1-2p$.

• Nel primo regime, quando $d\geq \zeta$, il sistema estrae lavoro dal serbatoio di calore, e aumenta l'entropia del nastro uscente. Quindi il sistema funziona come un diavoletto di Maxwell o una macchina di Szilard.
• Nel secondo regime, $d<\zeta$ ma $H(p')<H(p)$, il sistema funziona come un cancellino, consumando lavoro meccanico per ridurre l'entropia del nastro. Nel caso particolare di cancellazione piena, cioè quando il nastro uscente ha tutti 0, il lavoro speso per casella soddisfa $W>k_{\mathrm {B} }T\,H(p)$ in media, in accordo con il principio di Landauer.
• Nel terzo regime, il sistema non compie lavoro utile, e neanche riduce l'entropia del nastro. Esso può quindi essere considerato un fallimento.

È da notare che il lavoro speso nel secondo regime per mettere tutti i bit a 0 nel nastro uscente può essere in parte recuperato, almeno in linea di principio, fornendo il nastro a un'analoga macchina di Mandal-Jarzynski (con i ruoli di C ed A scambiati). Da questo punto di vista il diavoletto di Maxwell e il principio di Landauer sono due facce della stessa medaglia.

Bibliografia

• Bennett, C. H. (2003). "Notes on Landauer's principle, reversible computation and Maxwell's demon." Studies in History and Philosophy of Modern Physics 34:501-510.
• Bérut, A. Arakelyan, A. Petrosyan, A., Ciliberto, S., Dillenschneider, R. e Lutz, E. (2012). "Experimental verification of Landauer's principle linking information and thermodynamics." Nature 483:187-190.
• Feynman, R. P. (1996). Feynman Lectures on Computation, curate da Hey, T. e Allen, R. W. Reading MA: Addison-Wesley, p. 146.
• Koski, J. V., Maisi, V. F., Pekola, J. P. e Averin, D. V. (2014). "Experimental realization of a Szilard engine with a single electron." Proceedings of the National Academy of Sciences, 111(38):13786-13789.
• Landauer, R. (1961). "Irreversibility and heat generation in the computing process." IBM Journal of Research and Development 3:183-191.
• Mandal, D. e Jarzynski, C. (2012). "Work and information processing in a solvable model of Maxwell's demon." Proceedings of the National Academy of Sciences 109(29):11641-11645.
• Maxwell, J. C. (1871). Theory of Heat. London: Longmans, Green and Co. p. 328.
• Parrondo, J. M., Horowitz, J. M., e Sagawa, T. (2015). "Thermodynamics of Information." Nature Physics 11(2):131.
• Sagawa, T. e Ueda, M. (2010). "Generalized Jarzynski equality under nonequilibrium feedback control." Physical Review Letters 104:090602.
• Szilard, L. (1929). "Über die Entropieverminderung in einem thermodynamische System bei Eingreffen intelligenter Wesen." Zeitschrift für Physik, 53:840-856.
• Toyabe, S. Sagawa, T., Ueda, M. Muneyuki, E. e Sano, M. (2010). "Experimental demonstration of information-to-energy conversion and validation of the generalized Jarzynski equality." Nature Physics 6:988-992.

Collegamenti esterni

• Information Processing and Thermodynamic Entropy, su plato.stanford.edu. Ospitato su Stanford Encyclopedia of Philosophy.