Wikipedia:Bar/Discussioni/P2P & Wikipedia

P2P & Wikipedia		NAVIGAZIONE

Indice

Settimana

Giorno

Ultimamente mi sono interessato agli usi del P2P che non siano di puro file sharing, e mi sono venute in mente alcune idee; cercando su Internet ho scoperto di non essere stato il primo...

L'idea è quella di modificare la struttura centralizzata di wikipedia (server) con una struttura P2P distribuita tra volontari, ognuno dei quali abbia una copia del database (aggiornato). Questo eliminerebbe i costi attuali dell'infrastruttura (banda, storage, elaborazione, ...). Vi segnalo alcuni link:

• [1]
• [2] (basato su GIT)

(OT: sapete consigliarmi un gruppo Usenet dove poter discutere dei dettagli tecnici?)

--wiso (msg) 12:24, 10 gen 2009 (CET)

ciao, non ho capito se questa tua richiesta e' per puro esercizio teorico o se proponi anche di applicarla alla gestione di wikipedia. Nel secondo caso, ti dico subito che vi sarebbero forti problemi nel tenere aggiornato il database distribuito tra i diversi computer volontari. Basta dare un'occhiata a ultime modifiche per vedere la frequenza degli aggiornamenti. --Hal8999 (msg) 12:28, 10 gen 2009 (CET)

L'idea sarebbe interessante (anche solo come soluzione di caching) ma secondo me inapplicabile per ragioni di affidabilità e per il fatto che gestire tale sistema credo costerebbe di più (in termini di potenza di calcolo) dell'attuale sistema--Vito (msg) 12:48, 10 gen 2009 (CET)

@Hal8999: certo che ci sarebbero problemi di sincronizzazione, ma si possono risolvere (vedi GIT). @Vito: potrebbe essere che i costi computazionali siano maggiori, ma sarebbero distribuiti su molti computer, su molte persone, che al posto di fare donazioni in denaro a wikipedia, donerebbero parte della loro banda / storage / calcolo. Il chaching è qualcosa di intermedio, che in parte esiste già en:P2P_caching, en:Coral_Content_Distribution_Network --wiso (msg) 13:44, 10 gen 2009 (CET)

(conflittato) L'idea mi sembra ottima, però credo che tu l'abbia inserita nel posto meno adatto: prova a girarla alla mailing list wikitech-l. --FollowTheMedia ^mailbox  13:53, 10 gen 2009 (CET)

probabilmente come esercizio teorico Wikipedia su P2P non è male (potrebbe anche essere un'ottima tesi di laurea :D) ma nella pratica, attualmente, in my very humble opinion credo che l'intero sistema rischi di diventare molto più lento e quindi poco usabile. --valepert 14:01, 10 gen 2009 (CET)

@Hal: intendevo i costi a livello "centrale" visto che bisognerebbe bilanciare i carichi sulla rete e gestire colli di bottiglia a livello di macchine in rete, di velocità di transito e di bande delle varie connessioni oltre a sistemi di backup e DNS--Vito (msg) 14:27, 10 gen 2009 (CET)

Hum ma se ogni contributore ha "una copia del database (aggiornato)" allora se devo accedere a wikipedia devo scaricarla tutta? anche le altre lingue? wikipedia è tra i 10 siti più visitati al mondo, moltiplichiamo la sua dimensione per tutti i vistatori... ^musaz † 16:31, 10 gen 2009 (CET)

Esistono dei sistemi per evitare questi problemi, ad esempio en:Tapestry_(DHT). --Giuseppe (msg) 17:18, 10 gen 2009 (CET)

per sapere: quanto spende WMF per le infrastrutture (banda, storage, elaborazione, ecc.) che verrebbe risparmiato adottando questo metodo? --Ripe (msg) 16:42, 10 gen 2009 (CET)

Ehm... quanti gigabyte di roba dovrebbe accollarsi ogni volontario? Non credo che ci siano tante persone con tali risorse... (io fatico a tentere installati i programmi di base, ho 20 gb :D) -- Jкк^КGB 18:21, 10 gen 2009 (CET)

Perdonate la domanda gnorante, mera curiosità: sarebbe una specie di cloud computing? Quella roba tanto deprecata da Stallman? --62.101.93.189 (msg) 19:04, 10 gen 2009 (CET)

(fuori cron) no il cloud computing per intendersi è Google Docs. Invece di installare programmi sul computer usi quelli sui server di qualcun altro (quindi senza sorgente, che cmq più di tanto non ti servirebbe perché non ne controlli l'installazione; da cui l'ira di Stallman). 89.96.108.150 (msg) 17:50, 11 gen 2009 (CET)

@Jкк: L'ultimo Dump che ho scaricato, una volta decompresso, è di circa 3Gb, che credo siano una inezia per un utente normale (gli ultimi computer li vendono con HD da >200Gb), se pensi che un film è sul ~Gb. Comunque non è necessario che tutti abbiano la copia di tutto. Il grosso problema non credo sia lo storage, ma la banda (soprattutto in un contesto ADSL). Comunque provate a guardare i link sopra... non è fantascienza. Ovviamente questo non è il posto per parlare di dettagli tecnici, volevo solo far conoscere alla comunità uno degli orizzonti che si possono aprire per un futuro. --wiso (msg) 19:17, 10 gen 2009 (CET)

i 3 gB se non sbaglio contengono solo l'ultima versione della wikipedia in lingua italiana. Se vai a considerare tutte quelle vecchie non so proprio quanto occupino, ma imho non meno di 500 gB (magari sto dicendo un'idiozia). --Ripe (msg) 19:30, 10 gen 2009 (CET)

Sì, il database NON COMPRESSO comprensivo di tutte le revisioni e tutti i namespace (compreso File) pesa davvero tanto. Credo che con it.wiki a due/tre centinaia di GB dovremmo arrivarci senza troppi problemi. Comunque se la maggior parte del traffico è generato da accessi di utenti casuali verso l'ultima revisione delle singole voci, credo che un sistema di caching distribuito dell'ultima stable farebbe comodo a tutti. Allo stesso modo, non dovrebbe nemmeno essere troppo gravoso in termini di costi computazionali. --FollowTheMedia ^mailbox  20:11, 10 gen 2009 (CET)

Sono dettagli tecnici, come dicevo, non tutti devono avere la copia di tutto. --wiso (msg) 20:16, 10 gen 2009 (CET)

Secondo me non puo' funzionare perche' la sincronizzazione non potrebbe essere "in tempo reale" e questo renderebbe praticamente impossibile risolvere i conflitti di edizione. Oggi se un utente modifica una voce e un secondo dopo ci prova un altro utente, i server rilevano il conflitto, respingono la seconda modifica e avvertono immediatamente l'utente. Ma in una "wiki distribuita", il primo utente modifica la voce su una copia locale, il secondo utente su un'altra copia, il conflitto non viene subito rilevato e quindi la modifica viene accettata, ma poi quando le due copie cercano di sincronizzarsi tra loro, cosa fanno? Avvertire l'utente non e' piu' possibile perche' e' passato un minuto, o dieci minuti, o un'ora, e intanto lui magari si e' scollegato ed e' partito per le vacanze. Gli lasciano un messaggio in talk? E se e' un anonimo con un IP dinamico? E se e' un bot? E se ha fatto due modifiche conflittate su due copie locali diverse e i due server si conflittano tra loro mentre cercano di scrivergli? --Gerardo 10:41, 12 gen 2009 (CET)

In effetti l`unica soluzione a questo problema sarebbe un aggiornamento in tempo reale di ogni modifica su ogni pagina di ogni databese di ogni pc connesso, cosi` che in ogni momento esiste almeno un pc connesso con l`ultima versione, al quale fa riferimento chiunque modifichi una pagina. Pero` questo richiederebbe un traffico informatico pazzesco! ^musaz † 11:29, 12 gen 2009 (CET)

Impraticabile e per troppe motivazioni. Soluzione migliore? Come al solito, quando si propone di stravolgere completamente il sistema wiki, lasciare tutto come sta! --Roberto Segnali all'Indiano 16:49, 12 gen 2009 (CET)

C'e' un problema ancora piu' serio: sarebbe impossibile garantire l'autenticita' dei contenuti. Chi potrebbe verificare che io sto distribuendo le vere voci di Wikipedia e non invece delle voci farlocche scritte da me? --Gerardo 10:47, 13 gen 2009 (CET)

Altro problema: sempre più provider si stanno attrezzando per il traffic shaping, con la prospettiva di penalizzare il traffico P2P. Quindi ci ritroveremmo Wikipedia su una struttura che, pur essendo economica, sarebbe lenta ed inaffidabile. Non la vedo percorribile...--WebWizard - Free entrance »» This way... 15:29, 13 gen 2009 (CET)

Certamente ci sono sotto considerevoli problemi tecnici da risolvere, tuttavia l'idea è molto interessante e non è data come irrealizzabile da chi se ne intende. Non è nemmeno così recente, risale almeno al 2007 (presentata al WEBIST). C'è una pagina su Meta-Wiki che si occupa dell'argomento. Nell'immediato si potrebbe sfruttare il P2P per condividere grossi file. --MarcoK (msg) 18:13, 13 gen 2009 (CET)