Wikipedia:Bar/Discussioni/Un bot per sistemare i link rotti su itwiki

Veloce traduzione di Lucas, la versione in lingua originale del messaggio è reperibile qui: --Lucas ✉ 08:12, 8 mag 2017 (CEST)

Ciao a tutti gli utenti della Wikipedia in italiano. Sono Cyberpower678, un amministratore della Wikipedia in lingua inglese e un operatore di bot. Sono venuto qui per domandare se la comunità italiana apprezzerebbe l'utilizzo di m:InternetArchiveBot e le funzionalità a esso collegate. Prima di porre la domanda, descriverò qualche antefatto riguardo il bot e i possibili motivi per la sua implementazione su questa wiki.

Cos'è InternetArchiveBot?

InternetArchiveBot è un bot molto sofisticato progettato con l'unico scopo di combattere il costante problema dei link rotti. Il bot è in grado di navigare automaticamente attraverso le voci di Wikipedia, analizzare link formattati in diversi modi, e modificare appropriatamente il markup wiki per preservare la fonte utilizzata nella voce. Utilizza un algoritmo molto affidabile per determinare se il sito è "morto" oppure no. Oltre a tale algoritmo, utilizzato per analizzare le referenze e i siti web, il bot è altamente configurabile per adattarsi alle necessità della wiki locale (si veda più avanti).

Comunque, il bot non deve necessariamente essere totalmente automatizzato. IABot dispone di una sere di strumenti che i contributori possono utilizzare, e che possono essere visualizzati qui. Questi strumenti permettono di segnalare malfunzionamenti, aiutare a sviluppare l'affidabilità del bot per mezzo della segnalazione di problemi nel riconoscimento dei link, trovare archivi più adatti che il bot dovrebbe utilizzare e, soprattutto, fornisce strumenti che permettono di utilizzare il bot immediatamente su una singola pagina o una serie di pagine specifiche indicate dall'utente, nella coda di analisi.

Pertanto, se l'automatizzazione totale non è desiderata, tali strumenti possono sempre essere una buona via per permettere comunque agli utenti di combattere il problema dei link rotti.

Perché implementare InternetArchiveBot?

Il progetto IABot è iniziato quando in un sondaggio del 2015 sui desideri della comunità la proposta di introdurre un bot globale per riparare i link rotti si è collocata al primo posto. Perciò è stato creato questo ticket su Phabricator. Questo secondo ticket ha invece lo scopo di rilevare se su questa Wiki c'è il necessario consenso all'utilizzo, e il relativo processo di implementazione. A giungo 2017 il progetto raggiungerà il secondo anno di sviluppo.

A proposito di InternetArchiveBot

IABot utilizza algoritmi intelligenti per analizzare il testo wiki nel modo più prossimo a quello umano. Ciò significa che gestirà formattazioni differenti quando il link è contenuto all'interno di un tag <ref> rispetto a quando si trova fuori da esso. È in grado di rilevare template di citazione e gestirli differentemente.

Quando il link si trova all'interno di una referenza, IABot aggiunge il template che rimanda alla versione presente nell'archive.org (purché in questa Wiki lo si utilizzi), oppure un qualsiasi altro sistema equivalente di archivio dei siti esterni.

Quando il link si trova fuori dalle referenze, IABot può direttamente sostituire il link esterno con l'URL archiviato, per evitare di alterare la presentazione finale della voce. Può inoltre gestire i template di citazione.

IABot non modifica link quando inseriti all'interno di template che non conosce, o quando nascosti all'interno di tag <nowiki> o commenti HTML. IABot mantiene un grande database di metadati inerenti gli URL, che permette di svolgere efficientemente le attività.

Gli strumenti summenzionati possono inoltre accedere a tale database, nel quale gli utenti possono immediatamente sistemare ogni problema che riscontrassero, e IABot ne farà utilizzo immediato. In sostanza, il bot apprenderà sulla base delle segnalazioni degli utenti divenendo sempre più affidabile.

Il tasso di errore è molto basso: meno dello 0,01% delle modifiche è soggetto a errore.

Le diverse configurazioni di IABot

Come indicato sopra, IABot è altamente configurabile per rispondere alle necessità della Wikipedia locale. IABot è conforme alle eventuali indicazioni "nobot", e può offrire una pagina di attivazione in caso di malfunzionamenti. Visto che varie Wikipedia in lingue differenti hanno diverse culture e specifici metodi di lavoro, tale punto è stato preso in considerazione sin dallo sviluppo iniziale di IABot.

Quando IABot è in funzione, può essere istruito affinché svolga le necessarie sistemazioni nella voce principale e notifichi tali sistemazioni nella pagina di discussione correlata. In alternativa, i messaggi nelle pagine di discussione possono essere disabilitati, oppure il bot può essere istruito per lasciare solo messaggi di avviso ai contributori in merito all'indirizzo rotto trovato nella voce.

IABot può anche aggiungere in via preventiva link di archivio a tutti i link indistintamente, inclusi quelli non rotti, o semplicemente restringere la sua azione a quelli già indicati come rotti. L'azione di IABot può essere limitata ai soli link contenuti nei tag <ref> o all'intera voce.

Una completa descrizione di InternetArchiveBot, inclusiva di opzioni di configurazione può essere trovata qui: m:InternetArchiveBot.

La grande domanda

InternetArchiveBot, e/o i suoi strumenti sarebbero un'aggiunta gradita sulla Wikipedia in italiano? Non si dimentichi che se la completa autonomia del bot non è desiderata, gli strumenti descritti sopra servono a dare agli utenti il controllo sulle operazioni del bot stesso.

Di seguito alcuni esempi, che mostrano casi in progetti differenti per mostrare la compatibilità cross-wiki. -—CYBERPOWER (msg) 03:46, 8 mag 2017 (CEST)

Modifiche interamente automatiche

• Enwiki: [1][2][3]
• Svwiki: [4][5]

Modifiche del bot su istruzione manuale

Si noti che i campi oggetto riportano l'utente che ha richiesto l'azione per l'attribuzione.

• Enwiki: [6][7]
• Svwiki: [8][9]

Analisi della pagina con gli strumenti

Queste sono modifiche effettuate utilizzando lo strumento di analisi della singola pagina menzionato in precedenza. Lo strumento offre alcune opzioni che non sono disponibili quando il bot viene richiamato manualmente. Queste opzioni agiscono anche sovrascrivendo la configurazione di base utilizzata dal bot durante l'esecuzione automatica.

Logicamente, le opzioni possono essere impostate per le modifiche a una singola pagina, poiché la modifica viene effettuata direttamente dall'account utente che è quindi responsabile della modifica effettuata.

Tale distinzione dalle impostazioni di base è più complessa da gestire quando il bot viene eseguito su un elenco di pagine con opzioni differenti.

• Enwiki: Only alter dead sources and Add archives to all URLs
• Svwiki: [10]

Discussione

• Personalmente sono molto Favorevole all'introduzione di un sistema simile, purché naturalmente ci sia qualcuno con un po' di tempo per occuparsi della fase di introduzione. :-) --Lucas ✉ 08:12, 8 mag 2017 (CEST)
• Sarebbe molto utile. Solo un appunto. Mi è capitato varie volte che una pagina web usata come fonte non fosse sparita, ma semplicemente spostata ad altro indirizzo (per ristrutturazione interna del sito con o senza cambio di dominio), in questi casi c'è modo di gestire la cosa?--151.42.106.17 (msg) 08:54, 8 mag 2017 (CEST)
• Ovviamente a favore.--Moroboshi ^scrivimi 09:49, 8 mag 2017 (CEST)
• Favorevole --Lepido (msg) 09:59, 8 mag 2017 (CEST)
• Favorevole visto il collaudo già effettuato altrove. OT: questa piaga dei link rotti potrebbe essere notevolmente ridotta inserendo da subito un collegamento ad una versione archiviata, nel momento della stesura di una voce, facendo quindi risparmiare risorse. --Umberto NURS (msg) 11:50, 8 mag 2017 (CEST)
• Favorevole Era ora --Una giornata uggiosa '94 · E poi, di che parliamo? 12:51, 8 mag 2017 (CEST)
• Favorevole e appoggio anche l'OT di Umberto NURS. ƒringio · ✉ 17:57, 8 mag 2017 (CEST)
• Favorevole--NewDataB (msg) 18:31, 8 mag 2017 (CEST)
• Assolutamente Favorevole, molto utile.--Daimona Eaytoy (Scrivimi!) 19:21, 8 mag 2017 (CEST)
• Favorevole senza dubbi!!! --Epìdosis 20:50, 8 mag 2017 (CEST)
• Fortemente favorevole. Uno strumento in più per combattere il diffuso fenomeno dei link non più funzionanti.--Celastro (msg) 22:25, 8 mag 2017 (CEST)
• non ho capito se si integra bene con i nostri template (ad esempio compilando almeno parametri come "urlarchivio" o evitando di sostituire l'intero url con un puntamento secco a Web Archive), nel caso Favorevole. --valepert 23:20, 8 mag 2017 (CEST)

  Gli ho già chiesto su phabricator e dice che tiene conto anche di questi nel codice del bot. In settimana vedo di preparare uno schema di questi parametri per i template di citazione principali.--Moroboshi ^scrivimi 23:48, 8 mag 2017 (CEST)

  pollici in alto allora! :D --valepert 00:03, 9 mag 2017 (CEST)

• Certamente Favorevole, voglio però sottolineare l'osservazione già fatta dall'IP 151.42....: è capitato spesso anche a me di scoprire che un link morto era dovuto "solo" a un problema di ristrutturazione del sito, per cui la pagina non era stata rimossa ma solo spostata sotto un altro url. Se il bot riuscisse a scovare il nuovo url sostituendolo a quello morto prima di fare ricorso a Webarchive sarebbe fantastico, ma sono assai dubbioso riguardo la fattibilità. --Er Cicero 04:36, 9 mag 2017 (CEST)

  Questa la vedo dura, dura, dura, dura, ma si può anche chiedere al botolatore. :-) Sicuramente è estremamente interessante il fatto che il bot possa avvertire sia in pagina di discussione della pagina, sia nella pagina di discussione dell'utente che aveva inserito il link. Personalmente abiliterei entrambe le funzioni di default, perché aiutano a fare a mano proprio questo genere di controlli. Bisogna poi aggiungere qualche parametro agli attuali template, ed eventualmente qualche template nuovo, ma mi pare ne valga la pena. ;) --Lucas ✉ 06:21, 9 mag 2017 (CEST)

  Ho appena fatto un paio di test e sono abbastanza entusiasta. :-) Qui mi ha sistemato un link rotto sulla voce di Paolo Borsellino; qui mi ha sistemato un link rotto nella voce su Giovanni Falcone, in realtà il sito aveva cambiato dominio (passando da .com a .info, ma questa è una informazione che un bot dovrebbe andarsi a cercare su google se non c'è un Code 302 di redirect), ma mi ha salvato in ogni caso la fonte (e con un avvertimento nella talk avrei potuto farlo senza difficoltà). Molto soddisfatto, anche perché l'amico bot aveva lasciato in pagina di discussione un avviso poche settimane prima per altre modifiche. --Lucas ✉ 08:01, 9 mag 2017 (CEST)

• Favorevole: da anni lo seguo nella Wikipedia in inglese e piú fa meglio è (mw:Archived Pages). Preferisco le modifiche dirette alle voci, rispetto alle segnalazioni in pagina di discussione. Nemo 10:04, 9 mag 2017 (CEST)

  Concordo, senza dubbio, io intendevo di fare tutte le cose: modifiche dirette e segnalazioni sia in pagina di discussione delle voce (come avviene anche su en.wiki), sia nella pagina di discussione utente che l'ha inserito. Lo sto testando per bene su en.wiki. E' molto interessante e funziona molto bene. Direi da implementare senza dubbio. Vero ciò che dice Er Cicero, moltissimi contenuti con link rotto sarebbero reperibili a indirizzi leggermente diversi da cercare su google, comunque meglio un link alla pagina di archivio che un link rotto. Un essere umano può sempre cercare di nuovo il contenuto, se lo desidera. C'è anche qualche falso positivo (ne ho segnalati quattro o cinque su varie centinaia testati), ma la percentuale in effetti è bassa. Tool molto affidabile e utile. --Lucas ✉ 11:04, 9 mag 2017 (CEST)

  Potremmo decidere una serie di archivi che ci paiono adatti, oltre all'archive.org, e al webcitations, so che l'archive.is è stato spammato pesantemente su tutte le wiki, ma per certe cose è insostituibile. Li terrei in considerazione tutti. --Lucas ✉ 11:06, 9 mag 2017 (CEST)

• Favorevole sono commosso, è venuto lui da noi a chiederci pure il permesso. Fatelo santo!--Sakretsu (炸裂) 15:09, 9 mag 2017 (CEST)

  non per smorzare gli entusiasmi ma il buon Cyberpower678 è stato pagato per lo sviluppo del bot. :-)) Comunque un po' di santità ci sta lo stesso vista l'utilità del tool. :-)) Io comunque metterei in preventivo che con un uso così massivo dell'archive.org anche la gente nostrana prima o poi lo scopra e si dovranno trovare soluzioni alternative (come il vituperato archive.is, vituperato perché lo sviluppatore l'ha spammato cross-wiki, ma in certe cose è insostituibile e lo uso da eoni). --Lucas ✉ 10:51, 10 mag 2017 (CEST)

• Favorevole uno strumento molto utile --β₁₆ - (talk) 10:02, 10 mag 2017 (CEST)
• Favorevole --ZioNicco (msg) 13:49, 12 mag 2017 (CEST)

Hello cyberpower678, the Italian community actually agrees with the use of the bot. Do you have any plan/needs? --Lucas ✉ 04:16, 19 mag 2017 (CEST)

There's plenty to do before. If you're following the tracking ticket I'll let you know what's needed, when I'm ready.—CYBERPOWER (msg) 14:43, 19 mag 2017 (CEST)

@cyberpower678, allright it's fine. Yes, I'm following it with a couple of other users. We'll stay in contact through phab. Leave me/us/there a line when you need something. --Lucas ✉ 03:38, 20 mag 2017 (CEST)

Traduzione

InternetArchiveBot parte questa settimana in altre 9 lingue. Serve aiuto per tradurlo in italiano: translatewiki:Special:Translate/internetarchivebot. (Basta registrarsi nella pagina principale, per chi non l'avesse già fatto.) --Nemo 22:00, 6 giu 2017 (CEST)

La pagina del bot rimanda a quella in inglese su meta. Esiste un modo particolare di tradurla o si può creare un profilo locale qui?--Sakretsu (炸裂) 16:17, 6 set 2017 (CEST)

Domanda tecnica

(EN) [@ Cyberpower678] We have a technical question. By now, for indicating a broken url in a citation template we are forced to use aside {{collegamento interrotto}}, often getting something like "Broken url, ANSA, 10 marzo 2017". Here we were talking about the possibility to insert sì ("sì" means "yes") as value for the parameter urlmorto (i.e. deadurl), in such a way to visualize "Broken url, ANSA, 10 marzo 2017" when an archived version is not available. Would this conflict with your bot?

(IT) Attualmente, per indicare un url rotto in un template di citazione siamo costretti ad usare da parte {{collegamento interrotto}}, spesso ottenendo qualcosa come "Link rotto, ANSA, 10 marzo 2017". Qui stavamo discutendo della possibilità di inserire il valore sì per il parametro urlmorto, in modo da visualizzare "Link rotto, ANSA, 10 marzo 2017" quando non è disponibile una versione archiviata. Ci sarebbe qualche conflitto con l'operato del bot? --Horcrux_九十二 11:28, 29 giu 2017 (CEST)

No it will not. I just need to adapt the behavior in this case.—CYBERPOWER (msg) 14:06, 29 giu 2017 (CEST)

Great, thanks. I'll let you know if we will apply the change. --Horcrux_九十二 16:12, 29 giu 2017 (CEST)

[@ Cyberpower678] The edit has been applied. Now, if the parameter urlmorto has a value and this value is different from "no", it means that the url is broken; so, unless there is an archived version for the url, the template {{collegamento interrotto}} will be shown.

Some examples here (the column in the middle is the old standard). --Horcrux_九十二 19:20, 2 set 2017 (CEST)

Implemented.—CYBERPOWER (msg) 21:02, 2 set 2017 (CEST)

[@ Cyberpower678] In this edit the bot deleted the "º" in "1º marzo 2016", while it should have left it there: in italian we need that symbol to mean "first", which is like the "1^st" in english. Could you please check and fix this bug? Many thanks, --Daimona Eaytoy (Scrivimi!) 12:21, 9 set 2017 (CEST)

BTW the bot also added an empty "|5=" which seems to have no meaning. Could you please check it, too? Thanks again --Daimona Eaytoy (Scrivimi!) 12:23, 9 set 2017 (CEST)

The 5= isn't a bug, it's because the template had a double pipe, so it just visualized the empty, unused, parameter. As for dates, I'll take a look as soon as I can.—CYBERPOWER (msg) 13:01, 9 set 2017 (CEST)

[@ Cyberpower678] Alright. I also noticed another bug: in the same diff, inside the same template as the "|5=", there already was a "deadurl=no", then your bot added a "urlmorto=sì", which generated a conflict between the identical parameters. I kindly ask you to also implement a check for pre-existent "deadurl" parameters (and overwrite them with "urlmorto"), since many italian wikipedians use english syntax :-). Thanks, --Daimona Eaytoy (Scrivimi!) 13:09, 9 set 2017 (CEST)

I can check for them, but I won't overwrite them. IABot uses what's already there. To have it start overwriting parameters opens the door to many new problems I do not want to dive into.—CYBERPOWER (msg) 13:10, 10 set 2017 (CEST)

Fixed in v1.5.2—CYBERPOWER (msg) 13:36, 10 set 2017 (CEST)

┌────────────────────────────────────────────────────────────────────────────────────────────────────┘[@ Cyberpower678] That's a wise choice, however in this particular case I think it's not that different from what the bot already does. I mean, the bot added a "urlmorto=sì" to mark the link as dead (which is the right thing), so if he knows for sure that the link is dead he can safely remove any pre-existent "deadurl" or "urlmorto" parameter: they won't be necessary anymore, while potentially generating a conflict like in this case. If this still can't be done, it's enough to skip links with a conflicting parameter already there. Sorry for bothering, thanks. --Daimona Eaytoy (Scrivimi!) 13:44, 10 set 2017 (CEST)

It's able to detect the language being used, but it won't change any existing parameters, again for obvious reasons. IABot will recognize now recognize the English equivalent in the Italian templates.—CYBERPOWER (msg) 13:49, 10 set 2017 (CEST)

[@ Cyberpower678] Sorry for confusion, but the parameter "urlmorto=sì" should be used just when the url is broken and an archived version is not available. Otherwise it is not necessary. If you add an archived URL, that parameter can be just removed. --Horcrux_九十二 19:09, 10 set 2017 (CEST)

Domanda "procedurale"

Da qualche parte abbiamo deciso come gestire le segnalazioni del bot?

• Non si fa nulla o si verificano?
• Ognuno i suoi OS oppure in modo sistematico? (va fatta una pagina all'uopo? con le date? check sui giorni verificati? un po' come col buon vecchio revertBot insomma)
  • in caso di falso positivo si segnala? CHI LO FA? Giusto per evitare millemila segnalazioni sullo stesso url..
  • in caso di falso positivo si fa rollback della modifica? SI/NO
  • una volta sistemato il link si lascia l'avviso in talk della voce? SI/NO

Ho la sensazione che sia il caso di parlare di questi punti (SI/NO :-)) --Civvì (Parliamone...) 08:26, 20 set 2017 (CEST)

Sì, sì, parliamone :-)

Proposte personali:

1. Potendolo fare, sarebbe bello che le modifiche del bot non venissero segnalate come "modifiche bot": personalmente, e non penso di essere il solo, ho nascosto le modifiche bot dagli osservati speciali, quindi praticamente le vedo solo casualmente
2. Una volta sistemato il problema segnalato, si toglie proprio la segnalazione dalla pagina di discussione, come si fa per la richiesta di immagini. --Pil56 (msg) 09:18, 20 set 2017 (CEST)

1. Sono perplesso, se vuoi vedere le modifiche perchè non riattivi semplicemente le modifiche bot ?--Moroboshi ^scrivimi 10:06, 20 set 2017 (CEST)

[@ Moroboshi]: non so tu, ma io ho circa 17.000 voci negli osservati speciali, se lascio visibili le modifiche dei bot e quelle su wikidata le modifiche visibili sono talmente tante che non sono praticamente più controllabili. In ogni caso la mia era semplicemente una domanda, se non si può ovviamente mi arrangerò diversamente. --Pil56 (msg) 10:45, 20 set 2017 (CEST)

"sbottarlo" vorrebbe dire intasare pesantemente la RC (e strumenti correlati). Probabilmente coi nuovi filtri sperimentali c'è la possibilità di filtrare in modo più dettagliato, non ci ho ancora giocato. --Civvì (Parliamone...) 10:47, 20 set 2017 (CEST)

Segnalo la presenza di molti falsi positivi (non so se è il nome giusto): dopo l'intervento di InternetArchiveBot a siti web ufficiali delle diocesi cattoliche, il link rimanda ad una vecchia versione del sito che non corrisponde a quella odierna (per es. Spokane, Superior, Worcester, Tivoli, Victoria in Texas, Menevia, ecc.). Troppe sono le pagine che devo controllare... Non so bene come funzioni la cosa, ma è probabile che venga riconosciuto come url morto, uno che è ancora vivo--Croberto68 (msg) 14:15, 20 set 2017 (CEST)

Puoi linkare un esempio?--Sakretsu (炸裂) 14:18, 20 set 2017 (CEST)

Diocesi di Worcester: attuale e Webarchive - Diocesi di Diocesi di Nashville: attuale e Webarchive (agg. al 1.VIII.2015). All'elenco di prima sono da aggiungere anche i siti web delle diocesi di Reykjavik, Saginaw, Pensacola-Tallahassee, Providence, Paisley, Nashville...--Croberto68 (msg) 14:28, 20 set 2017 (CEST)

[@ Croberto68] Credo che Sakretsu intendesse un esempio di modifica del bot, ma in ogni caso vorrei vederlo io. Così a busso direi che potrebbe essere dovuto all'errata implementazione del parametro urlmorto di cui si parlava sopra.--Daimona Eaytoy (Scrivimi!) 15:15, 20 set 2017 (CEST)

Testando a caso Diocesi di Worcester, Diocesi di Reykjav, Diocesi di Saginaw sono sostituzioni di url puri.--Moroboshi ^scrivimi 15:27, 20 set 2017 (CEST)

Allora forse si tratta davvero di un bug, anche se nel secondo caso la pagina originale restituisce un 404. Per le altre due non trovo spiegazioni.--Daimona Eaytoy (Scrivimi!) 15:30, 20 set 2017 (CEST)

(conflittato) [@ Croberto68] In almeno un caso il bot ha operato correttamente Diocesi_di_Reykjav ha operato correttamente (il vecchio indirizzo http://www.catholica.is/endex.html ) non funziona più (errore 404), il bot ha sostituito con una copia di archivio, pensare che possa indovinare che l'indirizzo sia stato cambiato (http://www.catholica.is/ ), mi pare un po' esagerato.--Moroboshi ^scrivimi 15:34, 20 set 2017 (CEST)

Stamattina io gli ho annullato questa modifica il sito è online e non ha cambiato indirizzo, è semplicemente un po' lento a caricarsi, non so se questo possa influenzare il funzionamento del bot. Ho comunque segnalato il falso positivo. --Civvì (Parliamone...) 15:54, 20 set 2017 (CEST)

Diciamo che il bot ha aiutato in due casi a correggere il link al sito web, ma negli altri casi indicati l'url è identica, eppure ha riconosciuto come un link morto uno che è vivissimo--Croberto68 (msg) 15:56, 20 set 2017 (CEST)

Anche Pensacola-Tallahassee ha la stessa url non riconosciuta. Cmq ho segnalato ankio una decina di casi di falsi positivi.--Croberto68 (msg) 16:00, 20 set 2017 (CEST)

Aggiungo Alexandria-Cornwall, Biloxi, Bismarck, Houma-Thibodaux...--Croberto68 (msg) 16:19, 20 set 2017 (CEST)

Nel caso venga segnalato un errore sistematico, c'è qualche tool per correggere tutti gli errori simili? Ad esempio, cambiare tutti gli url del tipo http://www.regione.abruzzo.it/xcultura/index.asp in http://cultura.regione.abruzzo.it/index.asp come in Museo delle arti di Nocciano? --Pietro (msg) 14:21, 14 ott 2017 (CEST)