Wikipedia:Bar/Discussioni/Revision scoring

sistemato da valepert

(testo originale in inglese)

Hello Italian Wikipedia,

I apologize for my complete lack of Italian skills. I would most welcome if my post is translated to Italian.

So computers are very good at crunching numbers. Your average calculator can out smart you in arithmetic. However computers are terrible at pretty much in everything else. Programming computers to under take any task no matter how simple beyond computing tends to be very difficult. This is where Artificial Intelligence comes in. With Artificial Intelligence we teach computers how to solve problems without explicit programming for the solution. This is what we are doing.

We are working on a project called m:Research:Revision scoring as a service which aims to provide quality control Artificial Intelligence infrastructure for Mediawiki and Wikimedia projects. We already have our system implemented and running on Azerbaijani, English, French, Indonesian, Persian, Portuguese, Spanish, Turkish and Vietnamese editions on Wikipedia. We are hoping to adapt our tool to serve Italian language as well as a number of other languages.

We are currently mainly focusing on vandalism detection where we provide an API (m:ORES) that provides scores. We have made an effort to keep our system robust.

The examples I'll provide are based on a machine learning algorithm that was trained to use 20,000 reverted edits. This is kind of modelling is problematic for two reasons. First is, there are non-vandalism related reasons for edits to be reverted such as mistakes from new users, this would develop such an unproductive bias. Second problem would be it lacks the ability to distinguish good faith users from malicious ones. To demonstrate our system I will give three examples from English wikipedia. I have picked these three semi-random.

• Score of 90% diff en:Moncef Mezghanni
  • As visible in the diff, it is clearly something that shouldn't be welcome on English wikipedia. Algorithms confidence also matches my human assessment.
• Score of 75% diff en:Monin
  • When I look at the diff it isn't immediately clear to me if this should be reverted. Detailed look reveals that prior version had more neutral information, but new version at a glance isn't exactly clear cut vandalism, albeit spammy. Algorithms confidence drops just as my human assessment.
• Score of 19% diff en:Curiosity killed the cat, but satisfaction brought it back
  • As visible in the diff this edit clearly improves the article. The algorithms confidence plummets as well. Algorithm is more confident that this edit should NOT be reveted.

We are also working towards a system for article quality where we use existing assessment by en:Wikipedia:Version 1.0 Editorial Teamto train our system. We only have this system on English wikipedia at the moment but we would be more than happy to expand to other language editions. I am uncertain if Italian Wikipedia has a similar quality assessment scale. I have picked 5 random articles to demonstrate this.

• Predicted: Start class (not even assessed) Perm link en:Maidenhead Advertiser
• Predicted: Stub class (actually marked Stub class) Perm link en:Joel Turrill
• Predicted: C class (actually marked stub class) Perm link en:Kajaanin Haka
• Predicted: C class (actually marked C class) Perm link en:Castell Arnallt
• Predicted: Featured class (actually marked Featured article) Perm link en:Hurricane Diane

Typical problem is that humans typically do not re-asses articles over time or articles are never assessed in the first place. Our system circumvents this problem by automating this.

We have already gathered some language features such as bad words and informal words.

We need a localization of en:Wikipedia:Labels serving as our local landing page. After this is done, we would like to start an edit quality campaign where we request the local community to hand code/label ~2000 revisions labeling them productive/damaging and good faith/bad faith. This would be similar to the campaign on English Wikipedia en:Wikipedia:Labels/Edit quality.

After this we will be able to generate scores for revisions that is usable by gadgets such as ScoredRevisions as well as (potentially) tools like huggle. If community desires it, it can even be used to create a local vandalism reversion bot.

So in a nutshell our algorithm relies on community input to support the community. Feel free to ask any questions. Either here, on meta or on IRC on the freenode server and #wikimedia-ai channel where we hang out. You can also reach us at https://github.com/wiki-ai

-- とある白い猫 ^chi? 13:33, 17 ago 2015 (CEST)

traduzione di valepert

Ciao Wikipedia in lingua italiana,

mi scuso per la mia mancanza di conoscenze dell'italiano. Sarebbe gradito se il mio messaggio venisse tradotto in italiano.

I computer sono molto abili a manipolare numeri. La calcolatrice da tavolo è in grado di superarvi in aritmetica. Tuttavia i computer sono terribili in quasi qualsiasi altra cosa. Programmare i computer a risolvere qualunque compito, indipendentemente dalla sua semplicità, al di fuori del calcolo tende ad essere arduo. Qui entra in gioco l'Intelligenza Artificiale. Con l'Intelligenza Artificiale possiamo insegnare ai computer come risolvere problemi senza programmarli esplicitamente per la soluzione. E questo è ciò che stiamo facendo.

Stiamo lavorando ad un progetto chiamato "Revision scoring as a service" (punteggio delle revisioni come servizio) che punta a fornire un controllo di qualità usando l'Intelligenza Artificiale per i progetti Mediawiki e Wikimedia. Abbiamo già implementato il nostro sistema per le versioni in lingua Azero, Inglese, Francese, Indonesiano, Persiano, Portoghese, Spagnolo, Turco e Vietnamita di Wikipedia. Vorremmo adattare il nostro strumento per la lingua italiana e per un certo numero di altre lingue.

Ci stiamo occupando del riconoscimento del vandalismo, fornendo un'API (m:ORES) che produce punteggi. Stiamo facendo uno sforzo per mantenere il sistema robusto.

Gli esempi che seguono sono basati su un algoritmo di machine learning che è stato addestrato utilizzando 20000 modifiche annullate. Questo modello è problematico per due motivi: il primo è che esistono ragioni non legate al vandalismo per annullare le modifiche, come ad esempio gli errori dei nuovi utenti; il secondo è la mancanza dell'abilità di discriminare gli utenti in buona fede dai vandali. Per dimostrare il sistema, offrirò tre esempi tratti da Wikipedia in lingua inglese, scelti in maniera quasi casuale:

• Punteggio del 90% diff en:Moncef Mezghanni
  • Come è visibile dalla diff, la modifica è qualcosa che non dovrebbe essere ammesso su Wikipedia inglese. La confidenza dell'algoritmo corrisponde alla mia valutazione umana.
• Punteggio del 75% diff en:Monin
  • Guardando il diff non è immediatamente chiaro se debba essere annullato. Una verifica accurata rivela che la revisione precedente aveva maggiori informazioni neutrali, ma la nuova versione ad un primo sguardo non sembra un vandalismo. La confidenza dell'algoritmo scende come la mia valutazione.
• Punteggio del 19% diff en:Curiosity killed the cat, but satisfaction brought it back
  • Come è visibile dalla diff, la modifica migliora voce. La confidenza dell'algoritmo precipita. L'algoritmo è molto sicuro del fatto che la modifica NON deve essere annullata.

Stiamo inoltre lavorando ad un sistema per la qualità delle voci che usa valutazioni esistenti fatte dal Editorial Team per addestrare il sistema. Questo sistema è funzionante solo su Wikipedia inglese al momento ma vorremmo espanderlo ad altre edizioni linguistiche. Non mi è chiaro se Wikipedia in italiano ha una simile scala di valutazione. Ho selezionato cinque articoli a caso per dimostrarlo:

• Previsione: Classe iniziale (non valutato) Perm link en:Maidenhead Advertiser
• Previsione: Classe stub (classificato come stub) Perm link en:Joel Turrill
• Previsione: Classe C (classificato come stub) Perm link en:Kajaanin Haka
• Previsione: Classe C (classificato come classe C) Perm link en:Castell Arnallt
• Previsione: Voce di qualità (classificato come Voce di qualità) Perm link en:Hurricane Diane

Problemi tipici dipendono dal fatto che di solito gli umani non rivalutano le voci più volte nel corso del tempo o le voci non vengono mai monitorate. Il nostro sistema tenta di risolvere questo problema automatizzando il processo.

Abbiamo già raccolto alcune caratteristiche della lingua come parole volgari o colloquiali.

Abbiamo bisogno di una localizzazione di en:Wikipedia:Labels che serve come pagina principale locale. In seguito a questo, vorremo iniziare un festival della qualità degli edit dove chiederemo alla comunità locale di etichettare manualmente circa 2000 revisioni secondo i criteri produttiva/dannosa e buona/cattiva fede. Questo processo è simile a quello effettuato su Wikipedia inglese: en:Wikipedia:Labels/Edit quality.

Dopo di ciò saremo in grado di generare punteggi per le revisioni che sono usabili per gadget come ScoredRevisions o con potenziali strumenti come huggle. Se la comunità lo desidera, possiamo creare anche un bot automatico per il rollback dei vandalismi.

Per concludere, l'algoritmo necessità dell'input della comunità. Sentitevi liberi di porre domande qui, su meta o su IRC, sul server freenode nel canale dedicato #wikimedia-ai. È possibile raggiungere i partecipanti del progetto anche su https://github.com/wiki-ai

Hello とある白い猫, welcome here! Nice project, indeed. :-) A couple of questions. What do you mean when you say "We are hoping to adapt our tool to serve Italian language"? Would you like to encourage a debate through the Italian community or just let us know that you are working on it? :) Where should we translate en:Wikipedia:Labels? In your message you cite the Dutch Wikipedia, it's only a copy and paste typo (you meant "Italian Wikipedia"), am I right? Thanks. :) --Lucas ✉ 17:21, 17 ago 2015 (CEST)

(per la localizzazione, vedi qui) -- g · ℵ (msg) 19:53, 17 ago 2015 (CEST)

Hello, Utente:Lucas. Indeed. Corrected the mistake. We would like to encourage debate as well as participation on Wikilabels handcoding. First we need to decide on a name for the project. What would be a good translation of "Wikipedia Labels X" to Italian? Label here is the act of labeling, a bit like this. -- とある白い猫 ^chi? 21:13, 17 ago 2015 (CEST)

Hi とある白い猫, welcome :-) We already use "Etichette" for "labels" (see), so it should be "Etichette wiki"; but, what does "X" stand for? -- g · ℵ (msg) 21:20, 17 ago 2015 (CEST)

we use "etichette" for english tags. possible synonyms are "adesivi" or "targhette". --valepert 21:38, 17 ago 2015 (CEST)

Avevo proposto "marcature", l'importante, come avevo sottolineato qualche mese fa all'utente, è evitare di far confusione con le etichette dell'abusefilter. --Vito (msg) 21:40, 17 ago 2015 (CEST)

dovremmo forse ripensare la traduzione di "tag" con "etichette" e chiamarli "tag" come in originale. "Labels" è "etichette" molto più propriamente :-| -- g · ℵ (msg) 21:45, 17 ago 2015 (CEST)

So x here is something like "Wikipedia labels edit quality". I would encourage if the word does not conflict with something similar on wiki. :) I can help copy content from English Wikipedia in a structured manner so that local community can more quickly translate it. -- とある白い猫 ^chi? 21:59, 17 ago 2015 (CEST)

seems nice. I hope I can help.--Alexmar983 (msg) 01:59, 18 ago 2015 (CEST)

I have the impression that I found on translatewiki some sentences related to this project, is it possibile?--Alexmar983 (msg) 02:03, 18 ago 2015 (CEST)

We haven't been able to utilize translatewiki yet. Wikilabels landing pages are mainly on-wiki text I can copy paste for you. All I need is the localized name. -- とある白い猫 ^chi? 08:49, 18 ago 2015 (CEST)

[← Rientro] avendo provato il gadget stand-alone dove si richiede di mettere appunto "damaging" e "good faith" alle revisioni mostrate, credo che la parola "etichetta" (sebbene sia una traduzione letterale di "label") sia un po' eccessiva dato che, anche nell'attuale uso che adoperiamo dei "tag", c'è una certa flessibilità nel contenuto dei messaggi. qui si tratta, da quello che vedo, di "timbrare" delle revisioni come vandalismo/buona fede. dobbiamo provare ad avviare un sondaggio informale per decidere sul nome da adottare? --valepert 14:50, 18 ago 2015 (CEST)

E' tutta roba di servizio, tanto vale lasciarla in inglese. — Questo commento senza la firma utente è stato inserito da 87.7.41.97 (discussioni · contributi) 11:41, 19 ago 2015‎ (CEST).

[@ Vituzzu, Gianfranco] Possiamo rinominare le etichette di Aiuto:Etichette in Tag? Come diceva Gianfranco label è proprio "etichetta", non possiamo crearci un altro nome. Se lo chiamiamo, per dire, marcatore, e poi viene creato un nuovo servizio "Marker", saremo per una terza volta costretti a tradurlo sbagliato perché marcatore è già occupato per labels (sbagliato), e così via. Non possiamo aggiungere nuovi errori per correggerne di vecchi, correggiamo i vecchi errori. --Rotpunkt (msg) 10:45, 11 dic 2015 (CET)

So any decision on how to proceed with Wikilabels? -- とある白い猫 ^chi? 23:16, 28 ago 2015 (CEST)

Wikilabels localization, final few things

Hello all, we have concluded the older campaigns for English, Portuguese, Persian and Turkish which have concluded recently which was partially why we had this gap. So we are very close in launching the edit quality campaign for this wiki as well. All we need is the translation of the relevant entry on m:Wiki labels/Interface translation and m:Wiki labels/Interface translation/Edit quality. We are very excited to expand our work to include this wiki and can start the campaign as soon as we have the two pages translated. Thanks! -- とある白い猫 ^chi? 19:18, 11 ott 2015 (CEST)

One last thing, one thing we do is we auto label revisions we think are likely good these include revisions that are not reverted in a while and revisions that were made by users with higher access (such as sysop). What user groups aside from sysop are "trusted" on this wiki? User groups I see are: accountcreator, autopatrolled, bot, bureaucrat, checkuser, confirmed, flow-bot, ipblock-exempt, mover, rollbacker, sysop. -- とある白い猫 ^chi? 00:37, 23 ott 2015 (CEST)

trusted groups are "sysop", "checkuser", "bureaucrat" and "rollbacker". --valepert 16:25, 17 nov 2015 (CET)

[@ Beta16], [@ Valepert] Great! I noticed that Italian Wikipedia does not yet have a landing page. Basically what we need is a localization of en:Wikipedia:Labels. I'd be happy to assist in the creation of this page and its sub pages. -- とある白い猫 ^chi? 21:18, 17 nov 2015 (CET)

[@ とある白い猫] we can import as Wikipedia:Label and change the name afterwards? --valepert 21:29, 17 nov 2015 (CET)

[@ とある白い猫, EpochFail] Can we start using Wikipedia:Label as title? --Rotpunkt (msg) 20:45, 22 nov 2015 (CET)

I imported en:Wikipedia:Labels splash page to Wikipedia:Labels. any moves or edits to make the system works are accepted... --valepert 18:27, 2 dic 2015 (CET)

You can give it any name but we would prefer something localized to the Italian Wikipedia community. Name has no impact on the software end but in our experience users tend to avoid projects not in their language. -- とある白い猫 ^chi? 08:38, 10 dic 2015 (CET)

[@ とある白い猫, とある白い猫] It's ok it:Wikipedia:Labels for the title. We have the problem that "tags" was translated as "etichette" (see en:Wikipedia:Tags/it:Aiuto:Etichette) and "etichette" is "labels". So we have to deal with this problem. --Rotpunkt (msg) 09:48, 11 dic 2015 (CET)

Anti-vandalism bot

Let me open a new section for a related subject. Revision scoring tools could be extremely useful for the project together with anti-vandalism bots. I run a bot user here to fulfill various kind of users requests for bot help. Years ago, I tried to ask around how could revision scoring and/or machine learning based anti-vandal bots like Clue Bot NG be imported into it.wiki, and, AFAIK, I got no answers (1 and 2). I didnt insist personally on the matter because I had then to leave Wikipedia for some years. Nowadays, reading this topic made me really happy to help this localization project out and now that we are trying to import some sort of revision scoring on it.wikipedia, I strongly support this initiative.

I would take also a step further: I would support initiatives to bring to it.wikipedia community some anti-vandalism bots based on revision scorings. [@ とある白い猫], you offered us to help in the creation of a local vandalism reversion bot and IMHO - if the community agrees - it is an offer we should accept, because such bots would be in principle far more accurate in detecting vandalism than regexp filters based antivandal bots that it.wp tried an era ago (we have a page about them, it is Wikipedia:Antivandalbot, and it has been displaying a template:update for years...). As usual, running new bots or new bot tasks require community consensus but I suppose that the community would have no problem at least to test the usage of this kind of bots for some months given the accuracy they achieve on other wikis. Toaru shiroi neko, would you help with the creation of such a bot? And all others, would you agree to test such a bot in it.wiki and maybe at the end discuss its approval? Of course, before making such a bot work, we should start a revision scoring service first, but discussing this opportunity is free. :)--Nickanc ♪♫@ 02:44, 18 nov 2015 (CET)

As I already said in another discussion, in summer 2013 I installed and tuned ClueBot NG on my home pc, and I had run it for a couple of months (I modified the bot for creating a local log, without taking any action) and I had excellent results (limited to the fact that I used a small set of preclassified edits). So I also strongly support this initiative. This is the best possible approach for detecting and defeating vandalism. --Rotpunkt (msg) 11:15, 18 nov 2015 (CET)

(Cosa serve? Qualcuno ha provato a parlare con i manutentori su IRC? --Elitre 12:48, 18 nov 2015 (CET))

[@ Elitre] Nel 2011-12 ci provai su IRC ma non ottenni risposte, non l'ho segnalato nell'intervento sopra perché non si può provare. Ad essere onesti, anche se sembrasse un'accusa, Fale aveva iniziato a fare qualcosa di machine learning ispirato a ClueBot NG e forse era in contatto con quel team di bot runners, ma poi la sua lite con la nostra comunità chiuse per sempre quel lavoro, privandoci del suo aiuto. cmq, oggi, diversamente da allora, noto che il codice di Clue Bot NG è su github e dunque ci si può lavorare, ma implementando il revision scoring come propone Toaru shiroi neko, si potrebbero creare bot migliori, non abbisognando di supporti su siti esterni e l'interazione con Media Wiki può essere svolta da tutti gli utenti di wikipedia e non solo dagli admin dei siti esterni ecc.--Nickanc ♪♫@ 16:03, 18 nov 2015 (CET)

@Elitre, quello proposto è un sistema che funziona *come* ClueBot_NG, ma *non* è ClueBot_NG. Come esso, permette di classificare un singolo edit come vandalico o costruttivo, in base a un addestramento precedentemente effettuato. Questo sistema è ancora meglio, perché ClueBot_NG funzionava solo per enwiki e l'addestramento andava fatto attraverso un sito esterno apposito, mentre ora sarebbe integrato in MediaWiki stesso, e quindi disponibile per tutte le wiki che vorranno abilitarlo. --Rotpunkt (msg) 12:58, 18 nov 2015 (CET)

Io avevo capito da questi ultimi due interventi che nel frattempo interessava avere anche Cluebot. Dietro Rev Score c'è un mio collega, che avevo già cercato in passato di mettere in contatto con qualcuno qui che era interessato a Snuggle (non so cosa ne sia stato cmq). --Elitre 17:14, 18 nov 2015 (CET)

Hello, could I ask for the localization of en:Wikipedia:Labels on Italian Wikipedia? -- とある白い猫 ^chi? 08:06, 3 dic 2015 (CET)

[@ とある白い猫, とある白い猫] Hi, we have created it:Wikipedia:Labels. Could you enable it? In the meantime we will translate the page content. --Rotpunkt (msg) 12:12, 3 dic 2015 (CET)

Un aggiornamento su ORES

Ciao a tutti. A nome del team revision scoring, annuncio una svolta significativa nel nostro lavoro per democratizzare sistemi efficienti di controllo qualità e di gestione per i progetti Wikimedia. Abbiamo aggiunto un supporto di base al nostro modello "reverted" (quanto è probabile che sia necessario annullare questo edit?) per 14 wiki in 13 lingue, inclusa it.wiki. (Abbiamo anche esteso il supporto per il modello "wp10" su Wikipedia in inglese e francese.) Vorremmo invitarvi (in particolare gli sviluppatori di gadget) a testare il servizio e considerare di usarlo nel vostro prossimo progetto. en:WP:Huggle ha già adottato ORES e ci sono una serie di tool e user scripts disponibili che fanno uso delle nostre predizioni.

Attenzione: Questi modelli di machine learning aiuteranno a trovare edit dannosi e a valutare la qualità delle voci, ma sono intrinsecamente imperfetti. Commetteranno degli errori.Per favore, fate attenzione e tenetelo ben presente. Vogliamo imparare da questi errori per migliorare il sistema e ridurre i pregiudizi che i modelli hanno appreso. Per favore, riportate ogni falso positivo interessante e fateci sapere di eventuali tendenze che cogliete negli errori che ORES compie.

Vedi anche:

• Objective Revision Evaluation Service -- documentazione API
• Revision scoring as a service -- il team
• #wikimedia-ai^connect -- la chat
• phabricator.wikimedia.org/tag/revscoring/ -- la board su Phabricator
• la lista delle cose da fare per it.wiki

Happy hacking! (with translation help from User:Elitre) --EpochFail (msg) 18:04, 18 nov 2015 (CET)

[@ EpochFail] Ciao, mi sembra che un sistema per testare ORES alla portata di tutti sia attivare uno tool come mw-gadget-ScoredRevisions (trovato nella sezione m:Research:Revision scoring as a service#Tools that use ORES). Per chi vuole provare, basta un piccolissima modifica ai propri script personali (diff). Fatto questo quando si visiterà la pagina Osservati speciali e Ultime modifiche, passando il puntatore del mouse sopra un edit apparirà il punteggio di ORES e alcuni saranno anche colorati. A una prima occhiata mi sembra di vedere molti falsi positivi. Sarebbe interessante sapere in cosa possiamo contribuire per migliorare i risultati. --Rotpunkt (msg) 21:12, 18 nov 2015 (CET)

Riportarli al link indicato è un inizio. Altri passi su meta, se fosse sfuggito il link. --Elitre 12:22, 19 nov 2015 (CET)

[@ Elitre]. Ok. Ho fatto dello script ScoredRevisions di He7d3r un accessorio in preferenze/accessori, nella sezione Patrolling, in questo modo non c'è neanche la fatica di doversi modificare uno script personale. Segnalo anche al Progetto:Patrolling, che saranno certamente interessati a usarlo. --Rotpunkt (msg) 13:33, 19 nov 2015 (CET)

See also Special:PermaLink/76737786#Scores, where I posted a table showing unreverted revisions with the highest "reverted" scores for this wiki. It might help users on patrolling old revisions, or to detect false positives for the current model. Helder 19:29, 21 nov 2015 (CET)

Ulteriore aggiornamento (marzo 2016)

Ciao, avete notato Discussioni_Wikipedia:Labels/Tipologia_degli_edit#Campagna_pilota_di_etichettatura? (il Bar è mezzo rotto, quindi la risposta potrebbe essere no :/ ). Grazie! --Elitre (WMF) (msg) 17:37, 16 mar 2016 (CET)