X cerca di migliorare la moderazione dei contenuti dopo i problemi con le immagini AI e le bot farm

La moderazione dei contenuti rimane una sfida importante su X, nonostante il proprietario Elon Musk insista sul fatto che le sue Community Notes di crowdsourcing sono la soluzione chiave per combattere i contenuti dannosi.

La settimana scorsa, le immagini generate dall’intelligenza artificiale della cantante Taylor Swift mentre veniva aggredita sessualmente dai fan della NFL hanno guadagnato enorme popolarità su X, raggiungendo oltre 27 milioni di visualizzazioni e 260.000 Mi piaceprima che l’account di origine fosse sospeso.

Secondo quanto riferito, Swift sta ora esplorando un’azione legale contro X e il creatore del contenuto, mentre X, incapace di fermare la diffusione delle immagini, nonostante la sospensione iniziale, ha ora vietato tutte le ricerche di “Taylor Swift” nell’app in risposta.

Il che non è esattamente un grande sostegno all’efficacia del suo approccio Community Notes. E sebbene questo contenuto violi X’s Politica sui media sensibilie verrebbero quindi rimossi indipendentemente dall’emissione delle Community Notes, il fatto che X non sia stato in grado di impedire la diffusione delle immagini suggerisce che la piattaforma potrebbe appoggiarsi troppo al suo approccio di moderazione basato sul crowdsourcing, invece di assumere i suoi propri moderatori dei contenuti.

Che X sta cercando di affrontare. Oggi, X ha annunciato che sta costruendo un nuovo centro di moderazione dei contenuti da 100 persone in Texas, che si concentrerà sui contenuti di abusi sessuali su minori, ma avrà anche il compito di gestire anche altri elementi.

Sembra che questa sia un’ammissione del fatto che non si può fare affidamento su Community Notes per fare tutto il lavoro pesante in questo senso. Ma allo stesso tempo, il nuovo approccio di X “libertà di parola, non portata” è incentrato sul fatto che la sua comunità di utenti dovrebbe essere chi decide cosa è accettabile e cosa non lo è nell’app, e che non dovrebbe esserci un arbitro centrale di decisioni di moderazione, come era avvenuto su Twitter in passato.

Community Notes, almeno in teoria, affronta questo problema, ma chiaramente è necessario fare di più per affrontare la più ampia diffusione di materiale dannoso. Allo stesso tempo, anche le affermazioni di X secondo cui sta sradicando i robot sono state oggetto di maggiore attenzione.

Come riportato da The Guardian, il governo tedesco avrebbe scoperto una vasta rete di bot di origine russa nell’app, che si stavano coordinando per seminare un sentimento anti-ucraino tra gli utenti tedeschi.

Secondo il Guardian:

“Utilizzando software di monitoraggio specializzati, gli esperti hanno scoperto un’enorme scia di post nell’arco di un mese a partire dal 10 dicembre, che equivaleva a un attacco sofisticato e concertato al sostegno di Berlino all’Ucraina. Da circa 50.000 account falsi sono stati inviati più di un milione di post in lingua tedesca, ovvero due al secondo. Il tono travolgente dei messaggi lasciava intendere che il governo di Olaf Scholz stesse trascurando i bisogni dei tedeschi a causa della sua sostegno all’Ucrainasia in termini di armi e aiuti, sia accogliendo più di un milione di rifugiati.“

X ha lavorato per sradicare bot farm di questo tipo utilizzando la “verifica dei pagamenti” come mezzo per garantire che dietro ogni profilo nell’app ci siano persone reali, sia spingendo gli utenti verso il suo programma di verifica X Premium, sia attraverso un nuovo test di una commissione di $ 1 per impegnarsi nell’app.

In teoria, ciò dovrebbe rendere i programmi bot come questo sempre più proibitivi in ​​termini di costi, limitandone così l’uso. Se la tariffa di 1 dollaro fosse stata adottata in Germania, ad esempio (è attualmente in fase di test in Nuova Zelanda e nelle Filippine), l’operazione sarebbe costata 50.000 dollari solo per iniziare.

Anche se, evidentemente, anche questo non è stato l’ostacolo che X aveva sperato, con vari profili di bot verificati che continuano a pubblicare messaggi automatizzati nell’app.

In sostanza, le soluzioni di X per affrontare la moderazione dei contenuti e i bot, i due temi chiave su cui Elon ha ripetutamente affermato come i suoi principali motori nell’evoluzione dell’app, finora non hanno funzionato come previsto. Ciò ha portato alla sfiducia tra i partner pubblicitari e le autorità di regolamentazione e a preoccupazioni più ampie sull’allontanamento della piattaforma dalla moderazione umana.

X ha chiaramente bisogno di migliorare su entrambi i fronti e, come notato, sembra averlo riconosciuto annunciando piani per più moderatori umani. Ma ciò comporta anche un aumento dei costi e, con i margini di X già schiacciati a causa dei principali partner pubblicitari che mettono in pausa le loro campagne, ha del lavoro da fare per mettere i suoi sistemi sulla strada giusta.

La moderazione dei contenuti è una sfida importante per ogni piattaforma e è sempre sembrato improbabile che X riuscisse a selezionare l’80% del proprio team e a mantenere comunque la capacità operativa per controllare questi elementi.

Forse, attraverso un migliore apprendimento automatico, è ancora possibile contenere i costi e migliorare i propri sistemi di monitoraggio. Ma è un’altra sfida per l’app di proprietà di Musk, che potrebbe vedere più utenti e marchi cercare altrove.