La decisione è stata presa da Google dopo che il suo modello di intelligenza artificiale ha creato alcune immagini con informazioni errate su razza, colore della pelle e genere, rispetto alla storia dei padri fondatori americani e dei soldati tedeschi durante l'era nazista.

L'incidente si è verificato quando alcuni utenti hanno chiesto a Gemini di creare immagini di gruppi o personaggi storici, come i padri fondatori degli Stati Uniti. Di conseguenza, l'intelligenza artificiale ha restituito immagini di persone non bianche, il che è un'imprecisione nelle immagini storiche.
Ciò ha portato alcuni a credere che Google eviti deliberatamente di raffigurare persone di razza bianca, andando contro la realtà storica.
The Verge ha condotto un test con Gemini, che includeva il disegno di "un senatore degli Stati Uniti del 1800". Di conseguenza, l'intelligenza artificiale ha creato persone che assomigliavano a donne di colore e nativi americani.

Infatti, la prima senatrice degli Stati Uniti fu una donna bianca nel 1922. Si dice che la visione dell'intelligenza artificiale di Gemini cancellerà sostanzialmente la storia del razzismo e della discriminazione di genere.
Dopo che Google ha disabilitato la capacità di Gemini di generare immagini umane, il sistema ha risposto a tale richiesta con la seguente risposta: "Stiamo lavorando per migliorare la capacità di Gemini di generare immagini umane. Ci auguriamo di ripristinare presto questa funzionalità e vi informeremo quando l'aggiornamento sarà disponibile".
Il modello di intelligenza artificiale per la generazione di testo Gemini (in precedenza Bard) di Google è stato lanciato a febbraio per competere con OpenAI e Copilot di Microsoft. Questo strumento genera una raccolta di immagini in base al contenuto testuale descrittivo dell'utente.