Trasforma una storia in un fumetto con Lore Machine

Dodici anni fa, l'autore Will Douglas Heaven, nel suo tempo libero, scrisse un racconto umoristico su un uomo con la passione per il cibo di lusso per gatti. E ora c'è una piattaforma di intelligenza artificiale generativa chiamata Lore Machine, che ha contribuito a trasformare questa interessante storia in un fumetto.

L'autore inserisce il suo racconto nella casella di testo e riceve un messaggio: " Stiamo identificando scene, luoghi, personaggi ed emozioni. L'operazione potrebbe richiedere fino a 2 minuti ". Lore Machine ha analizzato il testo, ha estratto le descrizioni delle persone e dei luoghi menzionati e ha poi trasmesso tali informazioni a un modello di generazione di immagini.

Sullo schermo appare uno storyboard illustrato. Mentre l'autore sfoglia le vivide illustrazioni a fumetti dei suoi personaggi quasi dimenticati, le cose prendono una piega sorprendente.

Dopo oltre un anno di sviluppo, la Lore Machine ha finalmente fatto il suo debutto pubblico. Per 10 $ al mese, puoi caricare fino a 100.000 parole (fino a 30.000 parole per caricamento) e creare 80 immagini per racconti brevi, sceneggiature, trascrizioni di podcast e altro ancora. Sono disponibili anche livelli per utenti esperti, tra cui un piano aziendale da 160 dollari al mese con 2,24 milioni di parole e 1.792 immagini. Le illustrazioni sono disponibili in vari stili predefiniti, dai manga agli acquerelli, fino ai programmi TV degli anni '80.

Zac Ryder, fondatore dell'agenzia creativa Modern Arts, utilizza una versione early access dello strumento da quando Thobey Campion, fondatore di Lore Machine, gli ha mostrato per la prima volta le sue potenzialità. Ryder inviò al sistema la sceneggiatura di un cortometraggio e Lore Machine la trasformò in un romanzo a fumetti di 16 pagine durante la notte.

"Ricordo che Thobey condivideva il suo schermo. Eravamo tutti completamente sbalorditi", ha detto Ryder. "Non si tratta solo dell'aspetto visivo, ma anche della narrazione: dalla trama alle emozioni dei personaggi, tutto è stato perfetto fin dall'inizio."

Modern Arts sta attualmente utilizzando Lore Machine per sviluppare un universo immaginario per una serie di fumetti, un'opera basata su una sceneggiatura scritta dal creatore di Love, Death & Robots di Netflix .

La Lore Machine è composta da componenti familiari:

• Un modello linguistico di grandi dimensioni (LLM) analizza il testo, identificando le descrizioni di persone, luoghi e il sentimento generale.
• Una versione Stable Diffusion genererà l'immagine.

Ciò che rende Lore Machine diversa, tuttavia, è la sua semplicità d'uso. Bastano pochi clic per caricare il contenuto della storia e scaricare i risultati.

Ciò rende Lore Machine un esempio lampante di una nuova ondata di strumenti: intuitivi, ma che nascondono un'incredibile potenza dietro un'interfaccia web incredibilmente semplice.

"C'è molto lavoro da fare per aggiornare i nuovi strumenti di intelligenza artificiale e le interfacce e i flussi di lavoro sono diversi per ogni strumento ", ha affermato Ben Palmer, CEO di New Computer Corporation, un'azienda di creazione di contenuti. "L'utilizzo di un unico grande strumento con un'interfaccia utente coerente è molto attraente. Credo che sia lì che il settore troverà il suo equilibrio."

Campion ha fondato la società dietro Lore Machine due anni fa per sviluppare una versione blockchain di Wikipedia. Ma quando vide come le persone applicavano i modelli generativi, Campion cambiò direzione. Campion ha utilizzato il modello libero di conversione testo-immagine Midjourney per creare una versione a fumetti di La ballata del vecchio marinaio di Samuel Taylor Coleridge . Ha detto che il suo lavoro è diventato virale, ma che il processo di realizzazione non è stato divertente.

"Mia moglie odiava quel progetto ", ha detto Campion. "Ogni notte resto sveglio fino alle 4 del mattino cercando di rendere le foto perfette ". Il problema è che i modelli di conversione testo-immagine come Midjourney generano le immagini una alla volta. Ciò rende difficile mantenere la coerenza tra le diverse immagini dello stesso personaggio. Anche fissare uno stile specifico su più immagini può risultare complicato.

Questa esperienza gli fece capire che la tecnologia doveva essere molto più facile da usare. Campion non spiega esattamente come Lore Machine riesca a mantenere coerenti le sue immagini e il suo stile in una serie di illustrazioni. È abbastanza buono, ma non perfetto: in una scena del racconto dell'autore, un personaggio con i capelli corti si ritrova improvvisamente con la frangia, e c'è anche una scena in cui un personaggio appare due volte, in un posto diverso.

Anche le illustrazioni assumono gradualmente un aspetto generico. L'autore è rimasto deluso dal fatto che molte delle descrizioni dei personaggi, pur essendo molto specifiche, non venissero mostrate nelle illustrazioni. Tuttavia, rispetto alla realizzazione manuale di ogni fotogramma, la Lore Machine ha rappresentato un enorme passo avanti.

"La coerenza è notevole", afferma Ryder . Ciò diede alla società di Ryder, la Modern Arts, la sicurezza sufficiente per utilizzare la Lore Machine in un progetto con un cliente. " Se dobbiamo costantemente tornare indietro e risolvere problemi di coerenza, non possiamo più rispettare i tempi di consegna . "

Come tutti gli altri modelli generativi, la tecnologia alla base di Lore Machine è in grado di generare contenuti dannosi su richiesta. Campion ha affermato che stavano cercando di impedire la creazione di immagini che raffigurassero violenza o odio, ma allo stesso tempo non volevano limitare l'espressione creativa degli artisti.

Gran parte dell'interesse iniziale per Lore Machine proveniva dalle agenzie di marketing. Ma Campion spera che questa ampia diffusione incoraggi più utenti a provarlo. Campion ha raccontato che sei mesi fa ha ricevuto una chiamata dal preside di una scuola per bambini disabili a Manhattan. Il preside voleva far passare i suoi libri di testo attraverso questo strumento in modo che i bambini potessero vedere le immagini. " Non ci avevo nemmeno pensato. Ero completamente immerso nella mentalità di Hollywood ", ha detto Campion.