Omost Art: Generazione di Immagini AI di Alta Qualità con i Prompt più Brevi

Come Usare Omost Migliori Pratiche e Spiegazioni

Run Omost on Huggingface

Prompt: Little witch in the woods

Prompt: a crowded expo

Prompt: the yellow river

Omost Github Page

Try Omost

⚠️Due to the GPU limitaions of Huggingface, you might only try once or twice here.

Spiegazione di Omos

Omost è un progetto progettato per sfruttare le capacità di codifica dei grandi modelli di linguaggio (LLM) per generare e comporre immagini.

Il nome del progetto, Omost (pronunciato "almost"), riflette il suo scopo: dopo aver utilizzato Omost, la tua immagine è quasi finita.

La "O" sta per "omni" (multi-modale), e "most" significa l'obiettivo di massimizzare le sue capacità.

Come Funziona Omost

Concetto di Base
Omost consente agli LLM di scrivere codice che compone contenuti visivi su una tela virtuale. Questa tela funge da progetto che può essere reso in immagini reali tramite implementazioni specifiche di generatori di immagini. Essenzialmente, Omost agisce come un mediatore tra descrizioni testuali e creazione di contenuti visivi.

Addestramento del Modello
Omost fornisce tre modelli LLM pre-addestrati basati su variazioni di Llama3 e Phi3. Questi modelli sono addestrati utilizzando una combinazione di fonti di dati:

Annotazioni Ground-Truth: Dati da diversi dataset, inclusi Open-Images, che forniscono annotazioni accurate.
Immagini Annotate Automaticamente: Dati estratti annotando automaticamente le immagini.
Ottimizzazione Diretta delle Preferenze (DPO): Dati di rinforzo basati sul fatto che i codici possano essere compilati da Python 3.10 o meno.
Dati di Tuning: Una piccola quantità di dati dalle capacità multi-modali di OpenAI GPT-4o.

Limitazioni di Omost

imitato a tipi specifici di interazioni e scenari.
Richiede risorse computazionali significative.
Dipendenza dalle prestazioni di SDXL.
Potenziali bias presenti nel modello.
Supporto limitato per le lingue non inglesi.
La versione di Huggingface è fortemente censurata; non è possibile generare immagini di celebrità.
Può produrre risultati meno accurati per query complesse o sfumate.

Prompt: 2024 NBA FINAL

A FAILED example. See more examples: Omost Art Blog

Come Distribuire Omost Localmente

Requisiti: 8GB di VRAM Nvidia

Chi Ha Creato Omost

Lvmin Zhang (Lyumin Zhang) è uno studente di dottorato in Informatica presso l'Università di Stanford, sotto la guida del Prof. Maneesh Agrawala dal 2022. In precedenza, è stato assistente di ricerca nel laboratorio del Prof. Tien-Tsin Wong presso l'Università Cinese di Hong Kong dal 2021. Ha collaborato a numerosi progetti interessanti con il Prof. Edgar Simo-Serra. Lvmin ha conseguito la laurea in Ingegneria presso l'Università di Soochow nel 2021, sotto la supervisione del Prof. Yi Ji e del Prof. Chunping Liu.

Gli interessi di ricerca di Lvmin spaziano dall'arte e design computazionale, alla creazione di contenuti interattivi, grafica computerizzata, e elaborazione di immagini e video, con una particolare passione per l'anime. Riflettendo questo entusiasmo, ha fondato il gruppo di ricerca Style2Paints, focalizzato su queste aree. Inoltre, ha sviluppato un software di disegno anime chiamato Style2Paints.

Altri Progetti di Zhang