OmniGen è una nuova architettura di modelli diffusivi lanciata da Zhiyuan, dedicata alla generazione unificata di immagini. Semplifica il complesso processo di generazione delle immagini, gestendo vari compiti con un unico framework, come la generazione di immagini da testo, l'editing di immagini e la generazione basata su condizioni visive. Inoltre, OmniGen realizza il trasferimento di conoscenza tramite una struttura di apprendimento unificata, adattandosi a diversi compiti e ambiti. Il modello non solo è altamente semplificato e facile da usare, ma mostra anche una grande flessibilità nel campo della generazione di immagini.

Caratteristiche del software:
Unicità: OmniGen gestisce in modo integrato vari compiti di generazione di immagini, tra cui generazione da testo, generazione guidata dal soggetto, editing di immagini e generazione basata su condizioni visive. La sua innovazione sta nel convertire i compiti tradizionali della computer vision in compiti di generazione di immagini, offrendo un'esperienza di generazione integrata.
Semplicità: OmniGen abbandona i complicati flussi operativi comuni ad altri modelli e non richiede plugin come ControlNet o IP-Adapter, rendendo l'elaborazione dei compiti più intuitiva. Gli utenti possono completare compiti complessi con istruzioni concise, abbassando notevolmente la soglia operativa.
Trasferimento di conoscenza: grazie all'apprendimento in formato unificato, OmniGen può trasferire conoscenza tra compiti diversi, ed è particolarmente adatto a compiti o ambiti mai visti. In questo processo, OmniGen esplora l'applicazione del meccanismo della "catena di pensiero", conferendogli capacità di ragionamento e apprendimento contestuale più flessibili nella generazione di immagini.
Funzioni del software:
Generazione di immagini da testo: genera l'immagine corrispondente tramite una descrizione testuale.
Editing di immagini: modifica parziale o totale dell'immagine in base alle esigenze dell'utente.
Generazione con coerenza dei personaggi: mantiene l'aspetto del personaggio coerente in piu immagini.
Generazione basata su condizioni visive: genera immagini conformi a requisiti specifici in base a condizioni visive (come posa o informazioni sui bordi).
Requisiti di configurazione:
Si consiglia che il computer soddisfi la seguente configurazione:
Sistema operativo: Windows 10/11 a 64 bit
Scheda grafica: con 8G di VRAM è utilizzabile ma la generazione è più lenta; si consiglia una scheda NVIDIA con più di 8G di VRAM,
CUDA >= 11.8
L'intero pacchetto, una volta decompresso, occupa circa 24.5G: lascia sufficiente spazio su disco
Se sul computer non è installato CUDA, puoi consultare il tutorial di installazione:
Come verificare marca, modello e memoria della scheda grafica:
Apri il Task Manager
Clicca su "Prestazioni"
Clicca su "GPU"
In alto a destra puoi vedere il modello della scheda grafica, in basso la dimensione della memoria video

Tutorial d'uso:
1. Dopo aver scaricato il pacchetto integrato, decomprimilo;
Nota: nei percorsi delle cartelle e nei nomi dei file (inclusi nomi di file audio, immagini, video, ecc.) non devono comparire caratteri cinesi, altrimenti alcuni software non li riconoscono e generano errori

2. Fai doppio clic su "Avvio con un clic.exe" e dopo qualche istante si aprirà automaticamente nel browser l'interfaccia operativa

3. Carica un'immagine (puoi anche non caricarla), inserisci il prompt (se nel prompt devi fare riferimento all'immagine caricata, il formato del nome dell'immagine deve seguire rigorosamente questo schema <img><|image_i|></img> , altrimenti non viene riconosciuto e si genera un errore; i può essere sostituito con i numeri 1, 2, 3), poi regola parametri come larghezza e altezza, oppure lascia i valori predefiniti, e infine clicca su invia: il risultato della generazione apparirà a destra

1. Generazione di immagini da prompt
Prompt: A curly-haired man in a red shirt is drinking tea.
Traduzione: un uomo riccio con una camicia rossa sta bevendo il tè.

2. Generazione di immagini con una singola immagine di riferimento
Prompt: La donna in <img><|image_1|></img> saluta felice con la mano tra la folla.
Traduzione: la donna in <img><|image_1|></img> saluta felice con la mano tra la folla.

3. Generazione basata sulla posa
Prompt: Genera una nuova foto usando come condizioni la seguente immagine e il seguente testo: <img><|image_1|><img>
Un ragazzo è seduto su un divano in biblioteca e tiene in mano un libro. I suoi capelli sono ben pettinati e sulle labbra gli si disegna un lieve sorriso, con qualche lentiggine sparsa sulle guance. La biblioteca è silenziosa, con file di scaffali pieni di libri che si allungano dietro di lui.
Traduzione: Genera una nuova immagine usando come condizioni la seguente immagine e il seguente testo: <img><|image_1|></img> Un ragazzo è seduto su un divano in biblioteca e tiene in mano un libro. I suoi capelli sono ben pettinati, sulle labbra gli si disegna un lieve sorriso e sulle guance sono sparse alcune lentiggini. La biblioteca è silenziosa e file di scaffali pieni di libri si allungano dietro di lui.

4. Mettere i personaggi di due immagini in una sola immagine
Prompt: Due donne sollevano cosce di pollo fritte in un bar. Una donna è <img><|image_1|></img>. L'altra donna è <img><|image_2|></img>.
Traduzione: due donne sollevano cosce di pollo fritte in un bar. Una donna è <img><|image_1|></img>. L'altra donna è <img><|image_2|></img>.

5. Estrarre una persona specifica dalla folla e inserirla in un'immagine
Prompt: Un uomo e una donna sono seduti al banco di un'aula. L'uomo è l'uomo dai capelli gialli in <img><|image_1|></img>. La donna è la donna a sinistra di <img><|image_2|></img>.
Traduzione: un uomo e una donna sono seduti a un tavolo d'aula. L'uomo è l'uomo dai capelli gialli in <img><|image_1|></img>. La donna è la donna a sinistra di <img><|image_2|></img>.

6. Modificare un oggetto nell'immagine
Prompt: <img><|image_1|><img>
Sostituisci la tazza con un bicchiere trasparente riempito di cola ghiacciata frizzante.
Traduzione: <img><|image_1|><img>
Sostituisci la tazza con un bicchiere trasparente riempito di cola ghiacciata frizzante.

Indirizzo open source
[Indirizzo ufficiale di OmniGen]