OmniGen ialah seni bina model penyebaran baharu yang diperkenalkan oleh Zhiyuan, memfokuskan pada penjanaan imej bersatu. Ia memudahkan aliran kerja penjanaan imej yang kompleks, mengendalikan pelbagai tugasan melalui satu rangka kerja, contohnya penjanaan imej daripada teks, penyuntingan imej dan penjanaan berdasarkan syarat visual. Selain itu, OmniGen merealisasikan pemindahan pengetahuan melalui struktur pembelajaran bersatu, membolehkannya menyesuaikan diri dengan keperluan tugasan dan bidang yang berbeza. Model ini bukan sahaja sangat ringkas dan mudah digunakan, malah mempamerkan fleksibiliti yang kuat dalam bidang penjanaan imej.

Ciri perisian:
Kesatuan: OmniGen mampu mengendalikan pelbagai tugasan penjanaan imej secara bersepadu, termasuk penjanaan imej daripada teks, penjanaan dipacu tema, penyuntingan imej dan penjanaan berdasarkan syarat visual. Inovasinya terletak pada keupayaan menukar tugasan tradisional dalam penglihatan komputer kepada tugasan penjanaan imej, seterusnya menyediakan pengalaman penjanaan imej yang bersepadu.
Kesederhanaan: OmniGen membuang aliran operasi rumit yang biasa pada model lain, tidak memerlukan sokongan pemalam seperti ControlNet dan IP-Adapter, pemprosesan tugasan lebih intuitif. Pengguna boleh menyelesaikan tugasan kompleks melalui arahan yang ringkas, mengurangkan halangan operasi dengan ketara.
Pemindahan pengetahuan: Melalui pembelajaran format bersatu, OmniGen dapat memindahkan pengetahuan antara tugasan berbeza, terutamanya sesuai untuk tugasan atau bidang yang belum pernah dilihat. Dalam proses ini, OmniGen meneroka penggunaan mekanisme "rantaian pemikiran", memberikannya keupayaan penaakulan dan pembelajaran konteks yang lebih fleksibel dalam penjanaan imej.
Fungsi perisian:
Penjanaan imej daripada teks: menjana imej yang sepadan melalui penerangan teks.
Penyuntingan imej: menyunting bahagian atau keseluruhan imej mengikut keperluan pengguna.
Penjanaan watak yang konsisten: mengekalkan penampilan watak yang konsisten dalam beberapa imej.
Penjanaan berdasarkan syarat visual: menjana imej yang memenuhi keperluan tertentu berdasarkan syarat visual (seperti maklumat pose atau tepi).
Keperluan konfigurasi:
Komputer disyorkan memenuhi konfigurasi berikut:
Sistem pengendalian: Windows 10/11 64-bit
Kad grafik: memori video 8G boleh digunakan tetapi kelajuan penjanaan agak perlahan, disyorkan kad grafik NVIDIA dengan memori video melebihi 8G,
CUDA >= 11.8
Keseluruhan pakej selepas diekstrak kira-kira 24.5G, pastikan ruang cakera mencukupi
Jika komputer belum memasang CUDA, boleh lihat tutorial pemasangan:
Cara menyemak jenama, model kad grafik dan memori video:
Buka Pengurus Tugasan
Klik "Prestasi"
Klik "GPU"
Di penjuru kanan atas dapat dilihat model kad grafik, di bawah dapat dilihat saiz memori video

Tutorial penggunaan:
① Muat turun pakej integrasi kemudian ekstrak;
Perhatian: laluan folder dan nama fail (termasuk nama fail audio, imej, video dan lain-lain) tidak boleh mengandungi aksara Cina, jika tidak sebahagian perisian akan melaporkan ralat kerana tidak dapat mengenalinya

② Klik dua kali "Mula Satu Klik.exe", tunggu sebentar dan antara muka operasi akan terbuka secara automatik dalam pelayar

③ Muat naik imej (tidak memuat naik juga boleh), masukkan petunjuk (jika ingin merujuk imej yang dimuat naik dalam petunjuk, format nama imej mesti mengikut format ini dengan ketat <img><|image_i|></img> , jika tidak ia tidak dapat dikenali dan akan melaporkan ralat, i boleh ditukar kepada nombor 1, 2, 3), kemudian laraskan parameter seperti lebar dan tinggi, atau kekalkan tetapan lalai, akhirnya klik hantar, hasil penjanaan akan berada di sebelah kanan

1. Menjana gambar daripada petunjuk
Petunjuk: A curly-haired man in a red shirt is drinking tea.
Terjemahan: Seorang lelaki berambut kerinting yang memakai kemeja merah sedang minum teh.

2. Menjana imej menggunakan satu imej rujukan
Gesaan: The woman in <img><|image_1|></img> waves her hand happily in the crowd.
Terjemahan: Wanita dalam <img><|image_1|></img> melambai tangan dengan gembira dalam orang ramai.

3. Penjanaan berdasarkan pose
Gesaan: Generate a new photo using the following picture and text as conditions: <img><|image_1|><img>
A young boy is sitting on a sofa in the library, holding a book. His hair is neatly combed, and a faint smile plays on his lips, with a few freckles scattered across his cheeks. The library is quiet, with rows of shelves filled with books stretching out behind him.
Terjemahan: Hasilkan imej baharu menggunakan gambar dan teks berikut sebagai syarat: <img><|image_1|></img> Seorang budak lelaki kecil duduk di sofa di perpustakaan sambil memegang sebuah buku. Rambutnya disikat kemas, dan senyuman tipis terukir di bibirnya, dengan beberapa biji jeragat bertaburan di pipinya. Perpustakaan itu sunyi, barisan rak yang penuh dengan buku terbentang di belakangnya.

4. Meletakkan watak daripada dua imej ke dalam satu imej
Gesaan: Two woman are raising fried chicken legs in a bar. A woman is <img><|image_1|></img>. The other woman is <img><|image_2|></img>.
Terjemahan: Dua orang wanita mengangkat kaki ayam goreng di dalam bar. Seorang wanita ialah <img><|image_1|></img>. Wanita yang lain ialah <img><|image_2|></img>.

5. Mengekstrak watak tertentu daripada orang ramai dan meletakkannya ke dalam satu imej
Gesaan: A man and a woman are sitting at a classroom desk. The man is the man with yellow hair in <img><|image_1|></img>. The woman is the woman on the left of <img><|image_2|></img>.
Terjemahan: Seorang lelaki dan seorang wanita duduk di meja sebuah bilik darjah. Lelaki itu ialah lelaki berambut kuning dalam <img><|image_1|></img>. Wanita itu ialah wanita di sebelah kiri <img><|image_2|></img>.

6. Menukar objek dalam imej
Gesaan: <img><|image_1|><img>
Replace the mug with a clear glass filled with sparkling iced cola.
Terjemahan: <img><|image_1|><img>
Tukar cawan itu dengan gelas lutsinar yang dipenuhi kola ais berbuih.

Alamat sumber terbuka
[Alamat rasmi OmniGen]