OmniGen เป็นสถาปัตยกรรมโมเดลแบบแพร่กระจาย (Diffusion) ใหม่จาก BAAI ที่มุ่งเน้นการสร้างภาพแบบรวมศูนย์ ทำให้กระบวนการสร้างภาพที่ซับซ้อนง่ายขึ้น จัดการงานหลายประเภทในเฟรมเวิร์กเดียว เช่น การสร้างภาพจากข้อความ การแก้ไขภาพ และการสร้างตามเงื่อนไขภาพ นอกจากนี้ OmniGen ยังถ่ายทอดความรู้ผ่านโครงสร้างการเรียนรู้แบบรวม ทำให้ปรับตัวเข้ากับงานและโดเมนที่แตกต่างได้ โมเดลนี้ไม่เพียงเรียบง่ายและใช้งานง่าย แต่ยังแสดงความยืดหยุ่นอันทรงพลังในด้านการสร้างภาพ

คุณสมบัติซอฟต์แวร์:
ความเป็นเอกภาพ: OmniGen จัดการงานสร้างภาพหลายประเภทได้ในหนึ่งเดียว รวมถึงการสร้างภาพจากข้อความ การสร้างตามธีม การแก้ไขภาพ และการสร้างตามเงื่อนไขภาพ จุดสร้างสรรค์อยู่ที่การแปลงงานดั้งเดิมในคอมพิวเตอร์วิทัศน์ให้เป็นงานสร้างภาพ มอบประสบการณ์สร้างภาพแบบครบวงจร
ความเรียบง่าย: OmniGen ทิ้งขั้นตอนการทำงานยุ่งยากที่มีในโมเดลอื่น ไม่ต้องใช้ปลั๊กอินอย่าง ControlNet หรือ IP-Adapter การจัดการงานจึงตรงไปตรงมา ผู้ใช้สั่งงานที่ซับซ้อนได้ด้วยคำสั่งกระชับ ลดกำแพงการใช้งานลงอย่างมาก
การถ่ายทอดความรู้: ผ่านการเรียนรู้ในรูปแบบเดียวกัน OmniGen ถ่ายทอดความรู้ระหว่างงานต่าง ๆ ได้ โดยเฉพาะงานหรือโดเมนที่ไม่เคยเห็น ในกระบวนการนี้ OmniGen สำรวจการประยุกต์ใช้กลไก "Chain of Thought" ทำให้มีความสามารถในการอนุมานและการเรียนรู้ตามบริบทในงานสร้างภาพได้ยืดหยุ่นขึ้น
ฟังก์ชันซอฟต์แวร์:
สร้างภาพจากข้อความ: สร้างภาพที่สอดคล้องจากคำอธิบายข้อความ
แก้ไขภาพ: แก้ไขภาพบางส่วนหรือทั้งหมดตามความต้องการของผู้ใช้
สร้างตัวละครที่สอดคล้องกัน: รักษารูปลักษณ์ของตัวละครให้สอดคล้องกันในหลายภาพ
สร้างตามเงื่อนไขภาพ: สร้างภาพตามเงื่อนไขภาพ (เช่น ท่าทางหรือข้อมูลขอบ) ให้ตรงตามข้อกำหนดเฉพาะ
ข้อกําหนดของระบบ:
แนะนำให้คอมพิวเตอร์มีสเปกดังนี้:
ระบบปฏิบัติการ: Windows 10/11 64 บิต
การ์ดจอ: ใช้หน่วยความจำ 8G ได้แต่สร้างช้า แนะนำการ์ดจอ NVIDIA ที่มีหน่วยความจำ 8G ขึ้นไป
CUDA >= 11.8
แพ็กเกจทั้งหมดเมื่อแตกไฟล์ประมาณ 24.5G ต้องมีพื้นที่ฮาร์ดดิสก์เพียงพอ
หากคอมพิวเตอร์ยังไม่ได้ติดตั้ง CUDA ดูบทสอนติดตั้งได้ที่:
วิธีดูยี่ห้อ รุ่น และหน่วยความจำการ์ดจอ:
เปิด Task Manager
คลิก "Performance"
คลิก "GPU"
มุมขวาบนจะเห็นรุ่นการ์ดจอ ด้านล่างจะเห็นขนาดหน่วยความจำการ์ดจอ

คู่มือการใช้งาน:
① ดาวน์โหลดชุดรวมแล้วแตกไฟล์;
หมายเหตุ: เส้นทางโฟลเดอร์และชื่อไฟล์ (รวมถึงชื่อไฟล์เสียง รูปภาพ วิดีโอ ฯลฯ) ไม่ควรมีอักษรจีน มิฉะนั้นซอฟต์แวร์บางตัวอาจอ่านไม่ได้และเกิดข้อผิดพลาด

② ดับเบิลคลิก "一键启动.exe" รอสักครู่ หน้าจอการใช้งานจะเปิดในเบราว์เซอร์โดยอัตโนมัติ

③ อัปโหลดภาพ (จะไม่อัปโหลดก็ได้) ป้อนพรอมป์ต์ (หากในพรอมป์ต์ต้องอ้างอิงภาพที่อัปโหลด ชื่อไฟล์ภาพต้องอยู่ในรูปแบบ <img><|image_i|></img> อย่างเคร่งครัด มิฉะนั้นจะจำไม่ได้และเกิดข้อผิดพลาด โดย i เปลี่ยนเป็นหมายเลข 1, 2, 3 ได้) จากนั้นปรับพารามิเตอร์เช่นความกว้างความสูง หรือคงค่าเริ่มต้น สุดท้ายคลิกส่ง ผลลัพธ์จะอยู่ทางด้านขวา

1. สร้างภาพจากพรอมป์ต์
พรอมป์ต์: A curly-haired man in a red shirt is drinking tea.
แปล: ชายผมหยิกใส่เสื้อเชิ้ตสีแดงกำลังดื่มชา

2. สร้างภาพจากภาพอ้างอิงภาพเดียว
พรอมต์: The woman in <img><|image_1|></img> waves her hand happily in the crowd.
คำแปล: ผู้หญิงใน <img><|image_1|></img> โบกมืออย่างมีความสุขท่ามกลางฝูงชน

3. การสร้างจากท่าทาง
พรอมต์: Generate a new photo using the following picture and text as conditions: <img><|image_1|><img>
A young boy is sitting on a sofa in the library, holding a book. His hair is neatly combed, and a faint smile plays on his lips, with a few freckles scattered across his cheeks. The library is quiet, with rows of shelves filled with books stretching out behind him.
คำแปล: สร้างภาพใหม่โดยใช้ภาพและข้อความต่อไปนี้เป็นเงื่อนไข: <img><|image_1|></img> เด็กชายคนหนึ่งนั่งอยู่บนโซฟาในห้องสมุด มือถือหนังสือไว้ ผมของเขาหวีเรียบร้อย มีรอยยิ้มจางๆ อยู่ที่มุมปาก และมีกระกระจายอยู่ไม่กี่จุดบนแก้ม ห้องสมุดเงียบสงบ มีชั้นวางหนังสือเป็นแถวๆ เรียงรายอยู่ด้านหลังเขา

4. นำตัวละครจากสองภาพมารวมไว้ในภาพเดียว
พรอมต์: Two woman are raising fried chicken legs in a bar. A woman is <img><|image_1|></img>. The other woman is <img><|image_2|></img>.
คำแปล: ผู้หญิงสองคนกำลังชูขาไก่ทอดในบาร์ ผู้หญิงคนหนึ่งคือ <img><|image_1|></img> ผู้หญิงอีกคนคือ <img><|image_2|></img>

5. ดึงตัวละครเฉพาะออกจากฝูงชนแล้วนำไปวางในภาพเดียว
พรอมต์: A man and a woman are sitting at a classroom desk. The man is the man with yellow hair in <img><|image_1|></img>. The woman is the woman on the left of <img><|image_2|></img>.
คำแปล: ชายคนหนึ่งและหญิงคนหนึ่งนั่งอยู่ที่โต๊ะในห้องเรียน ชายคนนี้คือชายผมสีเหลืองใน <img><|image_1|></img> หญิงคนนี้คือหญิงที่อยู่ทางซ้ายของ <img><|image_2|></img>

6. เปลี่ยนวัตถุในภาพ
พรอมต์: <img><|image_1|><img>
Replace the mug with a clear glass filled with sparkling iced cola.
คำแปล: <img><|image_1|><img>
เปลี่ยนแก้วให้เป็นแก้วใสที่เต็มไปด้วยโคล่าเย็นซ่า

ที่อยู่โปรเจกต์โอเพนซอร์ส
[ที่อยู่ทางการของ OmniGen]