Modelle neu lernen zu lassen ist sehr aufwendig. Nach Firmenangaben kostet es extrem viel Rechenzeit, Geld und braucht einen riesigen Haufen an Hardware um ein solches Modell wie FluxDev zu erzeugen. Das schliesst (zumindest z.Z.) aus, sich mit so etwas zu befassen.
Schlaue Köpfe haben aber herausgefunden, dass man gar nicht unbedingt das ganze Modell neu lernen lassen muss. Wie ich es verstanden habe, reicht es wenn zu den Gewichtungen des LLMs eine oberste neue Schicht gelernt und hinzugefügt wird.
Mithilfe von LoRAs (Low-Rank Adaptation) ist man in der Lage die LLMs dann Bilder mit bestimmten Stilen, Charakteren oder Szenen erzeugen zu lassen.
Soweit die Theorie.
Hier die Praxis:
Zunächst einmal sollte man das ganze testen. Für Comfyui gibt es ein einfaches Custom Module das sich über den ComfyUI Manager nachladen und nutzen lässt. Wir verwenden das Modul ‚Power Lora Loader von rgthree‘. Dieses muss dann entsprechend in den Workflow eingefügt werden, zwischen Modell und Prompt. Danach lassen sich div. heruntergeladene LoRAs von der Festplatte einfach hinzuladen. Viele andere Leute haben bereits (mehr oder weniger sinnvolle) LoRAs erzeugt.
Neben den offenbar besonders beliebten LoRAs für fakes weiblicher Personen, so gibt es doch bei sites wie civit.ai auch einige hilfreiche Tools oder interessante Grafikstile z.B zum Thema Comics