Új lapon nyílik meg

34. lecke

Képgeneráló és multimodális modellek: hogyan lesz a szövegből kép?

6 rész1 kódpélda1 ábra
Miről szól ez a lecke?

Egy mondatból pár másodperc alatt fotószerű kép, egy fényképről részletes leírás, egy hangfelvételből szöveg — ezek a multimodális és képgeneráló modellek. Ez a lecke elmagyarázza, hogyan működik a mai képgenerálás alapja, a diffúziós modell (zajból lépésenként kép), hogyan kapcsolódik össze a szöveg és a kép egy közös „jelentéstérben", mire használhatók ezek az eszközök, és milyen jogi, etikai kérdéseket vetnek fel. Egy kis NumPy-programon saját szemeddel látod a „zajosítás" folyamatát.

Amit ebben a leckében megtanulsz
  • Mi az a multimodális modell?
  • A diffúziós modell: zajból kép
  • Mire jók a gyakorlatban?
  • Korlátok: mit ront el még mindig?
  • Jog, etika, hitelesség
  • Hogyan ismerd fel az AI-val készült képet?
Tudnivalók
  • Olvasási idő: kb. 5 perc (a kódok kipróbálásával több)
  • 6 rész · 1 kódpélda
  • A végén gyakorló feladatok ellenőrzik a tudásodat
Kézzel rajzolt, színes jegyzetplakát: Diffúzió: a modell zajból indul, és a leírás irányításával lépésenként rajzolja meg a képet
Diffúzió: a modell zajból indul, és a leírás irányításával lépésenként rajzolja meg a képet.

Rész 1 — Mi az a multimodális modell?

A „modalitás" az adat fajtáját jelenti: szöveg, kép, hang, videó. Az eddigi leckék modelljei többnyire egyféle adattal dolgoztak (a 17. lecke nyelvi modellje szöveggel, a 14b. lecke konvolúciós hálója képekkel). A multimodális modell többféle adatot kezel egyszerre: képet „lát" és szöveggel válaszol róla, vagy szövegből képet készít.

A kulcsötlet a közös jelentéstér. A 17. leckében láttad, hogy az embedding a szavak jelentését vektorként írja le. A multimodális modellek úgy tanulnak, hogy egy kép és a hozzá illő szöveges leírás vektora közel kerüljön egymáshoz. Egy ismert korai példa erre az OpenAI 2021-es CLIP modellje, amelyet több száz millió kép–szöveg páron tanítottak: így a „piros kerékpár" szöveg vektora a piros kerékpárt ábrázoló képek vektorai közelében lesz.

SzéljegyzetHogyan „lát" egy nyelvi modell egy fényképet?

A képet kis négyzetekre (foltokra, „patch"-ekre) bontja, és minden foltból egy vektort készít — ezek a vektorok ugyanúgy kerülnek a Transformer elé, mint a szöveg tokenjei (17. lecke). A modell számára a kép így „vizuális tokenek" sorozata lesz, amelyre a figyelem mechanizmusa ugyanúgy működik.

Rész 2 — A diffúziós modell: zajból kép

A mai képgenerátorok többsége diffúziós modell. Az ötlet meglepően egyszerű, és két irányból áll:

  1. Előre irányú folyamat (tanításkor): fogunk egy valódi képet, és lépésről lépésre egyre több véletlen zajt keverünk hozzá, amíg teljesen felismerhetetlen „hóesés" nem lesz belőle.
  2. Visszafelé irányú folyamat (generáláskor): egy neurális hálót arra tanítunk, hogy egy zajos képről megmondja, mennyi és milyen zajt kell eltávolítani belőle. Ha ezt jól megtanulta, akkor tiszta zajból kiindulva, lépésről lépésre „kitisztít" egy teljesen új képet.

A tanítás tehát ismét a jól ismert séma (12b., 14. lecke): a háló tippel (mennyi a zaj), összevetjük a valódi, általunk hozzáadott zajjal, és a hibát visszaterjesztéssel csökkentjük. A szöveges leírás („egy macska napszemüvegben") a generálás közben irányítja a folyamatot: a háló minden lépésben olyan irányba tisztít, amely a szöveg jelentéséhez illik.

Próbáld ki: így tűnik el egy kép a zajban

Az alábbi program egy 8×8-as „képen" (középen egy fehér négyzet) mutatja meg az előre irányú folyamatot. Minden lépésben egy kis zajt keverünk hozzá, és kiírjuk, mennyire hasonlít még az eredetire.

PYTHON● ● ●
import numpy as np

rng = np.random.default_rng(0)

# Egy 8x8-as "kép": fekete háttér, közepén fehér négyzet (0 = fekete, 1 = fehér)
kep = np.zeros((8, 8))
kep[2:6, 2:6] = 1.0

def rajzol(t):
    return "\n".join("".join("█" if x > 0.5 else "·" for x in sor) for sor in t)

# Előre irányú folyamat: lépésenként egyre több zajt keverünk a képhez
print("0. lépés — az eredeti kép:")
print(rajzol(kep), "\n")

lepesek = [2, 5, 10]
beta = 0.15                        # mennyi zaj jön minden lépésben
x = kep.copy()
for t in range(1, 11):
    zaj = rng.normal(0, 1, kep.shape)
    x = np.sqrt(1 - beta) * x + np.sqrt(beta) * zaj
    if t in lepesek:
        hasonlosag = np.corrcoef(kep.ravel(), x.ravel())[0, 1]
        print(f"{t}. lépés — hasonlóság az eredetihez: {hasonlosag:.2f}")
        print(rajzol(x), "\n")

# A generáló modell ennek a FORDÍTOTTJÁT tanulja meg: a tiszta zajból
# lépésenként kitalálja és eltávolítja a zajt, amíg kép nem lesz belőle.

A kimenetben a négyzet a 2. lépésben még sejthető (hasonlóság kb. 0,56), az 5. lépésben már alig (kb. 0,26), a 10. lépésre pedig gyakorlatilag eltűnik a zajban (kb. 0,11). A diffúziós modell tanulása éppen erről szól: megtanulja ezt a folyamatot visszafelé végigjárni. Egy valódi modell nem 8×8-as, hanem több százezer pixeles képekkel és jellemzően néhány tucat lépéssel dolgozik.

SzéljegyzetMiért nem közvetlenül a pixeleken dolgoznak a nagy modellek?

Mert az túl lassú lenne. A legtöbb modern képgenerátor egy tömörített, kisebb „látens térben" végzi a zajtalanítást (innen a „latent diffusion" név), és csak a végén alakítja vissza az eredményt teljes méretű képpé. Ez nagyságrendekkel csökkenti a számítási igényt.

Rész 3 — Mire jók a gyakorlatban?

FeladatPéldaMire figyelj?
Kép leírása, elemzéseTermékfotó hibáinak felismerése, dokumentum vagy táblázat beolvasása képrőlApró részleteknél (számok, kis betűk) tévedhet — ellenőrizd.
Képgenerálás szövegbőlIllusztráció, hirdetési vázlat, ötletelésSzöveg a képen, kezek, pontos márkaelemek gyakran hibásak.
KépszerkesztésHáttér cseréje, tárgy eltávolítása, kép kibővítéseValós személyekről készült képek módosítása etikai és jogi kérdés.
Hang és beszédBeszédfelismerés, felolvasás, fordítás élőbenHangklónozás: csalásra is használják (32. lecke).
AkadálymentességKépleírás látássérülteknekAz egyik legértékesebb, valós felhasználás.
SzéljegyzetHogyan írj jó képgeneráló promptot?

Ugyanazok az elvek érvényesek, mint a 26. leckében: legyél konkrét. Írd le a témát (mi van a képen), a stílust (fotó, akvarell, vonalrajz), a kompozíciót (közeli, madártávlat), a fényt és hangulatot, és ha fontos, azt is, mi ne legyen rajta. Az első eredmény ritkán tökéletes — a finomítás lépésenként megy.

Rész 4 — Korlátok: mit ront el még mindig?

  • Szöveg a képen: sokat javult, de feliratoknál, címkéknél gyakori a betűhiba.
  • Számolás és térbeli viszonyok: „pontosan hét alma", „a bögre a könyv mögött" — ezeket a modellek gyakran elvétik.
  • Következetesség: ugyanazt a szereplőt több képen át egyformán megjeleníteni külön technikát igényel.
  • Torzítások: a tanítóadatok egyoldalúságai megjelennek a képeken is (például kit ábrázol a modell „orvosként" vagy „mérnökként" — 32. lecke).
  • Képelemzésnél a hallucináció: a modell magabiztosan leírhat olyan részletet is, ami nincs a képen.

Rész 5 — Jog, etika, hitelesség

A képgenerálás körüli viták a 32. leckében részletezett aggályok közül többet is érintenek:

  • Szerzői jog: a modelleket rengeteg, gyakran engedély nélkül gyűjtött képen tanították; a bíróságok eltérően ítélik meg a kérdést (32. lecke, 4. rész). Saját munkánál ellenőrizd a szolgáltató felhasználási feltételeit.
  • Valós személyek: hamis képek, beleegyezés nélküli intim képek („deepfake") komoly károkat okoznak; az EU-ban a digital omnibus ezeket kifejezetten tiltja (27., 32. lecke).
  • Jelölés: az EU AI Act átláthatósági szabályai szerint az AI-val generált vagy manipulált tartalmat jelölni kell. Terjed a tartalom-hitelesítés is (például a C2PA szabvány „tartalom-igazolványai"), amely a kép metaadataiban rögzíti, hogyan készült.
Gyakorlati szabály

Valós, azonosítható emberről soha ne készíts vagy terjessz megtévesztő képet a beleegyezése nélkül — ez etikailag és sok országban jogilag is súlyos. Üzleti célra használt AI-képnél jelöld, hogy AI-val készült.

Rész 6 — Hogyan ismerd fel az AI-val készült képet?

Teljesen biztos módszer nincs, és a modellek fejlődésével egyre nehezebb. Néhány jel mégis segíthet:

  • furcsa részletek: kezek, fogak, ékszerek, szemüvegkeretek, hátterekben elmosódó feliratok;
  • fizikailag lehetetlen árnyékok, tükröződések, szimmetriák;
  • túl „tökéletes", műanyagszerű bőr és fény;
  • a kép eredete: fordított képkereséssel (például Google Lens) nézd meg, honnan származik, és van-e hiteles forrása;
  • tartalom-hitelesítési adatok (C2PA), ha a kép tartalmazza őket.
SzéljegyzetMegbízhatók az „AI-kép-felismerő" oldalak?

Csak korlátozottan: gyakran tévednek mindkét irányba, és egy tömörített, átméretezett kép könnyen megtéveszti őket. Egy ilyen eszköz eredménye jelzés lehet, de bizonyíték nem. A legbiztosabb továbbra is a forrás ellenőrzése.

Összefoglaló táblázat

FogalomMit jelent?
Multimodális modellTöbbféle adatot (szöveg, kép, hang) kezel egyszerre
Közös jelentéstérA kép és a hozzá illő szöveg vektora közel kerül egymáshoz
Diffúziós modellTiszta zajból lépésenként „kitisztított" kép
Látens térTömörített belső ábrázolás, amelyben a generálás gyorsabb
Tartalom-hitelesítés (C2PA)Metaadat arról, hogyan készült egy kép
Gyakorlás

1. Módosítsd a programban a beta értékét 0,05-re, majd 0,4-re. Hogyan változik, milyen gyorsan tűnik el a négyzet?

2. Rajzolj a 8×8-as képre egy másik alakzatot (például egy vízszintes vonalat), és futtasd újra.

3. Írj egy képgeneráló promptot a Rész 3 széljegyzetének öt szempontja szerint egy kitalált termék hirdetéséhez.

4. Keress egy vírusként terjedő képet, és ellenőrizd a Rész 6 módszereivel: mit tudsz meg az eredetéről?

5. Gondold végig: egy kisvállalkozás weboldalán milyen feltételekkel használnál AI-val generált képeket?

Lecke összegzés

A 34. lecke végére érted, mit jelent a multimodális modell és a közös jelentéstér, hogyan hoz létre a diffúziós modell zajból képet, mire használhatók ezek az eszközök, hol hibáznak még, és milyen jogi, etikai szabályokra kell figyelni. Tudod azt is, hogyan ellenőrizd egy gyanús kép eredetét.

Források és további olvasnivaló

A téma alapvető cikkei:
• Ho, Jain, Abbeel: Denoising Diffusion Probabilistic Models (2020) — arxiv.org
• Rombach és mtsai.: Latent Diffusion Models (2022) — arxiv.org
• Radford és mtsai.: CLIP (2021) — arxiv.org
• C2PA — tartalom-hitelesítési szabvány — c2pa.org