Bónusz · 07. Modul · 23. lecke
Softmax — a valószínűség-gyár
A háló nyers számokat köp ki, nem valószínűségeket. A softmax az a lépés, ami ezekből rendes, 1-re összegződő eséllyé varázsolja őket — pontosan a 19. lecke eloszlását.
Képzeld el, hogy egy képfelismerő háló utolsó rétege három nyers számot ad: [2,0 1,0 0,1] — mondjuk a „macska", „kutya", „autó" mellett. Ezek még nem valószínűségek: nem 0 és 1 közöttiek, és nem adódnak össze 1-re. Hogyan lesz belőlük döntés?
A softmax két lépésben dolgozik, és mindkettőt már ismered:
2. Aztán elosztja mindet az összeggel — ez a 3. lecke normalizálása. Így garantáltan 1-re jönnek ki.

Az eredmény: [66% 24% 10%] — pontosan a 19. lecke eloszlása. A háló kimondja a legvalószínűbbet (macska), de közben „tudja", mennyire biztos benne. A softmax a híd a nyers neuronszámok és az emberi értelemben vett döntés között.
A softmax-nak van egy „hőmérséklet" (temperature) nevű csavarja: alacsony hőmérsékletnél szinte mindig a legvalószínűbb szót választja (kiszámítható válasz), magas hőmérsékletnél jobban kiegyenlíti az esélyeket, és a ritkább szavaknak is nagyobb esélyt ad (változatosabb, kreatívabb válasz). Sok AI-eszközben ezt a paramétert te magad is átállíthatod.
Miért nem simán az összeggel osztunk, minek a hatványozás elsőként? Mert a nyers számok lehetnek negatívak is, és az esély nem lehet negatív. Az e-adik hatvány mindent pozitívvá tesz — és a nagyobb különbségeket felnagyítja, így a „magabiztos" választás tényleg kiemelkedik. A neve is innen ered: „soft-max", vagyis egy lágyabb változata annak, hogy egyszerűen a legnagyobbat választanánk.
Kidolgozott példák
Előbb próbáld meg magad papíron, aztán nyisd le a lépésenkénti megoldást, és vesd össze a sajátoddal.
Példa 1 · Számold ki a softmaxot az [1, 0, 0] bemenetre (e ≈ 2,718).
2. Összeg: 2,718 + 1 + 1 = 4,718.
3. Osztás: 2,718 : 4,718 ≈ 0,576; 1 : 4,718 ≈ 0,212; 0,212.
Eredmény: [0,576; 0,212; 0,212], összegük 1. ✔
Példa 2 · Mi lesz a softmax kimenete, ha az előző bemenet minden eleméhez 5-öt adunk: [6, 5, 5]?
2. Az osztásnál minden tagban ott van az e⁵ szorzó — a számlálóban és a nevezőben is —, így kiesik.
Az eredmény ugyanaz: [0,576; 0,212; 0,212]. A softmax csak a bemenetek különbségeit „látja", az eltolást nem. ✔
Gondolatkísérlet: ha a nyers számok [5,0 0,0 0,0] lennének (egy nagyon „magabiztos" háló), szerinted a softmax után az első esély közelebb lenne a 90%-hoz vagy az 50%-hoz?
Megoldás
Gyakorlatilag minden osztályozó és minden nyelvi modell a softmaxszal zárul. Amikor egy nyelvi modell (pl. a ChatGPT vagy a Claude) a következő szót választja, a softmax adja meg minden lehetséges szó esélyét — több tízezer szóra egyszerre —, és ebből az eloszlásból „húz". A softmax nélkül a gép nyers, értelmezhetetlen számokat adna válasz helyett.