Miután adatok tudós választott cél változó – pl. az “oszlop” egy táblázatkezelő kívánnak megjósolni, – kitöltött előfeltétele az átalakuló adatok, valamint az épület egy modell, az utolsó lépések értékelése a modell teljesítményét.
Confusion Matrix
a teljesítménymutató kiválasztása gyakran a megoldandó üzleti problémától függ., Tegyük fel, hogy 100 példa van az adatkészletedben, és mindegyiket megadtad a modellednek, és megkaptad a besorolást. Az előre jelzett vs. tényleges besorolás lehet ábrázolni egy táblázatban az úgynevezett zavart mátrix.,0
Negatív (becsült) | Pozitív (becsült) | |
---|---|---|
Negatív (általában) | 98 | 0 |
Pozitív (általában) | 1 | 1 |
A fenti táblázat ismerteti teljesítménye negatív kontra pozitív. Ez a két eredmény az egyes példák “osztályai”., Mivel csak két osztály létezik, a zavart mátrix létrehozásához használt modell bináris osztályozóként írható le. (Példa egy bináris osztályozó: spam felismerés. Minden e-mail spam vagy nem spam, ugyanúgy, mint minden étel hot dog vagy nem hot dog.)
a táblázat jobb értelmezéséhez láthatjuk azt is, hogy valódi pozitív, igaz negatív, hamis pozitív és hamis negatív.,
Negative (predicted) | Positive (predicted) | |
---|---|---|
Negative (actual) | true negative | false positive |
Positive (actual) | false negative | true positive |
Accuracy
Overall, how often is our model correct?,
1
heurisztikus vagy hüvelykujjszabályként a pontosság azonnal meg tudja mondani, hogy egy modellt megfelelően képeztek-e ki, és hogyan teljesíthet általában. Azonban nem ad részletes információt a probléma alkalmazására vonatkozóan.
a fő teljesítménymutatóként a pontosság használatának problémája az, hogy nem működik jól, ha súlyos osztály-egyensúlyhiánya van. Használjuk az adatkészletet a fenti zavartmátrixban. Tegyük fel, hogy a negatívok normál tranzakciók, a pozitív pedig csalárd tranzakciók., A pontosság azt fogja mondani, hogy az idő 99% – ában igaza van minden osztályban.
de láthatjuk, hogy a csalási osztály (pozitív) esetében az időnek csak 50% – a van, ami azt jelenti, hogy pénzt veszít. Pokol, ha létrehozott egy kemény szabályt, amely azt jósolja, hogy minden tranzakció normális volt, akkor az idő 98% – ában igaza lenne. De ez nem lenne egy nagyon okos modell, vagy egy nagyon okos értékelési mutató. Ezért, amikor a főnöke arra kéri, hogy mondja el nekik: “mennyire pontos ez a modell?”, a válasz lehet: “ez bonyolult.,”
ahhoz, hogy jobb választ adjunk, tudnunk kell a pontosságról, a visszahívásról és az f1 pontszámokról.
megtanulják, hogyan kell alkalmazni AI szimulációk ”
Precision
amikor a modell jósolja pozitív, milyen gyakran helyes?
a pontosság segít, ha a hamis pozitívok költségei magasak. Tehát tegyük fel, hogy a probléma magában foglalja a bőrrák kimutatását. Ha van egy nagyon alacsony pontosságú modellünk, akkor sok betegnek azt fogják mondani, hogy melanoma van, és ez magában foglal néhány téves diagnózist. Rengeteg extra teszt és stressz forog kockán., Ha a hamis pozitívumok túl magasak, azok, akik figyelik az eredményeket, megtanulják figyelmen kívül hagyni őket, miután hamis riasztásokkal bombázták őket.
visszahívás
visszahívás segít, ha a hamis negatívok költsége magas. Mi van, ha fel kell fedeznünk a bejövő nukleáris rakétákat? A hamis negatívnak pusztító következményei vannak. Ha tévedsz, mind meghalunk. Ha a hamis negatívok gyakoriak, akkor az a dolog, amelyet el akar kerülni. Hamis negatív az, amikor úgy dönt, hogy figyelmen kívül hagyja a sötét erdőben törő gallyak hangját, és egy medve megeszi., (Egy hamis pozitív marad egész éjjel álmatlan a sátorban egy hideg verejték hallgat minden shuffle az erdőben, csak észre másnap reggel, hogy ezeket a hangokat egy mókus. Nem vicces.) Ha lenne egy olyan modelled, amely tévedésből engedte be a nukleáris rakétákat, akkor ki akarnád dobni. Ha lenne egy modelled, ami ébren tart egész éjjel, mert mókusok, akkor azt is ki akarod dobni., Ha, mint a legtöbb ember, akkor inkább nem kap megette a medve, és nem marad fenn egész éjjel aggódik chipmunk riasztások, akkor meg kell, hogy optimalizálja az értékelési mutató, amely egy kombinált intézkedés a pontosság és a visszahívás. Írja be az F1 pontszámot …
F1 pontszám
F1 a modell pontosságának általános mértéke, amely egyesíti a pontosságot és a visszahívást, olyan furcsa módon, hogy a kiegészítés és a szorzás csak két összetevőt keverjen össze, hogy egy külön edényt készítsen., Ez azt jelenti, hogy egy jó F1-es pontszám azt jelenti, hogy alacsony a hamis pozitív és alacsony a hamis negatív, tehát helyesen azonosítja a valódi fenyegetéseket, és nem zavarja a hamis riasztás. Az F1 pontszám akkor tekinthető tökéletesnek, ha 1
, míg a modell teljes hiba, ha 0
.
ne feledje: minden modell rossz, de néhány hasznos. Vagyis minden modell hamis negatívokat, hamis pozitívokat, esetleg mindkettőt generál., Miközben beállíthat egy modellt az egyik vagy a másik minimalizálása érdekében, gyakran szembesül egy kompromisszummal, ahol a hamis negatívok csökkenése a hamis pozitívumok növekedéséhez vezet, vagy fordítva. Optimalizálnia kell azokat a teljesítménymutatókat, amelyek a leghasznosabbak az adott problémához.
Footnotes
0) A” Confusion matrix ” a matematika egyik legszokatlanabb költői kifejezése. Ez az a fajta mondat, amit olvasol, és azt mondod: “zavart mátrixban élek. A modernitás zavart mátrixa. A hamis pozitívok és a hamis negatívok között ugrálunk az igazság keresésére.,”
1) az egyszerű Latex formázáshoz, amit a blogbejegyzéseidbe beágyazhatsz, próbáld ki a matematikát.url.,TMs