sen Jälkeen, kun tiedot tutkija on valinnut kohde-muuttuja – esimerkiksi ”sarakkeessa” taulukkolaskenta he haluavat ennustaa, ja valmistunut opiskelija muuttaa data ja rakentaa malli, yksi viimeisiä vaiheita on arvioida mallin suorituskykyä.
Sekavuus Matrix
Valitsemalla suoritusarvot riippuu usein yrityksen ongelma on ratkaistu., Sanotaan sinulla on 100 esimerkkejä oman datajoukon, ja olet syöttää jokainen malli ja sai luokitus. Ennustettu vs. todellinen luokittelu voidaan kartoittaa taulukossa, kutsutaan sekavuus matrix.,0
Negatiivinen (ennustettu) | Positiivinen (ennustettu) | |
---|---|---|
Negatiivinen (todellinen) | 98 | 0 |
Positiivinen (varsinainen) | 1 | 1 |
– yllä Oleva taulukko kuvaa tuotos negatiivinen vs. positiivinen. Nämä kaksi lopputulosta ovat kunkin esimerkin ”luokat”., Koska luokkia on vain kaksi, sekamatriisin tuottamiseen käytettävää mallia voidaan kuvata binääriluokittelijaksi. (Esimerkki binääriluokittelijasta: roskapostin havaitseminen. Kaikki sähköpostit ovat roskapostia tai eivät roskapostia, aivan kuten kaikki ruoka on hot dog tai ei Hot dog.)
paremmin tulkita taulukon, voit myös nähdä sen kannalta tosi positiivisia, totta negatiivit, vääriä positiivisia ja vääriä negatiivisia.,
Negative (predicted) | Positive (predicted) | |
---|---|---|
Negative (actual) | true negative | false positive |
Positive (actual) | false negative | true positive |
Accuracy
Overall, how often is our model correct?,
1
Kuten heuristinen, tai nyrkkisääntö, tarkkuus voi kertoa meille välittömästi, onko malli on koulutettu oikein ja miten se voi suorittaa yleensä. Se ei kuitenkaan anna yksityiskohtaisia tietoja sen soveltamisesta ongelmaan.
ongelma tarkkuuden käyttämisessä pääasiallisena suoritusmittarinasi on se, että se ei toimi hyvin, kun sinulla on vakava luokan epätasapaino. Käytetään dataset sekaannusmatriisi yllä. Sanotaan, että negatiivit ovat normaaleja liiketoimia ja positiiviset ovat petollisia liiketoimia., Tarkkuus kertoo, että olet oikeassa 99% ajasta kaikissa luokissa.
Mutta voimme nähdä, että petos-luokka (positiivinen), olet vain oikein 50% ajasta, mikä tarkoittaa, että olet menossa menettää rahaa. Jos loisit kovan säännön, joka ennustaisi kaikkien tapahtumien olevan normaaleja, olisit oikeassa 98% ajasta. Mutta se ei olisi kovin fiksu malli tai kovin älykäs arviointimittari. Siksi, kun pomosi pyytää sinua kertomaan heille ” kuinka tarkka tuo malli on?”, vastauksesi voi olla: ”se on monimutkaista.,”
paremman vastauksen antamiseksi pitää tietää tarkkuudesta, takaisinkutsusta ja f1-pisteistä.
Opi soveltamaan tekoälyä simulaatioihin ”
tarkkuus
kun malli ennustaa positiivista, kuinka usein se on oikein?
Tarkkuus auttaa, kun kustannukset vääriä positiivisia ovat korkeat. Oletetaan, että ongelma liittyy ihosyövän havaitsemiseen. Jos meillä on malli, joka on hyvin alhainen tarkkuus, niin monet potilaat ovat kertoneet, että he ovat melanooma, ja se sisältää joitakin vääristä diagnooseista. Pelissä on paljon lisätestejä ja stressiä., Kun vääriä positiivisia on liian paljon, tuloksia seuraavat oppivat olemaan välittämättä niistä, kun heitä pommitetaan väärillä hälytyksillä.
Muistaa
Muistaa auttaa, kun kustannukset vääriä negatiivisia on korkea. Entä jos meidän täytyy havaita saapuvat ydinohjukset? Väärällä negatiivilla on tuhoisat seuraukset. Jos tajuat väärin, kuolemme kaikki. Kun vääriä negatiiveja on usein, saat osuman siitä, mitä haluat välttää. Väärä negatiivinen on se, kun päättää olla välittämättä pimeässä metsässä murtautuvan oksan äänestä ja joutuu karhun syömäksi., (Väärä positiivinen, on pysyä koko yön unettomia teltassa kylmä hiki kuunnella jokaisen shuffle metsässä, vain ymmärtää, seuraavana aamuna, että ne äänet on tehty maaorava. Ei hauskaa.) Jos sinulla olisi malli, joka päästäisi vahingossa ydinohjukset sisään, haluaisit heittää ne pois. Jos sinulla olisi malli, joka valvottaisi koko yön maaoravien takia, sinäkin haluaisit heittää sen pois., Jos, kuten useimmat ihmiset, sinun haluavat ei saada syönyt karhu, ja myös jäädä koko yön huolissaan maaorava hälytykset, sitten sinun täytyy optimoida arviointi-metrinen, joka on yhdistetty toimenpide tarkkuus ja muistaa. Kirjoita F1-pisteet…
F1-Pisteet
F1 on yleinen toimenpide malli on tarkkuus, joka yhdistää tarkasti ja muistaa, että outo tapa, että lisäksi ja kertolasku vain sekoittaa kaksi ainekset tehdä erillinen astia kokonaan., Eli hyvä F1-pistemäärä tarkoittaa sitä, että sinulla on alhaiset väärät positiiviset ja alhaiset väärät negatiivit, joten tunnistat oikeat uhkat oikein, eikä vääriä hälytyksiä häiritä. F1-pisteet pidetään täydellinen, kun se on 1
, kun malli on täysin epäonnistunut, kun se on 0
.
muista: kaikki mallit ovat väärässä, mutta osa on hyödyllisiä. Toisin sanoen, kaikki mallit tuottavat joitakin vääriä negatiiveja, joitakin vääriä positiivisia, ja mahdollisesti molempia., Vaikka mallin voi virittää minimoimaan jommankumman, edessä on usein tradeoff, jossa väärien negatiivien väheneminen johtaa väärien positiivien lisääntymiseen tai päinvastoin. Sinun täytyy optimoida suorituskyvyn mittarit, jotka ovat hyödyllisimpiä Oman ongelman.
Alaviitteet
0) ”Confusion matrix” on yksi kaikkein vahingossa runollinen ehdot kaikki matematiikka. Se on sellainen lause, jonka lukee ja sanoo: ”elän sekamatriisissa. Nykyaikaisuuden sekamatriisi. Olemme pinballs pomppii välillä vääriä positiivisia ja vääriä negatiiveja etsimään totuutta.,”
1) helppoon Lateksimuotoiluun, jonka voit kuvakaappata ja upottaa blogikirjoituksiisi, kokeile matematiikkaa.URL.,TMs