Dupa o știință de date a ales o țintă variabile – de exemplu, cu „coloana”, într-o foaie de calcul care doresc pentru a prezice și a finalizat premise de transformare a datelor și construirea unui model, una dintre etapele finale este de a evalua modelul de performanță.
matricea confuziei
alegerea unei valori de performanță depinde adesea de rezolvarea problemei de afaceri., Să presupunem că aveți 100 de exemple în setul dvs. de date și că le-ați alimentat pe fiecare cu modelul dvs. și ați primit o clasificare. Clasificarea prezisă vs. reală poate fi cartografiată într-un tabel numit matrice de confuzie.,0
Negative (prezis) | Pozitiv (prezis) | |
---|---|---|
Negative (reale) | 98 | 0 |
Pozitiv (real) | 1 | 1 |
tabelul De mai sus descrie o ieșire de negativ vs. pozitiv. Aceste două rezultate sunt „clasele” fiecărui exemplu., Deoarece există doar două clase, modelul utilizat pentru a genera matricea de confuzie poate fi descris ca un clasificator binar. (Exemplu de clasificator binar: detectarea spamului. Toate e-mailurile sunt spam sau nu spam, la fel cum toată mâncarea este un hot dog sau nu un hot dog.pentru a interpreta mai bine tabelul, îl puteți vedea și în termeni de pozitive adevărate, negative adevărate, pozitive false și negative false.,
Negative (predicted) | Positive (predicted) | |
---|---|---|
Negative (actual) | true negative | false positive |
Positive (actual) | false negative | true positive |
Accuracy
Overall, how often is our model correct?,
1
ca o euristică, sau regula de degetul mare, precizie ne poate spune imediat dacă un model este instruit corect și cum se poate efectua, în general. Cu toate acestea, nu oferă informații detaliate cu privire la aplicarea sa la problemă.
problema cu utilizarea preciziei ca metrică principală de performanță este că nu se descurcă bine atunci când aveți un dezechilibru sever de clasă. Să folosim setul de date din matricea de confuzie de mai sus. Să presupunem că negativele sunt tranzacții normale, iar cele pozitive sunt tranzacții frauduloase., Precizia vă va spune că ai dreptate 99% din timp în toate clasele.
dar putem vedea că pentru clasa de fraudă (pozitivă), ai dreptate doar 50% din timp, ceea ce înseamnă că vei pierde bani. La naiba, dacă ați creat o regulă greu prezicând că toate tranzacțiile au fost normale, ai avea dreptate 98% din timp. Dar nu ar fi un model foarte inteligent,sau o evaluare foarte inteligentă. De aceea, când șeful tău îți cere să le spui ” cât de precis este acel model?”, răspunsul dvs. ar putea fi: „este complicat.,”
pentru a da un răspuns mai bun, trebuie să știm despre precizie, rechemare și scoruri f1.Aflați cum să aplicați AI la simulări ”
precizie
când modelul prezice pozitiv, cât de des este corect?
precizia ajută atunci când costurile fals pozitive sunt mari. Deci, să presupunem că problema implică detectarea cancerului de piele. Dacă avem un model care are o precizie foarte scăzută, atunci multor pacienți li se va spune că au melanom și care va include unele diagnostice greșite. O mulțime de teste suplimentare și stres sunt în joc., Când fals pozitive sunt prea mari, cei care monitorizează rezultatele vor învăța să le ignore după ce au fost bombardați cu alarme false.
rechemare
rechemarea ajută atunci când costul falselor negative este ridicat. Ce se întâmplă dacă avem nevoie pentru a detecta rachete nucleare de intrare? Un fals negativ are consecințe devastatoare. Dacă greșești, murim cu toții. Când negative false sunt frecvente, te lovit de lucru pe care doriți să evite. Un fals negativ este atunci când decideți să ignorați sunetul unei crenguțe care se rupe într-o pădure întunecată și veți fi mâncat de un urs., (Un fals pozitiv este să stai treaz toată noaptea fără somn în cortul tău într-o transpirație rece ascultând fiecare amestecare din pădure, doar pentru a-ți da seama a doua zi dimineață că acele sunete au fost făcute de o veveriță. Nu e distractiv.) Dacă ați avut un model care a lăsat în rachete nucleare din greșeală, v-ar dori să-l arunce. Dacă ai avea un model care te-a ținut treaz toată noaptea din cauza Veveritelor, ai vrea să-l arunci și tu., Dacă, la fel ca majoritatea oamenilor, preferați să nu vă mâncați de urs și, de asemenea, să nu rămâneți toată noaptea îngrijorați de alarmele cu chipmunk, atunci trebuie să optimizați pentru o valoare de evaluare care este o măsură combinată de precizie și rechemare. Introduceți scorul F1…
scorul F1
F1 este o măsură generală a preciziei unui model care combină precizia și rechemarea, în acest mod ciudat că adăugarea și înmulțirea amestecă doar două ingrediente pentru a face un vas separat cu totul., Adică, un scor bun F1 înseamnă că aveți fals pozitive scăzute și fals negative scăzute, deci identificați corect amenințările reale și nu sunteți deranjați de alarmele false. O F1 scorul este considerat perfect atunci când e 1
, în timp ce modelul este un eșec total atunci când e 0
.amintiți-vă: toate modelele sunt greșite, dar unele sunt utile. Adică, toate modelele vor genera unele fals negative, unele fals pozitive și, eventual, ambele., În timp ce puteți regla un model pentru a minimiza unul sau altul, vă confruntați adesea cu un compromis, unde o scădere a falselor negative duce la o creștere a falselor pozitive sau invers. Va trebui să optimizați valorile de performanță care sunt cele mai utile pentru problema dvs. specifică.
note de subsol
0) „matricea de confuzie” trebuie să fie unul dintre termenii cei mai neintenționat poetici din toată matematica. Este genul de frază pe care o citiți și spuneți: „trăiesc într-o matrice de confuzie. Matricea confuziei modernității. Suntem pinballs viguros între fals pozitive și negative false în căutarea adevărului.,”
1) pentru formatarea Latex ușoară pe care o puteți captura de ecran și încorpora în postările dvs. de blog, încercați matematica.url.,TMs