Lineara diskriminanta analitiko

Lineara diskriminanta analitiko (LDA) kaj la rilata Fiŝista lineara diskriminanto estas uzataj en maŝina lerno por trovi la linearan kombinaĵon de esprimoj kiu plej bone apartigas du aŭ pli multajn klasojn de objektoj aŭ eventoj. La rezultantaj kombinaĵoj povas esti uzataj kiel lineara klasifikilo, aŭ pli kutime en malpligrandiĝo de dimensio antaŭ ol posta klasifiko.

LDA por du klasoj

Konsideru aron de observoj x_j (ankaŭ nomataj kiel esprimoj aŭ mezuroj) por ĉiu specimeno de objekto aŭ evento havanta konatan klason y_j. Ĉi tiu aparta aro de specimenoj estas nomata kiel la trejnada aro.

La klasifika problemo estas tiam trovi bonan antaŭdirilon por la klaso y de iu ajn specimeno (ne bezone de la trejnada aro) de donita nur observado x.

LDA aliras la problemon alprenante, ke la probablodensaj funkcioj $p({\vec {x}}|y=1)$ kaj $p({\vec {x}}|y=0)$ estas ambaŭ normale distribuitaj, kun identaj plenrangaj matricoj de varianco-kunvarianco $\Sigma _{y=0}=\Sigma _{y=1}=\Sigma$ (simila analitiko kiu permesas al la kunvariancoj diferenciĝi estas nomata kiel kvadrata diskriminanta analitiko). Povas esti montrite, ke la postulita probablo $p(y|{\vec {x}})$ estas dependa nur de la skalara produto ${\vec {w}}.{\vec {x}}$ kie

${\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})$

Tio estas, la probablo de tio ke enigo x estas en klaso y estas pure funkcio de ĉi tiu lineara kombinaĵo de la sciata observoj.

Fiŝista lineara diskriminanto

La terminoj fiŝista lineara diskriminanto kaj LDA estas ofte uzataj interŝanĝeble, kvankam Fiŝista originala artikolo La uzo de multaj kriterioj en taksonomiaj problemoj (1936) reale priskribas malmulte malsaman diskriminanton, kiu ne faras iun el la supozoj de LDA kiel normale distribuitaj klasoj aŭ egalaj klasaj kunvariancoj.

Supozu ke du klasoj de observoj havas meznombrojn ${\vec {\mu }}_{y=0},{\vec {\mu }}_{y=1}$ kaj matricojn de varianco-kunvarianco $\Sigma _{y=0},\Sigma _{y=1}$. Tiam la lineara kombinaĵo de esprimiloj ${\vec {w}}.{\vec {x}}$ havas meznombrojn ${\vec {w}}.{\vec {\mu }}_{y=i}$ kaj variancojn ${\vec {w}}^{T}\Sigma _{y=i}{\vec {w}}$ por $i=0,1$. Fiŝisto difinis la apartigon inter ĉi tiuj du distribuoj kiel la rilatumo de la varianco inter la klasoj al la varianco en la klasoj, tiel

$S={\frac {\sigma _{inter}^{2}}{\sigma _{en}^{2}}}={\frac {({\vec {w}}.{\vec {\mu }}_{y=1}-{\vec {w}}.{\vec {\mu }}_{y=0})^{2}}{{\vec {w}}^{T}\Sigma _{y=1}{\vec {w}}+{\vec {w}}^{T}\Sigma _{y=0}{\vec {w}}}}={\frac {({\vec {w}}.({\vec {\mu }}_{y=1}-{\vec {\mu }}_{y=0}))^{2}}{{\vec {w}}^{T}(\Sigma _{y=0}+\Sigma _{y=1}){\vec {w}}}}$

Ĉi tiu mezuro estas, iusence, mezuro de la signalo-al-brua rilatumo por la klasa markilo. Povas esti montrite, ke la maksimuma apartigo okazas kiam

${\vec {w}}=(\Sigma _{y=0}+\Sigma _{y=1})^{-1}({\vec {\mu }}_{y=1}-{\vec {\mu }}_{y=0})$

Se la supozoj de LDA estas kontentigitaj, la pli supra ekvacio estas ekvivalenta al LDA.

Praktika uzo

En praktiko, la klasaj meznombroj kaj kunvariancoj estas ne sciata. Ili povas, tamen, esti pritaksitaj per la trejnada aro. La maksimuma verŝajneca pritakso aŭ la maksimuma aposteriora pritakso povas esti uzata anstataŭ la ĝusta valoro en la pli supraj ekvacioj. Uzante ĉi tiuj taksoj tamen ne nepre donas la plej bonan eblan averaĝan provan eraron, eĉ se la supozoj de normale distribuitaj klasoj estas veraj.

Alia komplikaĵo ĉe apliko de LDA kaj Fiŝista diskriminanto al realaj datumoj okazas ke la kvanto de observataj specimenoj (malsamaj valoroj x) de ĉiu klaso estas ne sufiĉe granda. En ĉi tiu okazo, la kunvarianco ne havas plenan rangon, do ne povas esti inversigitaj. Estas iuj manieroj kion fari. Iu estas per uzo de pseŭdoinverso anstataŭ la kutima matrica inverso kiam en la pli supraj formuloj. Alia estas nomata kiel reguligita diskriminanta analitiko, kiu estas kun artefarita pligrandiĝito de kvanto de specimenoj haveblaj per aldono de blanka bruo al la ekzistantaj specimenoj. Ĉi tiuj novaj specimenoj ne devas esti reale kalkulitaj, ĉar ilia efiko sur la klaso kunvarianco povas esti esprimita kiel

$C_{nova}=C+\sigma ^{2}I$

kie $I$ estas la identa matrico, kaj $\sigma$ estas la kvanto de bruo adiciita, menciita en ĉi tiu ĉirkaŭteksto kiel la reguliga parametro. La valoro de $\sigma$ estas kutime elektita al doni la plej bonajn rezultojn sur kruc-kontrolada aro. La nova valoro de la kunvarianca matrico estas ĉiam inversigebla, kaj povas esti uzata anstataŭ la originala specimena kunvarianco en la pli supraj formuloj.

Ankaŭ, en multaj praktikaj kazoj, linearaj diskriminantoj ne taŭgas. LDA kaj Fiŝista diskriminanto povas esti etenditaj por uzo en ne-lineara klasifiko per la kerna artifiko. Ĉi tie, la originalaj observadoj estas ne-lineare mapitaj en pli alte dimensian spacon. Lineara klasifiko en ĉi tiu nova spaco estas tiam ekvivalenta al ne-lineara klasifiko en la originala spaco. La plej kutime uzata ekzemplo de ĉi tiu estas la kerna Fiŝista diskriminanto.

LDA povas esti ĝeneraligita al multa diskriminanta analitiko, kie c iĝas kategoria variablo kun N eblaj statoj, anstataŭ nur du. Analoge, se la klaso-kondiĉaj densecoj $p({\vec {x}}|c=i)$ estas normalaj kun la samaj kunvariancoj, la sufiĉa statistiko por $P(c|{\vec {x}})$ estas la valoroj de N projekcioj, kiu estas la subspaco generita per la N meznombroj, afine projekciitaj per la inversa kunvarianca matrico. Ĉi tiuj projekcioj povas troviĝi per solvo de ĝeneraligita ajgena problemo, kie la numeratoro estas la kunvarianca matrico formita per traktado de la meznombroj kiel la specimenoj, kaj la denominatoro estas la komunigita kunvarianca matrico.

Aplikoj

Fiŝista lineara diskriminanto kaj LDA estas uzataj en iuj klasifikaj kaj rilatantaj aplikoj. Unu el ĉi tiuj estas rekonado de vizaĝo kie ĉiu vizaĝo, kiu konsistas el granda kvanto da rastrumeroj, estas reduktita al pli malgranda aro de linearaj kombinaĵoj antaŭ ol al klasifiko. La linearaj kombinaĵoj ricevitaj uzante Fiŝistan linearan diskriminanton estas nomata kiel Fiŝistaj vizaĝoj, dum tiuj ricevitaj uzante la rilatan ĉefan komponantan analitikon estas nomataj kiel ajgenaj vizaĝoj.

Vidu ankaŭ

• Decida arbo
• Datuma minado
• Lineara klasifiko
• Maŝina lerno
• Statistiko

Referencoj

• Ŝablona Klasifiko (2-a red.), R.O. Duda, P.E. Hart, D.H. Stork, Wiley Interscience, (2000). ISBN 0-471-05669-3
• Fisher, R.A. La uzo de multaj mezuroj en taksonomiaj problemoj. Analoj de Eugenics, 7: 179-188 (1936) pdf dosiero Arkivigite je 2005-11-03 per la retarkivo Wayback Machine
• Friedman, J.H. Reguligita Diskriminanta Analitiko. Ĵurnalo de la Amerika Statistika Asocio, (1989) pdf dosiero
• Mika, S. et al. Fiŝista Diskriminanta Analitiko kun (Kernoj, Kernas). IEEE Konferenco pro neŭronaj retoj por signala procezado IX, (1999) dosiero Arkivigite je 2003-03-28 per la retarkivo Wayback Machine

Eksteraj ligiloj

• Studoj pri LDA de msstate.edu Arkivigite je 2004-07-01 per la retarkivo Wayback Machine
• LDA studoj per Ms Excel