Classificador lineal

En el camp de l'aprenentatge automàtic, l'objectiu de la classificació estadística és utilitzar les característiques d'un objecte per identificar a quina classe (o grup) pertany.^[1] Un classificador lineal ho aconsegueix prenent una decisió de classificació basada en el valor d'una combinació lineal de les característiques. Les característiques d'un objecte també es coneixen com a valors de característiques i normalment es presenten a la màquina en un vector anomenat vector de característiques. Aquests classificadors funcionen bé per a problemes pràctics com la classificació de documents i, en general, per a problemes amb moltes variables (característiques), assolint nivells de precisió comparables als classificadors no lineals alhora que triguen menys temps per entrenar-los i utilitzar-los.^[2]

Si el vector de característiques d'entrada al classificador és un vector real ${\displaystyle {\vec {x}}}$, aleshores la puntuació de sortida és

${\displaystyle y=f({\vec {w}}\cdot {\vec {x}})=f\left(\sum _{j}w_{j}x_{j}\right),}$

on ${\displaystyle {\vec {w}}}$ és un vector real de pesos i f és una funció que converteix el producte escalar dels dos vectors en la sortida desitjada. (En altres paraules, ${\displaystyle {\vec {w}}}$ és un mapeig funcional lineal o d'una forma ${\displaystyle {\vec {x}}}$ a R). El vector pes ${\displaystyle {\vec {w}}}$ s'aprèn d'un conjunt de mostres d'entrenament etiquetades. Sovint f és una funció llindar, que mapeja tots els valors de ${\displaystyle {\vec {w}}\cdot {\vec {x}}}$ per sobre d'un determinat llindar a la primera classe i tots els altres valors a la segona classe; per exemple,

${\displaystyle f(\mathbf {x} )={\begin{cases}1&{\text{if }}\ \mathbf {w} ^{T}\cdot \mathbf {x} >\theta ,\\0&{\text{otherwise}}\end{cases}}}$

El superíndex T indica la transposició i ${\displaystyle \theta }$ és un llindar escalar. Una f més complexa podria donar la probabilitat que un element pertanyi a una classe determinada.^[3]

Hi ha dues grans classes de mètodes per determinar els paràmetres d'un classificador lineal ${\displaystyle {\vec {w}}}$. Poden ser models generatius i discriminatius.^[4][5] Els mètodes de la distribució de probabilitat conjunta del primer model, mentre que els mètodes de l'últim model funcionen de densitat condicional ${\displaystyle P({\rm {class}}|{\vec {x}})}$. Alguns exemples d'aquests algorismes inclouen:

• Anàlisi discriminant lineal (LDA): suposa models gaussians de densitat condicional.
• Classificador de Bayes primari amb models d'esdeveniments de Bernoulli multinomials o multivariants.