\documentclass{article}
\usepackage[latin1]{inputenc}
\usepackage[spanish]{babel}
\usepackage{amsmath}
\usepackage{fullpage}
\pagestyle{empty}
\begin{document}
\title{Análisis discriminante}\author{{\sc manadine} -- Análisis de Datos 1}\maketitle
Se trata de una técnica de clasificación supervisada, es decir, en la que el modelo se calcula a partir de muestras que contienen
información de variables independientes para individuos cuya clase o grupo es conocida de antemano.
Se trata de una técnica interpretable, que permite entender por qué cierto individuo se clasifica en determinado grupo, en contraposición
a las técnicas de tipo \emph{caja negra} (como las redes neuronales).

El análisis discriminante puede fundamentarse en dos criterios distintos, que son equivalentes en ciertas condiciones.
\section*{Preliminares}
Supóngase que existen $g$ grupos.
Sea $i$ el índice de grupo, con $i\in\{1,\dots,g\}$. Sea $n_i$ el tamaño muestral del grupo $i$.
Sea $\bf x_{\it ij}$ el vector de valores de las variables independientes
para cierto individuo $j$ perteneciente al grupo $i$; por tanto, $j\in\{1,\dots,n_i\}$.

Sea ${\bf \bar x}_{\it i}=\frac1{n_i}\sum_{j=1}^{n_i}{\bf x}_{ij}$ la media del grupo $i$.

\renewcommand{\Xi}{{\bf X}_{\it i}}
Sea $\Xi$ la matriz de observaciones del grupo $i$, con los individuos por filas y las variables independientes por columnas.
La matriz de covarianzas del grupo $i$ es
$$
{\bf S}_j=\frac{1}{n_i}\Xi {\bf H} \Xi
$$
donde $\bf H=I-J=I-\frac{\rm 1}{\it n_i}11^t$
es una matriz simétrica e idempotente conocida como \emph{matriz de centrado}, porque al premultiplicar $\Xi$ por $\bf H$ el
resultado es que las variables se centran (se les resta la media).
\section*{Criterio de menor distancia de Mahalanobis}
La distancia de Mahalanobis entre el vector $\bf x$ y el grupo $i$ es:
$$D^2 \bf (x, \bar{x}_{\it i}) = (x-\bar{x}_{\it i})^t S_{\it i}^{-1}  (x-\bar{x}_{\it i})$$
donde $\bf S_{\it i}$ es la matriz de covarianzas del grupo $i$ y $\bf \bar x_{\it i}$ es su vector de medias.

Si se supone la igualdad de las matrices de varianzas-covarianzas de los $g$ grupos:

$$D^2 \bf (x, \bar{x}_{\it i}) = (x-\bar{x}_{\it i})^t S^{-1}  (x-\bar{x}_{\it i}) = x^t S^{-1} x
- 2 \bar{x}_{\it i}^t  S^{-1}x +  \bar{x}_{\it i}^t  S^{-1} \bar{x}_{\it i} $$
Como $\bf x^t S^{-1} x $ es igual en todos los grupos se puede
eliminar. Por otra parte, minimizar la anterior expresi\'{o}n equivale
a maximizarla cambiando su signo, es decir, se busca el m\'{a}ximo en
$i$ de
$$ \bf 2  \bar{x}_{\it i}^t  S^{-1} -  \bar{x}_{\it i}^t  S^{-1} \bar{x}_{\it i} =  a^t_{\it i} x -  {\it c}_{\it i} $$
con $ \bf a^t_{\it i} = 2  \bar{x}_{\it i}^t  S^{-1}$ y $\bf {\it c}_{\it i}=  \bar{x}_{\it i}^t  S^{-1} \bar{x}_{\it i}$.
Se trata de las llamadas \emph{funciones de clasificación lineal}.

Dadas la matriz ${\bf A}=({\bf a}_1, \ldots, {\bf a}_g)$ y el vector
$\bf c^t$=$(c_1, \ldots, c_g)$, para obtener las expresiones anteriores para cada individuo hay que calcular la matriz $\bf V$, que
tiene por filas las puntuaciones de cada individuo para los
diferentes grupos.

$$\bf V = X A - 1 c^t$$

El siguiente paso es calcular el m\'{a}ximo de la matriz $\bf A$ por
filas y asignar el individuo correspondiente a la columna (grupo) donde
se alcanza dicho máximo.

\section*{Factor discriminante de Fisher}
En esta técnica se buscan nuevas variables $\bf y$ llamadas \emph{factores} y
definidas como combinaciones de las variables originales centradas que maximicen la separación entre los grupos
respecto a la variabilidad intra-grupos, es decir,
$$
\bf y=Xa
$$
La variabilidad total de la nueva variable $\bf y$ vale:
\begin{eqnarray*}
  \sum_{i=1}^g\sum_{j=1}^{n_i} (y_{ij}-\bar y_{{\cdot}{\cdot}})^2
  &=&
\sum_{i=1}^g\sum_{j=1}^{n_i} (y_{ij}-\bar y_{i{\cdot}})^2 +
      \sum_{i=1}^g\sum_{j=1}^{n_i} (\bar y_{i{\cdot}}-\bar y_{{\cdot}{\cdot}})\\
  &=&\text{variabilidad intra-grupos}+\text{variabilidad entre grupos}
\end{eqnarray*}
En términos matriciales, esto se puede expresar como
$$
\bf
(y-\bar y)^t(y-\bar y) =a^tTa=a^tWa+a^tBa
$$
donde $\bf T=X^tHX$, $\bf W=X^t(I-D)X$, $\bf B=X^t(D-J)X$, con
${\bf J}=\frac1n\bf1_{\it n}1_{\it n}^t$, $n=\sum_{i=1}^{g}n_i$ y
${\bf D}$ es una matriz diagonal por bloques, donde cada bloque contiene una ${\bf J}_i=\frac1{n_i}\bf1_{\it n_i}1_{\it n_i}^t$, con $i=1,\dots,g$.

Se busca el vector $\bf a$ que verifique
$$
\max_{\bf a} \frac{\bf a^tBa}{\bf a^tWa}
$$
Se tiene que
$$
\frac{\bf a^tBa}{\bf a^tWa}
=
\frac{\bf a^tW^{\rm1/2} W^{\rm-1/2}BW^{\rm-1/2} W^{\rm1/2}a}{\bf a^tW^{\rm1/2}W^{\rm1/2}a}
=\frac{\bf a^tW^{\rm1/2}}{\bf\Vert W^{\rm1/2}a\Vert} {\bf W^{\rm-1/2}BW^{\rm-1/2}} \frac{\bf W^{\rm1/2} a}{\bf\Vert W^{\rm1/2}a\Vert}
$$
Con el cambio $\bf b=W^{\rm1/2}a$ se tiene que
$$
\max_{\bf a} \frac{\bf a^tBa}{\bf a^tWa}=
\max_{\bf b} \frac{\bf b^t}{\bf\Vert b\Vert} {\bf W^{\rm-1/2}BW^{\rm-1/2}} \frac{\bf b}{\bf\Vert b\Vert}=
\max_{\Vert\bf b\Vert=1} {\bf b^t} {\bf W^{\rm-1/2}BW^{\rm-1/2}} {\bf b}
$$
El vector unitario $\bf b$ que maximiza esa última expresión es un
vector propio de $\bf W^{\rm-1/2} B W^{\rm-1/2}$ asociado a su mayor
valor propio (véase apéndice). Entonces el vector $\bf a=W^{\rm-1/2}b$
es un vector propio de la matriz $\bf W^{\rm -1}B$ asociado su mayor
valor propio, ya que sus autovalores coinciden con los de
$\bf W^{\rm-1/2} B W^{\rm-1/2}$, pues si $\bf v=W^{\rm-1/2}u$ entonces
$$
\bf
W^{\rm-1/2} B W^{\rm-1/2} u = \lambda u\implies
W^{\rm-1/2} W^{\rm-1/2} B W^{\rm-1/2} u = \lambda W^{\rm-1/2} u\implies W^{\rm-1}Bv=\lambda v
$$

Repitiendo el proceso se obtienen nuevas variables que son ortogonales y conservan de manera óptima la variabilidad entre grupos en un número reducido de dimensiones.
Con estas nuevas variables se hace la clasificación calculando la distancia de un individuo a cada grupo y asignándolo al más próximo.

Para obtener estos factores es necesario hacer los siguientes pasos:
  \begin{enumerate}
  \item Se calculan los valores propios y vectores propios de la
    matriz $\bf W^{\rm -1/2} B W^{\rm -1/2}$.
  \item Se obtiene los cocientes de variaci\'{o}n explicada
    $\dfrac{\sum_{i=1,\dots,q} \lambda_i}{ \sum_{i=1, \dots, g} \lambda_i}$ y se
    elige el n\'{u}mero de factores.
  \item Los vectores soluci\'{o}n son $\bf U= W^{\rm -1/2} V$, donde $\bf V$ son
    los vectores propios calculados previamente.
        \item Se obtiene las puntuaciones factoriales $\bf F=X \,U$
        \item Se calculan las medias de cada grupo en las nuevas variables $\bf F$
   \end{enumerate}
   Para asignar los individuos a los grupos es necesario calcular sus distancias a las medias de los grupos y ver dónde se alcanza el m\'{i}nimo.

   \section*{Probabilidades a posteriori}
   Por la regla de Bayes,
   \begin{eqnarray*}
     \Pr(\text{grupo $i$}\mid{\bf x})
     &=& \frac {\Pr(\text{grupo $i$})\cdot\mathcal L({\bf x}\mid\text{grupo $i$})} 
     {\sum_{k=1}^g\Pr(\text{grupo $k$})\cdot\mathcal L({\bf x}\mid\text{grupo $k$})} \\[2ex]
         &\propto& \Pr(\text{grupo $i$})\cdot\mathcal L({\bf x}\mid\text{grupo $i$})
   \end{eqnarray*}
   donde $\Pr(\text{grupo $i$})$ son las probabilidades a priori y $\mathcal L$ es la densidad o verosimilitud supuesta la pertenencia a cierto grupo.

   En caso de gausianidad homoscedástica, ${\bf x}_i\hookrightarrow N({\bf\mu}_i,{\bf\Sigma})$ y
   \begin{eqnarray*}
     \mathcal L({\bf x}\mid\text{grupo $i$})
     &=&\text{cte.}\cdot e^{-\frac12({\bf x}-\bar{\bf x}_i)^{\bf t}{\bf S}^{-1}({\bf x}-\bar{\bf x}_i)}\\
     \ln\mathcal L({\bf x}\mid\text{grupo $i$})
     &=&\text{cte.} - \frac12({\bf x}-\bar{\bf x}_i)^{\bf t}{\bf S}^{-1}({\bf x}-\bar{\bf x}_i)\\
     &=&\text{cte.} - \frac12[{\bf x}^{\bf t}{\bf S}^{-1}{\bf x}-
         {\bf x}^{\bf t}{\bf S}^{-1}\bar{\bf x}_i
         -
         \bar{\bf x}_i^{\bf t}{\bf S}^{-1}{\bf x}
         +
         \bar{\bf x}_i^{\bf t}{\bf S}^{-1}\bar{\bf x}_i]\\
     &=&\text{cte.} - \frac12[{\bf x}^{\bf t}{\bf S}^{-1}{\bf x}
         -2
         \bar{\bf x}_i^{\bf t}{\bf S}^{-1}{\bf x}
         +
         \bar{\bf x}_i^{\bf t}{\bf S}^{-1}\bar{\bf x}_i]\\
     &=&\text{cte.} - \frac12[
         -2
         \bar{\bf x}_i^{\bf t}{\bf S}^{-1}{\bf x}
         +
         \bar{\bf x}_i^{\bf t}{\bf S}^{-1}\bar{\bf x}_i]\\
     &=&\text{cte.} +
         \bar{\bf x}_i^{\bf t}{\bf S}^{-1}{\bf x}
         -\frac12
         \bar{\bf x}_i^{\bf t}{\bf S}^{-1}\bar{\bf x}_i\\
     \ln\Pr(\text{grupo $i$}\mid{\bf x})
     &=&
         \ln\Pr(\text{grupo $i$})+
     \ln\mathcal L({\bf x}\mid\text{grupo $i$})         
         +\text{cte.}
   \end{eqnarray*}
   Las probabilidades a priori pueden seguir
   diversos criterios:
   \begin{itemize}
   \item grupos equiprobables: $\Pr(\text{grupo $i$})=1/g$
   \item probabilidad proporcional al tamaño muestral (por omisión en
     R): $\Pr(\text{grupo $i$})=n_i/n$
   \end{itemize}
   \section*{Apéndice}
   Si $\bf M$ es una matriz simétrica entonces $\bf M=U\Lambda U^t$ con $\Lambda$ matriz diagonal de autovalores
   ordenados de mayor a menor y $U$ matriz con autovectores por columnas; entonces
   $$
   \max_{\Vert {\bf a}\Vert=1} {\bf a^tMa}=
   \max_{\Vert {\bf a}\Vert=1} {\bf a^tU\Lambda U^ta}=
   \max_{\Vert {\bf b}\Vert=1} {\bf a^t\Lambda a}=
   \lambda_{\max}\implies {\bf b}=(1,0,\dots,0)^{\bf t}\implies{\bf a}={\bf Ub}={\bf u}_{\max}
     $$
\end{document}





\item Con los dos procedimientos falta calcular la tabla de aciertos y errores de la clasificaci\'{o}n que se hizo.

\item Demostrar que $|a\:{\bf I_n}+b\:{\bf J_n}|=a^{n-1}(a+nb)$.

\item Explicar por que $ \left |\begin{array}{cc} {\bf  P^t}&{\bf X^t} \\{\bf  0}&{\bf Q^t} \end{array} \right | = |{\bf P}||{\bf Q}| $.

\item Demostrar sin calcular el determinante que:

$$ 2 \left | \begin{array}{ccc}a&b&c\\x&y&z\\p&q&r \end{array} \right | =
 \left | \begin{array}{ccc}a+b&b+c&c+a\\x+y&y+z&z+x\\p+q&q+r&r+p \end{array} \right | $$

$$ 2 \left | \begin{array}{ccc}0&e&d\\e&0&f\\d&f&0 \end{array} \right | =
 \left | \begin{array}{ccc}d+e&f&f\\d&e+f&d\\e&e&f+d \end{array} \right | $$



\item Sea ${\bf x} \equiv N_3 \left( \left(\begin{array}{c}  1 \\
2 \\3\\\end{array} \right), \left(\begin{array}{ccc}  11 & -6&2 \\
-6 & 10&-4\\2&-4&6\\\end{array} \right)\right)$
\end{document}
