\documentclass{beamer}
\usepackage[spanish]{babel}
\usepackage[utf8]{inputenc}
\usetheme{default}
\usefonttheme{serif}
\title[Discriminante]{Análisis Discriminante}
\author{N. Corral, C. Carleos}
\institute{Departamento de Estadística --- Universidad de Oviedo}

\begin{document}
\maketitle
\begin{frame}
 \begin{block}{Planteamiento del problema}
  \begin{itemize}
   \item $g$ poblaciones caracterizadas por $p$ variables $X_1,...,X_p$
   \item objetivo: establecer criterios para determinar la población a la que pertenece un individuo genérico con valores $x_1,...,x_p$
  \end{itemize}
 \end{block}
\end{frame}

\begin{frame}
 \begin{block}{Criterio de máxima verosimilitud}
  \begin{itemize}
   \item Sea $L(x_1,...,x_p\mid j)$ la verosimilitud de un individuo con valores $x_1,...,x_p$ en la población $j$
   \item El criterio asigna a la población $J$ donde se alcanza el máximo de la verosimilitud:
   $$ L(x_1,...,x_p\mid J) = \max_{j=1,...,g}L(x_1,...,x_p\mid j)$$
  \end{itemize}
 \end{block}
\end{frame}

\begin{frame}
 \begin{block}{Criterio de máxima verosimilitud}
  \begin{itemize}
   \item Para dos poblaciones, el criterio se basa en la razón de verosimilitudes:
   $$ LRV (\vec x) = \ln \frac{L(x_1,...,x_p\mid 1)}{L(x_1,...,x_p\mid 2)}$$
   \item Se define el clasificador por
   $$h(\vec x) = \left\{ 
   \begin{array}{rl}
    1 & \mbox{si } LRV(\vec x) > 0 \\
    2 & \mbox{si } LRV(\vec x) < 0 
   \end{array}
   \right.$$
   \end{itemize}
 \end{block}
\end{frame}

\begin{frame}
 \begin{block}{Criterio de máxima verosimilitud: caso gausiano}
  \begin{itemize}
   \item Sean 
   $$\vec x\mid1 \equiv \mathcal N (\vec \mu_1,\Sigma_1)$$
   $$\vec x\mid2 \equiv \mathcal N (\vec \mu_2,\Sigma_2)$$
   \item Caso 1: $\Sigma_1=\Sigma_2$
   $$ LRV = (\vec \mu_1 - \vec\mu_2)' \,\Sigma^{-1} \,(\vec x - \vec \mu) $$
   donde $\vec \mu = \frac{\vec\mu_1-\vec\mu_2}2$.
   
   Si los parámetros de las distribuciones son desconocidos, se sustituyen por sus estimaciones máximo-verosímiles:
   $$\hat\mu_1 = \bar x_1\qquad \hat\mu_2 = \bar x_2
   \qquad S =\frac{n_1}n S_1 + \frac{n_2}n S_2\quad(n=n_1+n_2)$$
  \end{itemize}
 \end{block}
\end{frame}

\begin{frame}
 \begin{block}{Criterio de máxima verosimilitud: caso gausiano}
  \begin{itemize}
   \item Sean 
   $$\vec x\mid1 \equiv \mathcal N (\vec \mu_1,\Sigma_1)$$
   $$\vec x\mid2 \equiv \mathcal N (\vec \mu_2,\Sigma_2)$$
   \item Caso 2: $\Sigma_1\not=\Sigma_2$
     $$ LRV = -\frac12\,
     (\vec x - \vec\mu_1)' \,\Sigma_1^{-1} \,(\vec x - \vec \mu_1) -
     \Bigl(-\frac12\Bigr)\,
     (\vec x - \vec\mu_2)' \,\Sigma_2^{-1} \,(\vec x - \vec \mu_2)$$
   
   Equivale a asignar el individuo $\vec x$ a la población $J$ tal que
   $$ D^2(\vec x, \vec\mu_J) = \min_{j=1,...,g} D^2(\vec x, \vec\mu_j) $$
   donde $D^2$ es la distancia de Mahalanobis.
  \end{itemize}
 \end{block}
\end{frame}

\begin{frame}
 \begin{block}{Criterio de Mahalanobis}
  \begin{itemize}
   \item La distancia de Mahalanobis es
   \begin{eqnarray}
    D^2(\vec x, \bar x_j) &=&(\vec x-\bar x_j)'\,S^{-1}\, (\vec x-\bar x_j)\\
    &=&\vec x\,' S^{-1}\vec x - 2\bar x_j'S^{-1}\vec x + \bar x_jS^{-1}\bar x_j
   \end{eqnarray}
   \item Se asigna el individuo $\vec x$ a la población $J$ tal que
   $$ D^2(\vec x, \bar x_J) = \min_{j=1,...,g} D^2(\vec x, \bar x_j) $$
   \item Equivale a maximizar
   $$ 2\bar x_j'S^{-1}\vec x-\bar x_j'S^{-1}\bar x_j=\vec a_j\,'\vec x - c_j $$
  \end{itemize}
 \end{block}
\end{frame}

\begin{frame}
 \begin{block}{Criterio del factor discriminante de Fisher}
  \begin{itemize}
  \item Buscar combinaciones lineales de las variables originales que maximicen la separación entre los grupos.
  \item Se basa en la siguiente descomposición de la variabilidad total:
  \begin{itemize}
  \item Sea $\vec y=H\,X\,\vec a$
  \item $\vec y\,' H \vec y = \vec a\,' X' H X \vec a = \vec a\,' T \vec a$
  \item $T = W + B$
  \end{itemize}
  \item Se busca el vector $\vec a$ que maximice $\dfrac{\vec a\,' B \vec a}{\vec a\,' W \vec a}$
  \end{itemize}
 \end{block}
\end{frame}


\begin{frame}
 \begin{block}{Criterio del factor discriminante de Fisher (detalle)}
 \begin{eqnarray}
  \vec a\,'H\vec a &=& \vec a\,'\left(I-\frac1nJ\right)\vec a \\
  &=&\vec a\,'\left(I-D+D-\frac1nJ\right)\vec a\\
  &=&\vec a\,'(I-D)\vec a + \vec a\,'\left(D-\frac1nJ\right)\vec a\\
  &=&\mbox{SCB} - \mbox{SCW}
 \end{eqnarray}
 donde $D=\left[\begin{array}{cccc}
                 \frac1{n_1}J_1 & 0 & \dots & 0 \\
                 0 & \ddots & \ddots & \vdots \\
                \vdots&\ddots&\ddots&0\\
                 0 & \dots  & 0 & \frac1{n_g}J_g\\
                \end{array}
  \right]$
 \end{block}
\end{frame}

\begin{frame}
  \begin{block}{Criterio bayesiano}
    \begin{itemize}
    \item Sea $L(x_1,...,x_p\mid j)$ la verosimilitud
      de un individuo con valores $x_1,...,x_p$ en la población $j$
    \item Sea $\Pr\,(j)$ la probabilidad \textit{a priori} de la población $j$
    \item El criterio Bayes asigna a la población $J$ donde se alcanza el máximo de la
      probabilidad \textit{a posteriori}:
      $$ \Pr\,(J \mid x_1,...,x_p) = \max_{j=1,...,g}\Pr\,(j\mid x_1,...,x_p)$$
    \item Probabilidad a posteriori:
      $$ \Pr\,(j \mid x_1,...,x_p) = \frac {L(x_1,...,x_p\mid j)\cdot\Pr\,(j)}{L(x_1,...,x_p)}$$
      $$ \Pr\,(j \mid x_1,...,x_p) \propto L(x_1,...,x_p\mid j)\cdot\Pr\,(j) $$
    \end{itemize}
  \end{block}
\end{frame}

\begin{frame}
  \begin{block}{Criterio bayesiano}
    \begin{itemize}
    \item Permite incluir probabilidades a priori de las poblaciones.
    \item Equivale al criterio de MV si equiprobables a priori.
    \item No hace falta conocer el denominador $L(x_1,...,x_p)$:
      $$\Pr\,(J \mid x_1,...,x_p)= \frac {L(x_1,...,x_p\mid J)\cdot\Pr\,(J)}
      {\sum_{j=1,...,g}\,L(x_1,...,x_p\mid j)\cdot\Pr\,(j)}$$
    \end{itemize}
  \end{block}
\end{frame}

\begin{frame}
  \begin{block}{Criterio bayesiano ingenuo}
    \begin{itemize}
    \item Supone independencia entre las variables:
      $$L(x_1,...,x_p\mid j) = L(x_1\mid j)\cdots L(x_p\mid j)$$
    \item Se usa si no se dispone de distribución conjunta.
    \item Casi siempre poco realista.
    \end{itemize}
  \end{block}
\end{frame}

\end{document}


%% de otras presentaciones:

\mode<presentation> {\usetheme{Warsaw}}
\usepackage[latin1]{inputenc}
\usepackage[spanish]{babel}
\usepackage{latexsym}
\usepackage{ifthen}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{amsthm}
\usepackage{color}
\usepackage{graphicx}
\newtheorem{teor}{Teorema}
\textcolor[rgb]{0.98,0.00,0.00}{Objetivo:} b
