% Created 2022-10-11 mar 14:10
% Intended LaTeX compiler: pdflatex
\documentclass[11pt]{article}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{graphicx}
\usepackage{grffile}
\usepackage{longtable}
\usepackage{wrapfig}
\usepackage{rotating}
\usepackage[normalem]{ulem}
\usepackage{amsmath}
\usepackage{textcomp}
\usepackage{amssymb}
\usepackage{capt-of}
\usepackage{hyperref}
\usepackage[spanish]{babel}
\usepackage[margin=5mm]{geometry}
\newcommand{\cara}{\text{cara}}\newcommand{\cruz}{\text{cruz}}
\author{Carlos Carleos, Norberto Corral}
\date{\today}
\title{Suficiencia o exhaustividad}
\hypersetup{
 pdfauthor={Carlos Carleos, Norberto Corral},
 pdftitle={Suficiencia o exhaustividad},
 pdfkeywords={},
 pdfsubject={},
 pdfcreator={Emacs 27.1 (Org mode 9.3)}, 
 pdflang={Spanish}}
\begin{document}

\maketitle
\tableofcontents

\section{suficiencia o exhaustividad de un estadígrafo}
\label{sec:org27772b2}
\begin{itemize}
\item \(X\) población, \(X\hookrightarrow F_\theta\), \(\theta\in\Theta\)
\item \(\vec{X}=(X_1,\dots,X_n)\) muestra
\item \(T=T(\vec X)\) estadígrafo
\item en la muestra \(\vec X\) puede haber información irrelevante para estimar
\(\theta\)
\item por ejemplo, si \(X\hookrightarrow B(p)\), para estimar \(p\)
es irrelevante el orden de éxitos y fracasos; sólo son relevantes sus
frecuencias
\item se pretende que un estadígrafo conserve toda la información relevante
de \(\vec X\) para estimar \(\theta\)
\end{itemize}
\subsection{ejemplo}
\label{sec:org9570214}
\begin{itemize}
\item considerar el lanzamiento de una moneda tres veces,
en el que se obtiene la muestra \((\text{cara},\text{cruz},\text{cruz})\)
\item se pretende estimar \(p=\Pr\,(\text{cara})\)
\item ¿es relevante el orden una vez que se sabe el recuento 
\((\text{cara}\colon1,\text{cruz}\colon2)\)?
\item no, porque entonces la probabilidad de la muestra ya no depende de \(p\):
\[\Pr\bigl[\text{cara},\text{cruz},\text{cruz}\mid (\text{cara}\colon1,\text{cruz}\colon2)\bigr]
  = \frac{\Pr(\text{cara},\text{cruz},\text{cruz})}
  {\Pr(\text{cara}\colon1,\text{cruz}\colon2)}
  = \frac{p(1-p)^2}{3p(1-p)^2}=\frac13\]
\item el recuento es suficiente: conserva por completo la información relevante
\end{itemize}
\subsection{definición}
\label{sec:org24cc9bd}
\begin{itemize}
\item Un estadígrafo \(T\) es \textbf{exhaustivo} o \textbf{suficiente} para estimar \(\theta\)
si la distribución de \(\vec X\) condicionada a \(T=t\) no depende de
\(\theta\).
\end{itemize}
\subsection{teorema de factorización}
\label{sec:org540081f}
\subsubsection{enunciado}
\label{sec:org087b25b}
\begin{itemize}
\item \(T\) es exhaustivo si y sólo si existen
\(g\) y \(h\) tales que
\[f(\vec x, \theta) = g(t,\theta)\cdot h(\vec x)\]
con \(t=T(\vec x)\).
\end{itemize}
\subsubsection{demostración (caso discreto)}
\label{sec:orgdd48046}
\begin{description}
\item[{(\(\Rightarrow\))}] Por un lado, 
\(f(\vec x,\theta) = f(\vec x,\theta\mid T=t)\cdot f_T(t,\theta)\).
Por otro, si \(T\) es suficiente entonces
\(f(\vec x,\theta\mid T=t)\) no depende de \(\theta\) y basta tomar 
\(g(t,\theta)=f_T(t,\theta)=\sum_{T(\vec x)=t}f(\vec x,\theta)\) y 
\(h(\vec x)=f\bigl(\vec x,\theta\mid T=T(\vec x)\bigr)\)
\item[{(\(\Leftarrow\))}] Sea \(f(\vec x,\theta)=g(t,\theta)\cdot h(\vec x)\)
con \(t=T(\vec x)\). Sea \(A_t=\{\vec x\mid T(\vec x)=t\}\).
Entonces 
\[f(\vec x,\theta\mid T=t) = 
    \begin{cases}
    0&T(\vec x)\neq t\\
    \frac{f(\vec x,\theta)}{f(t,\theta)}=
    \frac{f(\vec x,\theta)}{\sum_{\vec y\in A_t} f(\vec y,\theta)}
    = \frac{g(T(\vec x),\theta)\cdot h(\vec x)}{\sum_{\vec y\in A_t} g(T(\vec y),\theta)\cdot h(\vec y)}
    = \frac{g(t,\theta)\cdot h(\vec x)}{\sum_{\vec y\in A_t} g(t,\theta)\cdot h(\vec y)}
    = \frac{h(\vec x)}{\sum_{\vec y\in A_t}h(\vec y)}&T(\vec x)=t
    \end{cases}\]

que no depende de \(\theta\), luego \(T\) es suficiente para \(\theta\).
\end{description}
\subsubsection{{\bfseries\sffamily EXTRA} caso general}
\label{sec:org350f3fd}
\begin{itemize}
\item véanse
\begin{itemize}
\item ejemplos primero y sexto de \href{http://www.stat.yale.edu/\~jtc5/papers/ConditioningAsDisintegration.pdf}{condicionamiento como desintegración}
\item capítulo 2.6 \emph{Characterization of sufficiency}
de \emph{Testing statistical hypotheses, second edition} de E.L. Lehmann
\item suplemento IV, pág. 550 de \emph{Estadística matemática} de A.A. Borovkov,
KP 519B 3 en la biblioteca
\end{itemize}
\item si el soporte de \(X\) depende de \(\theta\), 
\begin{itemize}
\item \href{https://www.cambridge.org/core/journals/mathematical-proceedings-of-the-cambridge-philosophical-society/article/sufficient-statistics-and-intrinsic-accuracy/6A3E45FB1C423F3F684308F8910D6919}{Sufficient statistics and intrinsic accuracy}, sección 4
\item sea \(X\) con soporte \((0,\theta)\); si \(T\) no involucra \(\theta\),
es obvio que al fijar \(T=t\) la distribución del máximo \(X_{(n)}\) 
tiene que depender de \(\theta\), a menos que \(T\) sea \(X_{(n)}\)
o una función suya; así, si existe un estadígrafo suficiente tiene
que ser función sólo de \(X_{(n)}\)
\end{itemize}
\end{itemize}
\subsection{demostración de no exhaustividad/suficiencia}
\label{sec:org4c7687b}
\begin{itemize}
\item Sean dos muestras \(\vec x=(x_1,\dots,x_n)\) y \(\vec y=(y_1,\dots,y_n)\)
tales que \(T(\vec x)=T(\vec y)\).
\item Si \(\frac{f(\vec x,\theta)}{f(\vec y,\theta)}\) depende de \(\theta\),
\(T\) no es exhaustivo.
\item Si lo fuera,

\[\frac{f(\vec x,\theta)}{f(\vec y,\theta)}
  = \frac{g(T(\vec x),\theta)h(\vec x)}{g(T(\vec y,\theta)h(\vec y)}
  = \frac{g(t,\theta)h(\vec x)}{g(t,\theta)h(\vec y)}
  = \frac{h(\vec x)}{h(\vec y)}\]

no dependería de \(\theta\).
\end{itemize}
\subsection{ejemplos}
\label{sec:orge01e478}
\subsubsection{suficiencia normal}
\label{sec:orgc8f354f}
\begin{itemize}
\item \(\vec X\), la propia muestra, es trivialmente un estadígrafo exhaustivo
\item \(\vec X_{(\cdot)}=(X_{(1)},\dots,X_{(n)})\), la muestra ordenada,
es exhaustivo en muestreo aleatorio simple
\item \(X\hookrightarrow U(0,\theta]\) \(\implies\) \(X_{(n)}\) es suficiente para \(\theta\)
\begin{itemize}
\item (sean [] los \href{https://arxiv.org/pdf/math/9205211.pdf}{corchetes de Iverson})
\item \(f(\vec x,\theta)\) = \(\prod_{i=1}^n \frac1\theta [x_i < \theta]\)
= \(\frac1{\theta^n}[x_{(n)}<\theta]\) = \(g(t,\theta)h(\vec x)\)
con \(t=x_{(n)}\) y \(h(\cdot)=1\)
\item \href{./condiznula.pdf}{hay dificultades al condicionar a sucesos con probabilidad nula}
\end{itemize}
\item \(X\hookrightarrow N(\mu,\sigma)\), \(\sigma\) conocida \(\implies\)
\(T=\bar X=\frac1n\sum_{i=1}^n X_i\) es exhaustivo para \(\mu\)
\item \(X\hookrightarrow N(\mu,\sigma)\), \(\mu\) conocida \(\implies\)
\(T=\frac1n\sum_{i=1}^n (X_i-\mu)^2\) es exhaustivo para \(\sigma\)
\item \(X\hookrightarrow N(\mu,\sigma)\), \(\sigma\) conocida \(\implies\) 
\(\bar X^2\) no es suficiente para \(\mu\)
\item \(X\hookrightarrow N(\mu,\sigma)\), \(\mu\) y \(\sigma\) desconocidas
\(\implies\) \(\bar X,S^2\) es exhaustivo para \((\mu,\sigma)\)
\end{itemize}
\subsubsection{{\bfseries\sffamily EXTRA} suficiencia parcial}
\label{sec:org67d765d}
\begin{itemize}
\item \(X\hookrightarrow N(\mu,\sigma)\), \(\mu\) y \(\sigma\) desconocidas
\(\implies\) \(S^2\) no es suficiente para \(\sigma\)
\item \(X\hookrightarrow N(\mu,\sigma)\), \(\mu\) y \(\sigma\) desconocidas
\(\implies\) \(\bar X\) ¿es suficiente para \(\mu\)?
\begin{itemize}
\item según la definición de suficiencia:
\begin{verbatim}
f_gaus(x,mu,sigma) := 1/sigma/sqrt(2*%pi)*%e^(-(x-mu)^2/2/sigma^2) $
f_gaus_muestra(X,mu,sigma) := apply("*", f_gaus(X,mu,sigma)) $
f_gaus_media(xmedia,mu,sigma,n) := f_gaus(xmedia,mu,sigma/sqrt(n)) $
media(X) := apply ("+", X) / length(X) $
f_gaus_cond(X,mu,sigma,t) :=
  f_gaus_muestra(X,mu,sigma) / f_gaus_media(t,mu,sigma,length(X)) $
n : 10 $
X : makelist (x[i], i, 1, n) $
freeof (mu, ratsimp(f_gaus_cond (X, mu, sigma, media(X)))) ; /* true */
\end{verbatim}
\item pero \(\bar X\hookrightarrow N\left(\mu,\frac{\sigma}{\sqrt n}\right)\)
luego la muestra incluye más información sobre \(\mu\) a través 
de la dispersión \(S^2\)
\item ejercicio 36 del capítulo 3, pág. 122,
de \emph{Testing statistical hypotheses, second edition} de E.L. Lehmann
\begin{itemize}
\item \(T\) es \textbf{parcialmente suficiente} para \(\mu\) si
\begin{itemize}
\item \(f(\vec x,\mu,\sigma\mid T=t)\) no depende de \(\mu\)
\item la distribución de \(T\) no depende de \(\sigma\)
\end{itemize}
\item \(\bar X\) no es parcialmente suficiente para \(\mu\)
\end{itemize}
\item ejemplo 2.1 de \url{https://www.jstor.org/stable/1403095}: 
el estadígrafo (parcialmente) suficiente para \(\mu\) es \((\bar X,S^2)\)
\end{itemize}
\end{itemize}
\subsection{estadígrafo mínimamente exhaustivo / estadístico suficiente minimal}
\label{sec:orgdbc45ed}
\begin{itemize}
\item un estadígrafo \(T\) induce una partición \(\phi\) del espacio
\(X(\Omega)^n\), de forma que \(\vec x\sim \vec y\iff T(\vec x)=T(\vec y)\)
\item una partición es suficiente si induce un estadígrafo suficiente
\item una partición es \textbf{suficiente minimal} si es suficiente y cualquier otra
partición suficiente es un refinamiento suyo
\item un estadígrafo es \textbf{suficiente minimal} si induce una partición
suficiente minimal
\item la partición dada por la relación
\[ \vec x\sim\vec y\iff\frac{f(\vec x,\theta)}{f(\vec y,\theta)}
     \text{ no depende de }\theta\]
es suficiente minimal;

demostración para el caso discreto:

\begin{itemize}
\item Sea \(T\) cualquier estadígrafo asociado a dicha partición.
Sea \(\vec x'\) tal que \(T(\vec x')=t\). Entonces
\[f(\vec x',\theta\mid T=t) = 
      \frac{f(\vec x',\theta)}{f_T(t,\theta)} =
      \frac{f(\vec x',\theta)}{\sum_{T\vec x=t}f(\vec x,\theta)}=
      \frac1{\sum_{T\vec x=t}\frac{f(\vec x,\theta)}{f(\vec x',\theta)}}\]
no depende de \(\theta\), luego \(T\) es suficiente.

\item Sea \(T'\) otro estadígrafo suficiente y \(T'(\vec x)=T'(\vec x')=t'\),
es decir, \(\vec x\) y \(\vec x'\) pertenecen al mismo elemento
de la partición asociada a \(T'\).
Entonces 
\[f(\vec x,\theta\mid T'=t') = \frac{f(\vec x,\theta)}{f_{T'}(t',\theta)}\]
y 
\[f(\vec x',\theta\mid T'=t') = \frac{f(\vec x',\theta)}{f_{T'}(t',\theta)}\]
son independientes de \(\theta\) y su cociente
\[\frac{f(\vec x,\theta\mid T'=t')}{f(\vec x',\theta\mid T'=t')}
      = \frac{f(\vec x,\theta)}{f(\vec x',\theta)}\]
también, luego \(T(\vec x)=T(\vec x')\) y \(\vec x\) y \(\vec x'\)
pertenecen al mismo elemento de la partición asociada a \(T\),
luego la de \(T'\) es un refinamiento de la de \(T\).
Por tanto, \(T\) es mínimamente suficiente.
\end{itemize}
\item ejemplo
\begin{itemize}
\item \(X\hookrightarrow\text{Exp}(\lambda)\), \(T=\sum_{i=1}^n X_i\)
\item \(f(\vec x,\lambda)=\lambda^n e^{-\lambda\sum x_i}=
    \lambda^n e^{-\lambda t}=g(t,\lambda)h(\vec x)\) con \(h(\vec x)=1\),
luego \(T\) es suficiente
\item \(T\) es minimal suficiente porque 
\[\frac{f(\vec x,\lambda)}{f(\vec y,\lambda)}=
      \frac{\lambda^n e^{-\lambda\sum x_i}}{\lambda^n e^{-\lambda\sum y_i}}
      =e^{-\lambda(\sum x_i-\sum y_i)}=e^{-\lambda[T(\vec x)-T(\vec y_i)]}\]
no depende de \(\lambda\) sii \(T(\vec x)=T(\vec y_i)\)
\end{itemize}
\end{itemize}

\section{la familia exponencial \(k\)-paramétrica}
\label{sec:org8bfa9a8}
\begin{itemize}
\item incluye a la mayoría de distribuciones habituales
\end{itemize}
\subsection{definición}
\label{sec:org39919ca}
\begin{itemize}
\item una familia de distribuciones
\(\{F_\theta\mid\theta\in\Theta\subset\mathbb R^k\}\)
pertenece a la familia exponencial \(k\)-paramétrica si
\begin{itemize}
\item el soporte \(\{\vec x\mid f(\vec x,\theta)\}\) no depende de \(\theta\)
\item existen \(D\), \(Q_1,\dots,Q_k\), \(S\), \(T_1,\dots,T_k\) tales que
\[f(\vec x,\vec\theta)=\exp\left[S(\vec x)+D(\vec\theta)+
      \sum_{j=1}^kQ_j(\vec\theta)T_j(\vec x)\right]\]
\[f(\vec x,\vec\theta)=c(\vec\theta)h(\vec x)e^{\sum Q_j(\theta)T_j(\vec x)}\]
\end{itemize}
\end{itemize}
\subsection{parametrización natural}
\label{sec:orgdef4ab4}
\begin{itemize}
\item parametrizando \(\eta_j=Q_j(\theta)\) se tiene la parametrización natural
\[f(\vec x,\vec\eta)=c^*(\vec\eta)h(\vec x)e^{\sum \eta_j T_j(\vec x)}\]
\item el espacio paramétrico natural es
\[\mathrm H=\left\{\vec\eta\;:\;\int_{\mathbb R^n}h(\vec x)
     e^{\sum\eta_jT_j(\vec x)}d\vec x<\infty\right\}\]
\end{itemize}
\subsection{ejemplos}
\label{sec:orgf111cd7}
\subsubsection{\(B(n,p)\) con \(n\) conocido, \(0 < p < 1\)}
\label{sec:org53781d4}
\begin{itemize}
\item \(f(x,p)\) = \(\binom{n}{x}p^x(1-p)^{n-x}\) =
\(\binom nx (1-p)^n\left(\frac{p}{1-p}\right)^{x}\) =
\(\binom nx (1-p)^n e^{x\ln\frac{p}{1-p}}\)
\item parámetro natural \(\eta=\ln\frac p{1-p}\)
\item \(f(x,\eta)\) = \(\binom nx \left(\frac1{1+e^{-\eta}}\right)^n e^{x\eta}\)
\end{itemize}
\subsubsection{\(\gamma(p,a)\), \(p,a>0\)}
\label{sec:org09f55ed}
\begin{itemize}
\item \(f(x,p,a)\) = \(\frac{a^p}{\Gamma(p)}e^{-ax}x^{p-1}\)
= \(\frac{a^p}{\Gamma(p)}\frac1x e^{-ax+p\ln x}\)
\item \(p\) y \(a\) son parámetros naturales, con \(T_1=-x\) y \(T_2=\ln x\)
\end{itemize}
\subsubsection{Poisson\((\lambda)\), \(\lambda>0\)}
\label{sec:org37464bc}
\begin{itemize}
\item \(f(x,\lambda)\) = \(e^{-\lambda}\frac{\lambda^x}{x!}\)
= \(\frac1{x!}e^{-\lambda}e^{x\ln\lambda}\)
\item \(\eta=\ln\lambda\) es parámetro natural
\end{itemize}
\subsubsection{\(N(\mu,\sigma)\)}
\label{sec:orgea7af3d}
\begin{itemize}
\item \(f(x,\mu,\sigma)=\frac1{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)
 = \(\frac1{\sigma\sqrt{2\pi}}e^{-\frac{x^2+\mu^2-2\mu x}{2\sigma^2}}\)
 = \(\frac1{\sigma\sqrt{2\pi}}e^{-\frac{\mu^2}{2\sigma^2}}
     e^{-\frac{x^2-2\mu x}{2\sigma^2}}\)
= \(\frac1{\sigma\sqrt{2\pi}}e^{-\frac{\mu^2}{2\sigma^2}}
     e^{-\frac{x^2}{2}\frac1{\sigma^2}+2x\frac{\mu}{\sigma^2}}\)
\item parámetros naturales \(\eta_1=\frac1{\sigma^2}\), 
\(\eta_2=\frac{\mu}{\sigma^2}\)
\item \(T_1=-\frac{x^2}{2}\), \(T_2=2x\)
\end{itemize}
\subsection{teorema}
\label{sec:org9a65324}
\begin{itemize}
\item sea \(\vec{\vec X}=(\vec X_1,\dots,\vec X_n)\) una muestra obtenida del vector aleatorio \(\vec X\), 
perteneciente a la familia exponencial \(k\)-paramétrica con densidad
 \[f(\vec x,\vec\eta) = c(\vec\eta)h(\vec x)e^{\sum_{j=1}^k \eta_j T_j(\vec x)}\]
para los \(\vec x\) con \(f(\vec x,\vec\eta) > 0\);
\item supóngase que el espacio paramétrico natural \(\mathrm H\) contiene un
abierto de \(\mathbb R^k\)
\item entonces \(\vec W\) = \((W_1,\dots,W_k)\) con \(W_i=\sum_{j=1}^n T_i(\vec x_j)\) es mínimamente exhaustivo
\item demostración
\begin{itemize}
\item \(\vec W\) es exhaustivo por el teorema de factorización:
\(f(\vec x_1,\dots,\vec x_n,\vec\eta)\) = 
\(c(\vec\eta)^n \prod_{i=1}^n h(\vec x_i) e^{\sum_{j=1}^k \eta_j \sum_{i=1}^n T_j(\vec x_i)}\) =
\(c(\vec\eta)^n \prod_{i=1}^n h(\vec x_i) e^{\sum_{j=1}^k \eta_j w_j}\)
= \(g(\vec w, \vec\eta) H(\vec{\vec x})\)
con \(H(\vec{\vec x})\) = \(\prod_{i=1}^n h(\vec x_i)\), \(w_j = \sum_{i=1}^n T_j(\vec x_i)\), 
\(g(\vec w, \vec\eta)\) = \(c(\vec\eta)^n e^{\sum_{j=1}^k \eta_j w_j}\)
\item \(\vec W\) es minimal suficiente pues \(\vec W\vec{\vec x}=\vec W\vec{\vec y}\) \(\iff\)
\(\frac{f(\vec{\vec x},\vec\eta)}{f(\vec{\vec y},\vec\eta)}\) es independiente de \(\vec\eta\):
\begin{description}
\item[{(\(\Leftarrow\))}] sean \(\vec{\vec x}\) y \(\vec{\vec y}\) tales que 
\(\frac{f(\vec{\vec x},\vec\eta)}{f(\vec{\vec y},\vec\eta)}\) es independiente de \(\vec\eta\); entonces
\[\frac{f(\vec{\vec x},\vec\eta)}{f(\vec{\vec y},\vec\eta)} = 
        \frac{H(\vec{\vec x})}{H(\vec{\vec y})} e^{\sum\eta_j [W_j(\vec{\vec x})-W_j(\vec{\vec y})]}\]
que es independiente de \(\vec\eta\) sii \(\vec W \vec{\vec x} = \vec W \vec{\vec y}\);
si no fuera así, supóngase sin pérdida de generalidad que \(W_1\vec{\vec x}\neq W_1\vec{\vec y}\) y
\[\forall\,\vec\eta\in\mathrm H,\quad {\sum_{j=1}^k \eta_j [W_j(\vec{\vec x})-W_j(\vec{\vec y})]}=0\]
sean ahora \(\vec\eta= (\eta_1,\eta_2,\dots,\eta_k)\) y \(\vec\eta^* = (\eta_1+\epsilon,\eta_2,\dots,\eta_k)\) dentro de un
abierto de \(\mathrm H\);
entonces
\(0={\sum_{j=1}^k \eta_j^* [W_j(\vec{\vec x})-W_j(\vec{\vec y})]}\) = 
   \(\epsilon[W_1(\vec{\vec x})-W_1(\vec{\vec y})] + 
           \underbrace{\sum_{j=1}^k \eta_j [W_j(\vec{\vec x})-W_j(\vec{\vec y})]}_{\vec\eta\in\mathrm H\implies=0}\) =
   \(\epsilon[W_1(\vec{\vec x})-W_1(\vec{\vec y})] \neq 0\)
y llegaríamos a una contradicción;
\item[{(\(\Rightarrow\))}] sean \(\vec{\vec x}\) y \(\vec{\vec y}\) tales que 
\(\vec W\vec{\vec x} = \vec W\vec{\vec y}\); entonces
\(\frac{f(\vec{\vec x},\vec\eta)}{f(\vec{\vec y},\vec\eta)}\) = 
\(\frac{H(\vec{\vec x})}{H(\vec{\vec y})} e^{\sum\eta_j [W_j(\vec{\vec x})-W_j(\vec{\vec y})]}\)
= \(\frac{H(\vec{\vec x})}{H(\vec{\vec y})}\) que es independiente de \(\vec\eta\)
\end{description}
\end{itemize}
\end{itemize}
\end{document}