sistemato cap. 2 fino alla fine

appunti_core.tex

@@ -111,8 +111,8 @@ \chapter{Probabilità}
 \includelesson{2017}{11}{21}{Punzi}
 \includelesson{2017}{11}{22}{Francavilla}
 % 24 novembre no lezione
+\includelesson{2017}{11}{29}{Francavilla} % l'ho messa prima di quella del 28 per riordinare gli argomenti
 \includelesson{2017}{11}{28}{Punzi}
-\includelesson{2017}{11}{29}{Francavilla}
 \includelesson{2017}{12}{01}{Punzi, Morello}
 \includelesson{2017}{12}{05}{Punzi}
 % 6 dicembre no lezione

appunti_print_a4_vert.tex

@@ -16,7 +16,7 @@
 \patchcmd{\chapter}{plain}{fancy}{}{}
 
 \newenvironment{lesson}[4]{%
-\addcontentsline{toc}{section}{Lezione \DTMdisplaydate{#1}{#2}{#3}{-1} (#4)}%
+% \addcontentsline{toc}{section}{Lezione \DTMdisplaydate{#1}{#2}{#3}{-1} (#4)}%
 \marginpar{\Large\bfseries Lezione \DTMdisplaydate{#1}{#2}{#3}{-1}\\(#4)}}{%
 }
 \newcommand*\titlet[1]{\section{#1}}

lezioni/lez-2017-11-28.tex

@@ -85,6 +85,8 @@
 	i valori per cui dà risultato negativo \emph{regione di accettazione}~($\comp C$).
 \end{definition}
 
+\subtitlet{Test UMP}
+
 Vediamo ora qual è il modo convenzionale di confrontare i test.
 Consideriamo il caso in cui ci sono solo due ipotesi.
 Allora, a parità di taglia,
@@ -151,6 +153,8 @@
 		p(x;\theta)
 		= F(x) G(\theta) \exp\big(A(x) B(\theta)\big)
 	\end{equation*}
+	\marginpar{Negli appunti ho segnato che ha dimostrato la freccia facile,
+	però non ho scritto la dimostrazione e non sono riuscito a riinventarmela.}%
 	con $B(\theta)$ monotona.
 	Cambiando il segno di $A$, $B$ può sempre essere presa crescente,
 	nel qual caso il test è dato dalla regione critica
@@ -159,8 +163,7 @@
 	\end{equation*}
 \end{fact}
 
-\marginpar{Negli appunti ho segnato che ha dimostrato la freccia facile,
-però non ho scritto la dimostrazione e non sono riuscito a riinventarmela.}
 
-A parte il \autoref{th:np} e il \autoref{th:umpge},
-non esistono casi generali in cui si conosce il test UMP.
+% % spostata all'inizio della lezione del 1 dicembre
+% A parte il \autoref{th:np} e il \autoref{th:umpge},
+% non esistono casi generali in cui si conosce il test UMP.

lezioni/lez-2017-11-29.tex

@@ -109,7 +109,7 @@
 	\label{th:lrgauss}
 	Consideriamo la gaussiana
 	\begin{equation*}
-		p(x;\mu,\sigma)
+		p(x;\mu)
 		= \frac1{\sqrt{2\pi}\sigma} e^{-\frac12\left(\frac{x-\mu}\sigma\right)^2}.
 	\end{equation*}
 	Calcoliamo il likelihood ratio:
@@ -127,11 +127,9 @@
 		&= \frac{\lambda^{-1/2}}{\sqrt{2\pi}}e^{-\lambda/2}.
 	\end{align*}
 	Notiamo che questa è la distribuzione $\chi^2$ con 1 grado di libertà\footnote{Vedi \autoref{th:wilks}.}.
-	In generale si può mostrare che la somma dei quadrati di $N$ variabili gaussiane
+	In generale si può mostrare che la somma dei quadrati di $n$ variabili gaussiane
 	con media nulla e varianza unitaria
-	ha la distribuzione $\chi^2$ con $N$ gradi di libertà.
-	In particolare il likelihood ratio di $N$ estrazioni della gaussiana
-	ha esattamente la distribuzione $\chi^2$ anziché solo asintoticamente.
+	ha distribuzione $\chi^2$ con $n$ gradi di libertà.
 \end{example}
 
 \begin{exercise}

lezioni/lez-2017-12-01.tex

@@ -1,19 +1,22 @@
 % Giacomo Petrillo
 % lezione di Punzi la prima ora, poi Morello
 
-Poiché in generale non esiste il test UMP,
-bisogna cercare richieste più deboli per scegliere il test.
+A parte il \autoref{th:np} e il \autoref{th:umpge},
+non esistono casi generali in cui si conosce il test UMP.
+Bisogna allora cercare richieste più deboli per scegliere il test.
 Una possibilità è privilegiare un'ipotesi alternativa
 e usare Neyman-Pearson su quella.
 
+\subtitlet{Test LMP}
+
 Un caso tipico è quando ci sono alcune ipotesi alternative
 per le quali è facile avere una potenza alta,
 mentre altre per cui è invece importante scegliere bene il test.
 Ad esempio, prendiamo una gaussiana e facciamo il test con l'ipotesi nulla di una certa media:
 per medie alternative più lontane di quattro-cinque sigma,
 ci aspettiamo che qualunque test sensato useremo rigetterà con buona potenza l'ipotesi nulla.
 Il problema è per le medie vicine all'ipotesi nulla.
-Introduciamo allora il concetto di \emph{LMP} (locally most powerful test).
+Introduciamo allora il concetto di test \emph{LMP} (locally most powerful).
 
 Costruiamo un test LMP generale:
 sviluppiamo in serie il logaritmo della likelihood intorno all'ipotesi nulla
@@ -35,6 +38,8 @@
 	C = \Setdef[x]{\left.\pdv{}{\theta} \log p(x;\theta)\right|_{\theta_0} > q(\alpha)}.
 \end{equation*}
 
+\subtitlet{Test likelihood ratio}
+
 Un altro test generale che non è garantito funzionare ma spesso funziona bene
 è il \emph{likelihood ratio test}, che è un'estensione del test di Neyman-Pearson.
 Nel test di Neyman-Pearson la regione critica è
@@ -66,6 +71,8 @@
 
 % ———————— parte di Morello ————————
 
+\subtitlet{Esercizi}
+
 \begin{exercise}
 	Fare un test UMP per due medie della gaussiana con varianza fissata.
 \end{exercise}

lezioni/lez-2017-12-05.tex

@@ -1,6 +1,8 @@
 % Giacomo Petrillo
 % lezione di Punzi
 
+\titlet{Goodness of fit}
+
 Supponiamo di voler decidere se assegnare o no una certa distribuzione a un osservabile.
 Con i metodi visti fin'ora,
 per trattare statisticamente la questione dobbiamo fissare quali siano le distribuzioni alternative.
@@ -19,6 +21,8 @@
 È comunque opportuno che un test di goodness of fit
 non sia l'unico risultato di un'analisi.
 
+\subtitlet{p-value}
+
 Per i test di goodness of fit si usano le stesse notazioni di un test d'ipotesi,
 però è comune usare come statistica del test un \emph{p-value}.
 
@@ -50,6 +54,8 @@
 La distribuzione di $-2\log p_i$ è $\chi^2$ a 2 gradi libertà,
 quindi la distribuzione di $p$ è $\chi^2$ a $2n$ gradi di libertà.
 
+\subtitlet{Test del $\chi^2$}
+
 Prendiamo un modello gaussiano con varianza fissata e medie arbitrarie
 \begin{equation*}
 	p(\mathbf x;\boldsymbol\mu)
@@ -86,7 +92,7 @@
 	\sum_{i=1}^N \left( \frac {x_i-\mu_i(\hat\theta(\mathbf x))} {\sigma_i} \right)^2
 \end{equation*}
 \marginpar{Ha esattamente la distribuzione a $N-d$ gradi di libertà o è asintotico anche per la gaussiana?}%
-sotto l'ipotesi $\theta=\hat\theta$ ha la distribuzione del $\chi^2$ a $N-d$ gradi di libertà.
+ha la distribuzione del $\chi^2$ a $N-d$ gradi di libertà.
 Anche in questo caso si parla di test del $\chi^2$.
 
 \begin{exercise}

lezioni/lez-2017-12-13.tex

@@ -1,6 +1,8 @@
 % Giacomo Petrillo
 % lezione di Punzi
 
+\subtitlet{Istogrammi}
+
 Consideriamo un istogramma con bin $S_j$ e conteggi $k_j$
 di $N$ estrazioni di una distribuzione $p_0(x)$,
 con $N$ poissoniano.
@@ -12,7 +14,7 @@
 Qualunque distribuzione $p_0$ viene tradotta in un elenco di medie di poissoniane.
 Scriviamo il likelihood ratio con l'ipotesi nulla delle medie ottenute da $p_0$
 e come ipotesi alternative tutte le altre medie possibili,
-cioè le medie ottenibili da tutte le distribuzioni possibili sullo stesso spazio di $p_0$:
+cioè le medie ottenibili da tutte le distribuzioni possibili sullo stesso spazio di~$p_0$:
 \begin{align*}
 	\lambda_{p_0}(\mathbf x)
 	&= 2\log \frac
@@ -27,6 +29,8 @@
 Dunque abbiamo ridotto un test tra una distribuzione e tutte le altre ditribuzioni possibili
 a un test su poissoniane con medie diverse.
 
+\subtitlet{Massima likelihood}
+
 Per la gaussiana,
 il logaritmo della likelihood è, a meno di termini che non contano, il $\chi^2$,
 che sappiamo essere una buona statistica per un test.
@@ -47,6 +51,8 @@
 	quindi è perfettamente inutile come statistica per un test.
 \end{example}
 
+\subtitlet{Kolmogorov-Smirnov}
+
 Consideriamo una distribuzione $p(x)$ per $x\in\R$.
 Costruiamo la \emph{cumulante empirica} 
 \begin{equation*}

lezioni/lez-2017-12-15.tex

@@ -1,6 +1,8 @@
 % Giacomo Petrillo
 % lezione di Punzi
 
+\subtitlet{Student}
+
 Facciamo il test likelihood ratio per $N$ estrazioni di una gaussiana
 con l'ipotesi nulla composta di varianza arbitraria e media fissata.
 La distribuzione è
@@ -26,7 +28,7 @@
 \end{align*}
 mentre con media fissata è
 \begin{align*}
-	\hat\sigma_2^2
+	\hat\sigma_\mu^2
 	&= \frac 1N \sum_i (x_i-\mu)^2.
 \end{align*}
 Calcoliamo il likelihood ratio:
@@ -35,10 +37,10 @@
 	&= 2\log \frac
 	{\left(\frac1{\sqrt{2\pi}\hat\sigma}\right)^N
 	\exp \left( -\frac12 \sum_i \left(\frac{x_i-\bar x}{\hat\sigma}\right)^2 \right)}
-	{\left(\frac1{\sqrt{2\pi}\hat\sigma_2}\right)^N
-	\exp \left( -\frac12 \sum_i \left(\frac{x_i-\mu}{\hat\sigma_2}\right)^2 \right)} = \\
-	&= N \log \frac{\hat\sigma_2^2}{\hat\sigma^2}
-	+ \frac{\sum_i (x_i-\mu)^2}{\hat\sigma_2^2}
+	{\left(\frac1{\sqrt{2\pi}\hat\sigma_\mu}\right)^N
+	\exp \left( -\frac12 \sum_i \left(\frac{x_i-\mu}{\hat\sigma_\mu}\right)^2 \right)} = \\
+	&= N \log \frac{\hat\sigma_\mu^2}{\hat\sigma^2}
+	+ \frac{\sum_i (x_i-\mu)^2}{\hat\sigma_\mu^2}
 	- \frac{\sum_i (x_i-\bar x)^2}{\hat\sigma^2} = \\
 	&= N \log \frac
 	{\sum_i (x_i - \mu)^2}
@@ -70,7 +72,9 @@
 In generale sono definiti i momenti solo fino a $\mu_{\nu-1}$.
 Per $\nu\to\infty$, la distribuzione diventa gaussiana.
 
-Supponiamo di voler fare un test di ipotesi e una stima intervallare sugli stessi dati\footnote{Questa parte è principalmente tratta da: Giovanni Punzi, \emph{Sensitivity of searches for new signals and its optimization}, 	arXiv:physics/0308063 (\url{https://arxiv.org/abs/physics/0308063}).}.
+\titlet{Ricerca}
+
+Supponiamo di voler fare un test di ipotesi e una stima intervallare sugli stessi dati\footnote{Vedi Giovanni Punzi, \emph{Sensitivity of searches for new signals and its optimization}, 	arXiv:physics/0308063 (\url{https://arxiv.org/abs/physics/0308063}).}.
 È perfettamente lecito che il test dia risultato positivo
 e che tuttavia la stima intervallare contenga l'ipotesi nulla, o viceversa,
 però è poco elegante e pone il problema di quale dei due risultati vada usato: