CURSO:MODELOS ALEATORIOS EN ALTA DIMENSION
TRADUCCION:HIGH DIMENSIONAL PROBABILISTIC MODELS
SIGLA:IMT3420 
CREDITOS:10
MODULOS:03	
CARACTER:MINIMO
TIPO:CATEDRA
CALIFICACION:ESTANDAR 
PALABRAS CLAVE:ESTADISTICA,ALTAS DIMENSIONALIDAD,APRENDIZAJE AUTOMATICO,CLASIFICACION,REGRESION,CLUSTERING
NIVEL FORMATIVO:MAGISTER


I.DESCRIPCIÓN DEL CURSO

En este curso los estudiantes adquiriran una base matematica solida en tecnicas de estadistica en altas dimensiones, y analizaran sus aplicaciones en aprendizaje automatico. Para ello abordaran tecnicas de concentracion de la medida, teoria de la informacion, procesos estocasticos, y estimacion a traves de modelos de optimizacion. 


II.RESULTADOS DE APRENDIZAJE 

1.Analizar el comportamiento de datos aleatorios en espacios de alta dimension.

2.Crear estadisticos adecuados para problemas de estimacion, clasificacion, regresion y aprendizaje supervisado.

3.Dise?ar metodos estadisticos para problemas de aprendizaje no-supervisado que surgen en ingenieria y ciencias.

4.Identificar los limites computacionales y estadisticos para problemas de aprendizaje supervisado y no-supervisado.

5.Aplicar el pensamiento critico a topicos de investigacion relevantes y de vanguardia, en las areas de Estadistica y Aprendizaje Automatico.


III.CONTENIDOS

Los contenidos con (*) son opcionales
1.Fundamentos de Probabilidades y Estadistica:
1.1.Repaso de desigualdades de concentracion
1.2.Vectores aleatorios
1.3.La desigualdad de Hanson-Wright y el lema de Johnson-Lindenstrauss
1.4.Matrices aleatorias
1.5.Martingalas
1.6.Entropia e informacion
1.7.Efectos de la dimensionalidad en problemas estadisticos (regresion y sparsity, test multiples)

2.Tecnicas de Aprendizaje y Estimacion:
2.1.El Teorema de Glivenko-Cantelli
2.2.Aprendizaje Supervisado y No-Supervisado
2.3.Complejidad de Rademacher, dimension VC y ancho Gaussiano
2.4.Cubrimientos y empaquetamientos 
2.5.La cota de Dudley
2.6.Cotas minimax para estimacion(Fano,Le-Cam,etc.)
2.7.Encadenamiento generico(*)

3.Metodos Clasicos y su Analisis:
3.1.Clasificacion (naive Bayes, analisis discriminante, SVM)
3.2.Regresion lineal y regularizacion
3.3.Regularizacion con normas atomicas
3.4.Seleccion de modelos y criterios de informacion

4.Aprendizaje No-Supervisado:
4.1.Analisis de componentes principales (PCA) y factorizacion no-negativa (NMF)
4.2.Clustering y mezclas Gaussianas
4.3.Bosques aleatorios
4.4.Metodos Bayesianos No-Parametricos

5.Topicos: Elegir entre algunos de los temas descritos
5.1.Problema inversos y estimacion no-parametrica:
5.1.1.Modelos de secuencia
5.1.2.Estimacion con splines y wavelets
5.1.3.Procesos estocasticos sparse
5.1.4.Reconstruccion de se?ales sparse
5.2.Sketching:
5.2.1.Producto de matrices aleatorizado
5.2.2.Inmersiones en subespacios(subspace embeddings) y aproximaciones de bajo rango
5.2.3.Sketching para minimos cuadrados y problemas inversos lineales
5.2.4.Esparsificacion de grafos
5.3.Modelos plantados:
5.3.1.Planted clique
5.3.2.Stochastic block model
5.3.3.Metodos espectrales
5.3.4.Relajaciones por sumas de cuadrados
5.3.5.Transiciones de fase estadisticas/computacionales
5.4.Metodos Avanzados para Aprendizaje no supervisado:
5.4.1.Manifold learning
5.4.2.Local PCA
5.4.3.Modelos graficos probabilisticos
5.4.4.Inferencia variacional


IV.ESTRATEGIAS METODOLOGICAS

-Clases expositivas.

-Aprendizaje basado en proyecto. 


V.ESTRATEGIAS EVALUATIVAS 

-Interrogaciones: 50%

-Proyecto: 20%

-Examen final: 30%


VI.BIBLIOGRAFIA

Minima

Martin Wainwright, High-Dimensional Statistics: A Nonasymptotic Viewpoint,Cambridge Univ Press,2019

Roman Vershynin, High-Dimensional Probability: An Introduction with Applications in Data Science,Cambridge Univ Press,2018

Alexandre Tsybakov,Introduction to Nonparametric Estimation, Springer,2009


Complementaria

Trevor Hastie, Robert Tibshirani and Jerome Friedman, The Elements of Statistical Learning, Second Edition, Springer

Jure Leskovec, Anand Rajaraman, Jeff Ullman, Mining of Massive Datasets, Cambridge University Press,2014


PONTIFICIA UNIVERSIDAD CATOLICA DE CHILE
INSTITUTO DE INGENIERIA MATEMATICA Y COMPUTACIONAL / MAYO 2022