Decisiones, Control y Programación Dinámica.

El tema central de la Tesis es una aportación al estudio de sistemas de toma de decisiones. En particular, nos concentramos en los así llamados Procesos Markovianos de Decisión y las Difusiones Estocásticas. Aunque en la Tesis damos por supuesto que el tema es conocido, vale la pena, para beneficio de un mayor círculo de posibles interesados, platicar un poco más sobre el tema, de manera no del todo formal (hay referencias accesibles que mencionaremos cuando sea  oportuno), más bien narrativa.

Sin remontarnos a un pasado muy remoto, iniciemos con Richard Bellman, padre deliberado de la Programación Dinámica (ver: Stuart Dreyfus (2002). "Richard Bellman on the Birth of Dynamic Programming". In: Operations Research. Vol. 50, No. 1, Jan–Feb 2002, pp. 48–51.) Ante la disyuntiva de dedicarse a la Teoría Analítica de los Números, sin dudad, una de las ramas de mayor prestigio en las matemáticas puras, Bellman optó por correr el riesgo de dedicarse a matemáticas "menos puras", pero en las cuales era posible hacer contribuciones importantes al encontrarse de manera directa ligada a problemas de modelación y optimización en ingeniería, computación, medicina, estadística, biología, administración, economía, finanzas, ... . Y efectivamente, ese ha sido en parte el destino de esta disciplina, que por su juventud y su cercanía a la ingeniería, economía y administración, es vista con cierto, pero totalmente injustificado, desprecio por algunos matemáticos. Pero hay que reconocer que en parte su reacción es natural. ¿Realmente se trata de matemáticas de alto nivel? La respuesta es afirmativa. Afinal de cuentas, Bellman y los muchos matemáticos que lo antecedieron y acompañaron, reformularon y en cierto sentido, dieron nueva vida al Cálculo de Variaciones, utilizaron a todo su poder mucho del Análisis Funcional, joven aún, y plantearon problemas de modelado y abstracción, que al ligarse directamente con la realidad, resultan muchas veces particularmente complicados. Precisamente esta Tesis está relacionada con los dos últimos aspectos.

Bellman literalmente concibió un amplio programa de investigación que no sólo dió origen a una nueva disciplina, la Programación Dinámica, sino que contribuyó al surgimiento y/o enriquecimiento de disciplinas como los Procesos Markovianos de Decisión y el Control Óptimo. Brevemente ilustraremos estos conceptos:

Programación Dinámica: divide y vencerás: solución de sub-problemas, ...

Procesos Markovianos de Decisión: toma secuencial de decisión, costo o recompensa por etapa.

Control Óptimo.

Ecuación Funcional

Solución iterativa.

Comentarios sobre modelado y aproximación.

Contracciones y Programación Dinámica

La clave técnica de los resultados de la Tesis es la utilización del sencillo y famoso Teorema del Punto Fijo de Banach, que a su vez se basa en la noción de mapeo contractivo. El gran poder de este método para establecer resultados de estabilidad en Procesos Markovianos de Decisión y en Difusiones controlados radica a sus vez en la compatibilidad entre Programación Dinámica y los mapeos contractivos.

Para aclarar esta relación, la Tesis incluye como segundo capítulo una presentación concisa del mapeo fundamental en Programación Dinámica que es una contracción en diversos contextos. No es sorprendente que este capítulo este apoyado en el clásico trabajo de Denardo: Contraction Mappings in the Theory Underlying Dynamic Programming, SIAM Review, Vol. 9, No. 2. (Apr., 1967), pp. 165-177, también disponible en JSTOR

Por cierto, aunque no faltan referencias para el Teorema del Punto Fijo de Banach, y por dicha razón no se incluye ni siquiera su enunciado en la Tesis, no está demás, en este Blog, de referir al verbete Banach fixed point theorem donde no sólo se encuentra la demostración y una buena bibliografía, sino también esta valiosa liga al artículo original:  Banach, S. "Sur les opérations dans les ensembles abstraits et leur application aux équations intégrales." Fund. Math. 3(1922), 133–181.[1] En ese artículo queda claro que Banach tenía un ojo puesto en las aplicaciones, en este caso, a las Ecuaciones Integrales. De hecho, vale la pena recordar que el Teorema tiene célebres aplicaciones a los Teoremas de la Función Implícita y la Función Inversa, el Método de Newton y el Teorema de Picard-Lindelöf  (que esta muy relacionado con la demostración de robustez en el caso de Procesos controlados que obedecen a una ecuación diferencial, tal como se incluye en la Tesis).

Dada la abundancia de textos que contienen el Teorema del Punto Fijo, mencionamos sólo una que tiene interés por su enfoque riguroso pero aplicado: Real Analysis with Economic Applications, de Efe A. Ok, Princeton University Press.

Esquema de la Tesis: primer aproximación

Este blog tiene como objetivo describir, primero, la redacción de la tesis doctoral sobre el tema que
actualmente me encuentro redactando, y posteriormente realizar una crónica de la investigación sobre el tema que se realizará a partir de ese trabajo.

Un primer esquema es:

• Introducción: contexto y antecedentes del tema de control y robustez en procesos de decisión markoviana.
• El método de las Contracciones en Programación Dinámica.
• El método de las Contracciones en Estabilidad y Robustez en Horizonte Infinito.
• Primer caso: difusiones, caso descontado.
• Estabilidad respecto a la métrica de Kantorovich: tiempo discreto.
• Caso descontado.
• Caso promedio.
• Conclusiones y problemas abiertos.

Todos los comentarios, observaciones y sugerencias son bienvenidos.