La Geometría y Cálculo de Pérdidas

Por • 11 sep, 2022 • Sección: Economía

Robert C. Williamson, Zac Cranko

Los problemas de decisión estadística son la base del aprendizaje automático estadístico. Los problemas más simples son la clasificación binaria y multiclase y la estimación de probabilidad de clase. Central a su definición es la elección de la función de pérdida, que es el medio por el cual se evalúa la calidad de una solución. En este artículo desarrollamos sistemáticamente la teoría de funciones de pérdida para este tipo de problemas desde una perspectiva novedosa cuyos ingredientes básicos son conjuntos convexos con una estructura particular. La función de pérdida se define como el subgradiente de la función de soporte del conjunto convexo. En consecuencia, es automáticamente adecuado (calibrado para la estimación de probabilidad). Esta perspectiva ofrece tres oportunidades novedosas. Permite el desarrollo de una relación fundamental entre pérdidas y (anti)normas que parece no haber sido advertida antes. Segundo, permite el desarrollo de un cálculo de pérdidas inducidas por el cálculo de conjuntos convexos que permite la interpolación entre diferentes pérdidas y, por lo tanto, es una herramienta de diseño potencialmente útil para adaptar las pérdidas a problemas particulares. Al hacer esto, nos basamos y ampliamos considerablemente los resultados existentes en M-sumas de conjuntos convexos. En tercer lugar, la perspectiva conduce a una teoría natural de funciones de pérdida ‘polares’ (o ‘inversas’), que se derivan del dual polar del conjunto convexo que define la pérdida, y que forman una función de sustitución universal natural para el algoritmo de agregación de Vovk. Al hacer esto, nos basamos y ampliamos considerablemente los resultados existentes en M-sumas de conjuntos convexos. En tercer lugar, la perspectiva conduce a una teoría natural de funciones de pérdida ‘polares’ (o ‘inversas’), que se derivan del dual polar del conjunto convexo que define la pérdida, y que forman una función de sustitución universal natural para el algoritmo de agregación de Vovk. Al hacer esto, nos basamos y ampliamos considerablemente los resultados existentes en M-sumas de conjuntos convexos. En tercer lugar, la perspectiva conduce a una teoría natural de funciones de pérdida ‘polares’ (o ‘inversas’), que se derivan del dual polar del conjunto convexo que define la pérdida, y que forman una función de sustitución universal natural para el algoritmo de agregación de Vovk.

arXiv:2209.00238v1 [cs.LG]

Machine Learning (cs.LG); Information Theory (cs.IT); Machine Learning (stat.ML)

Post to Twitter

Escribe un comentario