Representaciones discretas y continuas y procesamiento en aprendizaje profundo: mirando hacia el futuro

Por • 27 ene, 2022 • Sección: Ciencia y tecnología

Rubén Cartuyvels , Graham Spinks , Marie-Francine Moens

Las representaciones discretas y continuas de contenido (por ejemplo, de lenguaje o imágenes) tienen propiedades interesantes para ser exploradas para la comprensión o el razonamiento con este contenido por parte de las máquinas. Este documento de posición presenta nuestra opinión sobre el papel de las representaciones discretas y continuas y su procesamiento en el campo del aprendizaje profundo. Los modelos de redes neuronales actuales calculan datos de valor continuo. La información se comprime en incrustaciones densas y distribuidas. En marcado contraste, los humanos usan símbolos discretos en su comunicación con el lenguaje. Dichos símbolos representan una versión comprimida del mundo que deriva su significado de la información contextual compartida. Además, el razonamiento humano implica la manipulación de símbolos a nivel cognitivo, lo que facilita el razonamiento abstracto, la composición del conocimiento y la comprensión, generalización y aprendizaje eficiente. Motivados por estas ideas, en este artículo argumentamos que combinar representaciones discretas y continuas y su procesamiento será esencial para construir sistemas que exhiban una forma general de inteligencia. Sugerimos y discutimos varias vías que podrían mejorar las redes neuronales actuales con la inclusión de elementos discretos para combinar las ventajas de ambos tipos de representaciones.

arXiv:2201.01233v1 [cs.NE]
Neural and Evolutionary Computing (cs.NE)

Post to Twitter

Escribe un comentario