Red de estado de eco

Una red de estado de eco (echo state network o ESN en inglés)^[1]​^[2]​ es un tipo de computador de reservoir que utiliza una red neuronal recurrente con una capa oculta conectada dispersamente (con una conectividad típica del 1%). La conectividad y los pesos de las neuronas ocultas son fijos y se asignan aleatoriamente. Los pesos de las neuronas de salida pueden aprenderse para que la red pueda producir o reproducir patrones temporales específicos. El principal interés de esta red es que, aunque su comportamiento es no lineal, los únicos pesos que se modifican durante el entrenamiento son los de las sinapsis que conectan las neuronas ocultas con las neuronas de salida. Así, la función de error es cuadrática con respecto al vector de parámetros y puede diferenciarse fácilmente a un sistema lineal.

Alternativamente, se puede considerar una formulación bayesiana no paramétrica de la capa de salida, bajo la cual: (i) se impone una distribución a priori sobre los pesos de salida; y (ii) los pesos de salida se marginan en el contexto de la generación de predicciones, dados los datos de entrenamiento. Esta idea ha sido demostrada mediante el uso de distribuciones a priori gaussianas,^[3]​ con lo que se obtiene un modelo de proceso gaussiano con función kernel impulsada por ESN. Se ha demostrado que esta solución supera a las ESN con conjuntos de pesos entrenables (finitos) en varias pruebas comparativas.

Algunas implementaciones de ESN disponibles públicamente son: (i) aureservoir: una biblioteca C++ eficiente para varios tipos de redes de estados de eco con enlaces python/numpy; y (ii) Matlab code: un matlab eficiente para una red de estados de eco, (iii) ReservoirComputing.jl: una implementación eficiente basada en Julia de varios tipos de redes de estados de eco, y (iv) pyESN: redes de estados de eco simples en Python.

1. ↑ Jaeger, H.; Haas, H. (2004). «Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication». Science 304 (5667): 78-80. Bibcode:2004Sci...304...78J. PMID 15064413. S2CID 2184251. doi:10.1126/science.1091277. 
2. ↑ Jaeger, Herbert (2007). «Echo state network». Scholarpedia 2 (9): 2330. Bibcode:2007SchpJ...2.2330J. doi:10.4249/scholarpedia.2330. 
3. ↑ Chatzis, S. P.; Demiris, Y. (2011). «Echo State Gaussian Process». IEEE Transactions on Neural Networks 22 (9): 1435-1445. PMID 21803684. S2CID 8553623. doi:10.1109/TNN.2011.2162109.