RNN的提出可以追溯到1982年，当时J. Hopfield等人提出了一种称为“Hopfield网络”的模型，该模型可以用于解决序列数据处理问题。但是，RNN的应用受限于其难以处理长序列数据的问题，直到LSTM（1997）和GRU（2014）的提出才使得RNN的应用变得更加广泛。