什么是一种处理时序数据的神经网络

循环神经网络（recurrent neural network, rnn）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。

对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（deep learning）算法之一，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的的循环神经网络 。  (推荐学习：web前端视频教程）

循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进行学习时具有一定优势。

循环神经网络在自然语言处理（Natural Language Processing, NLP），例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。

引入了卷积神经网络（Convoutional Neural Network,CNN）构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。

Intermediate Perl 电子书 chm版

从一个Perl爱好者到一个Perl程序员。《Intermediate Perl》将教您如何把Perl作为编程语言来使用，而不仅只是作为一种脚本语言。 　　Perl是一种灵活多变、功能强大的编程语言，可以应用在从系统管理到网络编程再到数据库操作等很多方面。人们常说Perl让容易的事情变简单、让困难的事情变得可行。《Intermediate Perl》正是关于如何将技能从处理简单任务跃升到胜任困难任务的书籍。 　　本书提供对Perl中级编程优雅而仔细的介绍。由畅销的《学习Perl》作者所著，本书提供了《学习P

0

查看详情

在SRN出现的同一时期，循环神经网络的学习理论也得到发展。在反向传播算法的研究受到关注后 [18]  ，学界开始尝试在BP框架下对循环神经网络进行训练 。

1989年，Ronald Williams和David Zipser提出了循环神经网络的实时循环学习（Real-Time Recurrent Learning, RTRL）。随后Paul Werbos在1990年提出了循环神经网络的随时间反向传播（BP Through Time，BPTT），RTRL和BPTT被沿用至今，是循环神经网络进行学习的主要方法。

1991年，Sepp Hochreiter发现了循环神经网络的长期依赖问题（long-term dependencies problem），即在对序列进行学习时，循环神经网络会出现梯度消失（gradient vanishing）和梯度爆炸（gradient explosion）现象，无法掌握长时间跨度的非线性关系 。

为解决长期依赖问题，大量优化理论得到引入并衍生出许多改进算法，包括神经历史压缩器（Neural History Compressor, NHC） 、长短期记忆网络（Long Short-Term Memory networks, LSTM） 、门控循环单元网络（Gated Recurrent Unit networks, GRU） 、回声状态网络（echo state network）、独立循环神经网络（Independent RNN）等。

以上就是什么是一种处理时序数据的神经网络的详细内容，更多请关注php中文网其它相关文章！