什么是Recurrent Neural Network

什么是Recurrent Neural Network？


循环神经网络/递归神经网络(Recurrent Neural Network)，主要解决的是序列类的问题，有时候顺序非常关键。比如，我喜欢苍老师的电影，和苍老师喜欢我的电影，意思完全不同；我想和马云爸爸一样有钱和马云爸爸想和我一样有钱，意思也完全不同。

那么RNN是如何工作的呢？

最重要的就是这个公式，当前状态由，上一个状态和当前输入而决定
ht 带表当前时刻的隐藏状态hidden state, ht-1就是上一个状态的hidden state, xt, 是当前时刻的输入

我    喜欢    星球大战
举个例子，我喜欢星球大战，把这句话，分成三个词，x0 是我，x1是喜欢，x2是星球大战
h0 由初始状态，和x0， "我" 来决定
h1  就由h0和x1"喜欢"来决定
h2 由h1, 和x2 "星球大战"来决定



ht-1 乘以它的weight Wh 加上
Xt 乘以它的weight Wx
两个相加，
经过激活函数tanh, 最后就得到ht了

Wh, Wx, 都没有下角标t, 所以这两个weight 是由各个时刻共享的
训练的过程就是更新这两个weight的过程，把它们优化成最佳值

刚才讲的是最基础的RNN模型，下面看一下encoder/decoder 模型是如何利用RNN 来对诗的
Encoder/Decoder 顾名思义，由两个部分组成
encoder 部分的输入是已知诗的第一句，举个例子，床 前 明 月 光，五个字，
decoder 部分的输入是encoder 的输出，加上自己的上一次输出。
比如说，预测第一个字，因为decoder 自己还没有输出，所以用起始符，来表示自己上一次的输出，加上encoder 处理床前明月光的输出，这样decoder 就输出了，疑这个词
预测第二个字的时候，疑这个字就变成了输入
假设刚才输出不是疑这个字，输出了低这个字，那么预测第二个字的时候，低就变成了输入
假设预测第五个字输出是霜，预测第六个字的时候，霜变成了输入，输出是终止符，表示不用继续预测了

最后讲一下，注意力机制，attention mechanism

对于翻译问题来说，我们需要把所有的词都结合起来翻译成目标语言
注意力机制，就是提高每一个输入词的参与度的一种机制

之前说的encoder只有最后一个输出，被decoder 使用
现在decoder 要使用所有encoder 的输出，并且给每一个输出加上一个权重weight, 使用多少由这个权重来决定


欢迎关注我的频道，神经网络视频


评论

发表评论

此博客中的热门博文

Embedded System interview Question

1. What are static variables? Static variable in a function only remain one copy of itself. Static variable in a module can be used by any function in the module Static function can only be called in its class 2.  What are volatile variables? Volatile variables may change its value unexpectedly in the program. The program will check its value every time, it tries to use it. If a variable is not volatile, the program may keep a copy of the var in its cache. 3. What do you mean by const keyword ? A constant variable is a read only variable. You cant change its value else where except initialization. 4. What is interrupt latency? Interrupt latency is the time between the generation of interrupt and the time for interrupt  handler  to process it. 5. How you can optimize it? We may use polling and message passing for interrupt to handle interrupt immediately. 6. What is size of character, integer, integer pointer, character pointer? The size of character is 1 byte, inte
阅读全文

MicroKernel & Exokernel 操作系统未来可能的发展

图片
MicroKernel  可以叫做微内核，有人认为传统的monolithic kernel 提供的东西太多，我们可以给内核减负。 最典型的例子就是L4 micro kernel (图中的kernel)只提供最简单的服务，比如IPC (inter process communication), scheduling, address space  剩下的都交给Server 去处理，Server 类似于传统的monolithic kernel 比如Linux, 但是需要改动,L4 把它改为L4Linux. 源代码修改，此外他们还修改了Windows XP (windows 并非完全的不开源，在授权的情况下可以看到源代码). 修改的目的，很简单：以前Server talks to hardware directly, 现在多加了一层 Kernel (L4),它处理所有的hardware interrupt, 然后作为message 传递给server, server 再传递给software. 比如浏览器process 需要一个network packet。 收到packet 以后,L4 作出interrupt,传给Server(比如L4Linux),Server 再与L4,通过IPC 请求packet内容，L4会map到L4Linux的address space，Server 再传给Software(e.g. Firefox).  再比如page fault（由于内存容量有限，有些内容被暂时swap 到硬盘，application 想用的时候发现不在了，就产生page fault） 产生,首先处理interrupt的是Kernel, Kernel sends IPC to L4Linux, L4Linux从自己manage的physical memory 里面分一个page出来，给application,并更新自己的shadow page table(不是真正的page table) .L4Linux 产生一个返回值告诉L4, 已经完成。L4 updates its true hardware page table. Micro Kernel 从设计之初的想法应该是高效的，反映速度快，因为很多东西都由user space（Micr
阅读全文

中国城市房地产分析

简介 到2018年中国房地产似乎出了大问题，有的地方开始调控政策，海南的限购，西安却开始吸引人才计划，2018年一个季度人口增加30万，3%，房价也随之猛烈上涨。 有的人说房地产要崩盘了，不是政府压着早就破了； 有的人说中国的房地产泡沫不是全局现象，泡沫不大，而且政府控制着不可能破灭，如果政府不控制，涨的更厉害。 政府主流媒体的认为现在买房都是刚需，政府不能让房价迅速上涨。 那么这么多观点究竟谁说的对？ 先分析以下是否是刚需，如果是的话为什么要调控呢？ 刚需指的是需求大，但是供应少。按照市场规律，这时候价格会上涨，供应会随之增加，供应增加以后价格会下降，最终达到一个平衡的状态。所以如果是刚需的话，政府采取的方式应该是提高供应，方法是地方政府批更多，更便宜的地给开发商。但是，政府现在批的地没有增加很多（全国的开工面积是增加的2017 年1.7B平米, 2010年1.6B平米；北京2017年新开工12M平米，2008年11M平米），主要采取的方式是限制贷款，限制购买，和限制价格的三限制政策。 为什么会这样？一种可能是刚需是假的。造成需求大的原因有：人口增长（中国城市化不可避免的，城市人口从10%到60%；资源分配集中在大城市，更多的医疗，学校，工作，基础设施，北京2010年大约20M，现在21M，2000只有13M）；收入增长（收入在过去二十几年里面翻了十倍，有些地方房价也涨了10倍，有的地方涨的更多）；租房价格增长(alternative)（北京租金2016大约71每平米，2018年88每平米， 2008年大约53每平米）。 注意中国的平均数据不能反应各地的实际情况。 拿全国的数据来说，先分析以下需求，首先是人数增长，2013年城镇人口731M, 2017年813M，增长了11%。房地产竣工面积非常稳定大约每年0.7B平米，按照每个城市人均30平米计算，80M的新增人口需要2.4B平米的住房。销售面积每年都超过1B平米，并且统计局表明销售面积不包括二手房，因为期房预售的情况比较普遍，房子还没竣工就卖了。所以等于说这五年卖了超过5B平米的房子，但是需求只有2.4B。 原因之一应该是已有住房的人，想要更多的人均住房面积，住更大的房子。平均到2013年731M的城市人口上每个人增加了3平米，似乎也是合理的。目前城市人均住房面积大约是36平米，2012年32平米，基本和之前估
阅读全文