Paper reading: Efficient Estimation of Word Representations

From google brain: https://arxiv.org/pdf/1301.3781.pdf

projection layer: 投射层，maps word index to continuous vector space. ("hidden layer is removed")
projection layer input 可能是一个one hot encoding 的 vector， 就是第i个word，除了位置i是1，其他全是0。这个层没有softmax, 只是单纯的投射过程。
http://mi.eng.cam.ac.uk/~gwb24/publications/mphil.thesis.pdf

之前的 forward neural network, 用前面的词来预测这个词w(t)

Bag of words: 通过周围的词 (context)，预测这个词 w(t)。不仅之前的词，被用到，之后的词也被用到。当然这个之前之后是有限制的 (time step)。

Skip gram: 通过这个词 w(t), 预测周围的词

最开始的input 应该都是one hot encoding value



最后的word vector 应该就是这个projection layer对应的weight， 每个词都会有一个N dimensional vector 表示，这个N可以是自定义的

比如2D result


Library

  • gensim


  1. https://radimrehurek.com/gensim/models/word2vec.html
  2. N 用size 来表示
  3. sg=1 如果想用skip gram



  • Tensorflow word2vec: 


  1. https://www.tensorflow.org/tutorials/word2vec



评论

发表评论

此博客中的热门博文

Embedded System interview Question

1. What are static variables? Static variable in a function only remain one copy of itself. Static variable in a module can be used by any function in the module Static function can only be called in its class 2.  What are volatile variables? Volatile variables may change its value unexpectedly in the program. The program will check its value every time, it tries to use it. If a variable is not volatile, the program may keep a copy of the var in its cache. 3. What do you mean by const keyword ? A constant variable is a read only variable. You cant change its value else where except initialization. 4. What is interrupt latency? Interrupt latency is the time between the generation of interrupt and the time for interrupt  handler  to process it. 5. How you can optimize it? We may use polling and message passing for interrupt to handle interrupt immediately. 6. What is size of character, integer, integer pointer, character pointer? The size of character is 1 byte, inte
阅读全文

MicroKernel & Exokernel 操作系统未来可能的发展

图片
MicroKernel  可以叫做微内核，有人认为传统的monolithic kernel 提供的东西太多，我们可以给内核减负。 最典型的例子就是L4 micro kernel (图中的kernel)只提供最简单的服务，比如IPC (inter process communication), scheduling, address space  剩下的都交给Server 去处理，Server 类似于传统的monolithic kernel 比如Linux, 但是需要改动,L4 把它改为L4Linux. 源代码修改，此外他们还修改了Windows XP (windows 并非完全的不开源，在授权的情况下可以看到源代码). 修改的目的，很简单：以前Server talks to hardware directly, 现在多加了一层 Kernel (L4),它处理所有的hardware interrupt, 然后作为message 传递给server, server 再传递给software. 比如浏览器process 需要一个network packet。 收到packet 以后,L4 作出interrupt,传给Server(比如L4Linux),Server 再与L4,通过IPC 请求packet内容，L4会map到L4Linux的address space，Server 再传给Software(e.g. Firefox).  再比如page fault（由于内存容量有限，有些内容被暂时swap 到硬盘，application 想用的时候发现不在了，就产生page fault） 产生,首先处理interrupt的是Kernel, Kernel sends IPC to L4Linux, L4Linux从自己manage的physical memory 里面分一个page出来，给application,并更新自己的shadow page table(不是真正的page table) .L4Linux 产生一个返回值告诉L4, 已经完成。L4 updates its true hardware page table. Micro Kernel 从设计之初的想法应该是高效的，反映速度快，因为很多东西都由user space（Micr
阅读全文

2019/08 美国股市风险分析

图片
Cyclically adjusted price-to-earnings ratio CAPE p/e 这几天看了诺贝尔经济学奖得主Robert Shiller《非理性繁荣》，其中谈到了通过price earnings ratio衡量市场价格的方法[3]。 他的方法比较特殊，拿s&p 500 的价格除以过去10年窗口的inflation adjusted earnings 平均值，而不是去年的earnings。 https://www.multpl.com/shiller-pe ,  http://www.econ.yale.edu/~shiller/data.htm   为什么要看10 year average 不看去年的呢? 根据席勒的feedback理论，泡沫发生过程中会有一个正反馈，earnings也顺势增长，但其实只是一种错误的信号。比如2007年7月泡沫顶端，p/e 只有1520/82 ~= 18.5[8]。同理下跌的时候有一个负反馈，2009年六月，p/e到了123[8]，earnings只有7。 看10year average，可以average out这种spike date s&p 500 index dividend earnings 2007.07 1520.71 26.44 82.81 那么是否是earnings真的下降的如此剧烈呢？ 两年间earnings下降了大约90%。 看几个例子， 微软，2009年较2008年net income, 从17b下降到了14b, 下降了20%[9]。 Ford 2008 年 loss 14b[10], 2007年loss 2b，但是2009年又扭亏为盈了。这种公司和经济形式关系最为密切 At&t 只下降了不到2% [11] 首当其冲的银行股, boa, net income 从14b下降到4b, [12] 普通p/e 2014 年他在纽约时报[1]中提到了25以上就已经高了，但2019/08 已经到了30左右。如果不看席勒的p/e 分析，s&p 500 现在p/e 只有21[2]。 21是否高呢，相比其他市场日经指数p/e ratio 大
阅读全文