数据降维
给定数据$x_1,x_2,\cdots,x_N$，其中每个$x_i$是一个$D$维向量，现在要将其降低到M维，降维有以下几种方法： PCAPCA可以以两种方式来看待，一是最大化方差，二是最小化误差 最大化方差考虑$D=2$的情况,假设$M=1$,找到的投影方向为$\mu_1$,那么最大化方差即为$$\max v = \frac{1}{N}\sum_{i=1}^{N}(\mu_1^Tx_i - \m
标签：DeepLearning
神经网络求导细节
最近终于把RNN的求导细节给弄明白了，写一篇文章来总结一下DNN，CNN以及RNN的具体求导细节。在网上搜索资料的同时，发现很多时候RNN的求导大多数给的是矢量化的形式，并不容易去理解，比如说$y$是一个标量，$y = \sum_n||y_n - t_n||^2$，通常用的error形式，对一个权重矩阵$w$求导，也应该是一个矩阵的形式。但是一旦涉及到微积分的链式法则，通常很难以去理解。比如说$$