璀璨星河，伴我同行

几个问题 什么是超平面 法向量？向量相乘? 点到超平面距离? 如何把$y_i*(w*x_i+b)$强制置为1? 超平面就是原来的空间减少一个维度的平面, 超平面用$w^T*x+b=0$表示 点到超平面的距离点$x_0$投影到超平面上的点为$x_1$，可知$w*x_1+b=0$,法向量和垂直向量是平行关系，论述中$x_0, x_1, w$均为N维向量, d为所求的距离易知，两点的连线$\... Continue reading...

EM算法和最大似然的区别MLE = Max Likelihood Estimation，最大似然估计，这个可以解一般的问题，比如投硬币10次，9次朝上，1次朝下，问硬币朝上的概率是多少？则$$MLE = arg \max_{p} p^{9}(1-p)$$如何求最大值，对参数求导=0即可，这个不好算，一般最大似然会取Log，这样求导会方便一些$$log(p^9(1-p)) = 9logp + ... Continue reading...

回顾一下boosting tree的基础知识，主要是gbdt、lambdamart、xgboost、lightgbm等，温习一下主要的实现原理,keypoint，这里对公式啥的就简单的表示一下。之前的文章中提到了决策树，决策树的目标是又多种定义方式，比如信息增益、信息增益率或者gini系数，决策树是单颗树，而boosting是用多个弱分类器来拟合最后的得分，即F(x) = f1(x)+f2(... Continue reading...

前言本文主要是纪录近期实现的一个增强学习的实例，一直再说增强学习，原理大家也都理解，可是受制于图形学、算法等，直观的增强学习的效果还是很难看到的，多亏了ale，结合opencv可以直观的看到增强学习的效果，下面将详细介绍DQN实现atari在mac上的实现。 参考资料 当然是参考经典的论文Playing Atari with Deep Reinforcement Learning基本实现gi... Continue reading...

背景北漂快五年了，什么都没有，房、车、户口，甚至连工作居住证都懒得办，这么懒、这么挫的后果就是在北京待不下去了，毕业后就一直在360这家公司，说实话，学到的东西不多，在外面看机会悲剧的多，当然也与我自己方向捏不清楚有关，截止到现在可以说是较团圆的结局，如愿的拿到了杭州阿里的工作机会，北京这边也有几个机会，接下来我会分享这一个多月的历程，充满了辛酸和苦辣，不到最后一个心都放不下来的感觉。 准备... Continue reading...

leetcode上遇到了一个问题，就是如果把一个sorted数组旋转一下，如[0,1,2,3,4,5,6,7] => [4,5,6,7,0,1,2,3]，这样二分查找还将如何进行？,当然是用O(log(n))的方法。 问题定义应该是如下的场景，12int search(vector<int> nums, int target) {} 不重复的情况这里会有... Continue reading...

这篇文章仅仅是简单的回顾一下决策树开始的一些经典算法，虽然较旧了，用的人少了，但是一些思想和算法，值得了解。下面主要介绍的算法有ID3、C4.5、CART、SLIQ、SPRINT，其中CART算法一笔带过吧，有些需要深究的部分，我也没有太理清，就把我现在理解的东西权当是记录一下把。 ID3ID3(Iterative Dichotomiser 3)，迭代的二分法分离模型version 3，是根... Continue reading...

背景短文本question-answer匹配度识别问题，论文(Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks.pdf), github实现。github的作者基本上实现了文章里的算法，计算的精度也差不多，不过使用theano实现的，我准备使用tensorflow实现，并解决大规模预料训练太慢的... Continue reading...

前言xgboost是有监督学习的利器，相较于与决策树、随机森林、gbdt等都有着明显优势，也许是各个算法有自己适用的领域吧。xgboost厉害之处在于同时控制了残差和复杂度，在迭代优化过程中，会同时考量这两个因素，本文会按照我自己的学习时的思路来介绍该算法，包括陈天奇(天才少年)的C++源码解读。 带着问题走由于之前也是使用了挺多的算法，包括dtree, random forest, 还有各... Continue reading...