几个问题

• 什么是超平面
• 法向量？向量相乘?
• 点到超平面距离?
• 如何把$y_i*(w*x_i+b)$强制置为1?

超平面就是原来的空间减少一个维度的平面, 超平面用$w^T*x+b=0$表示

点到超平面的距离

点$x_0$投影到超平面上的点为$x_1$，可知$w*x_1+b=0$,法向量和垂直向量是平行关系，论述中$x_0, x_1, w$均为N维向量, d为所求的距离
易知，两点的连线$\vec{x_0x_1}$垂直于平面，即和法向量平行，单位法向量可表示为
$$\vec{I} = \frac{w}{|w|}$$ 即有
$$\vec{x_0x_1}=\vec{I}*d$$
$$=\frac{w}{|w|}*d$$，故有
$$|w*\vec{x_0x_1}|=|w*\frac{w}{|w|}*d|=|\frac{w_1^2+w_2^2+…+w_n^2}{|w|}*d|=|w|d$$
$$w*\vec{x_0x_1}=w^1(x_0^1-x_1^1)+w^2(x_0^2-x_1^2)+…+w^N(x_0^N-x_1^N)$$
$$=w^1x_0^1+w^2x_0^2+…+w^Nx_0^N-(w^1x_1^1+w^2x_1^2+…+w^Nx_1^N)$$
$$=w*x_0+b$$
$$|w|d=|w*x_0+b|$$ 得出 $$d=\frac{|w*x_0+b|}{|w|}$$
这个求得就是集合距离，而非函数距离，函数距离是分子，调节$w,b$可以无限大，没有意义，所以要加w的L2正则项作为分母。

求最优解

只分析support vector上的点，负例取-1, 正例取+1，所以 $d=y*\frac{w*x_0+b}{|w|}$，如何$\max{d}$?，超平面通过调整$w$和$b$可将support vector上的点的函数值变为1和-1，这样问题变为求
$$\min{\frac{1}{|w|}}$$ 且满足条件，对所有的样本$x$满足
$$y*(w*x+b)>=1$$

为何要设置support vec上的点的$y*(w*x+b)=1$?

目标是
$$Obj=\max{\frac{1}{|w|}}\min{y_i*(w*x_i+b)}, i \in {1,2,…,n}$$
可以做到让
$\min{y_i*(w*x_i+b)}, i \in {1,2,…,n} = 1$ ？可见对w做限制皆可，即上面的限制条件，如果控制|w|不变，则原来的目标仍然不能简化(max, min)，且有两个变量，而如果按照上面的设置(即最小的函数距离设置为1)，则完全可以做到。

拉格朗日乘子？KKT条件？

上述条件可整理如下
$$Obj=\min{\frac{1}{2}*|w|^2}$$
$$s.t. w*x_i+b=1;i=0,1,…,n$$
引入拉个朗日乘子$\alpha$
$$Objx=\frac{1}{2}*|w|^2-\sum^n_{i=1}{\alpha*(w*x_i+b-1)}; m=1,2,…,m$$
由于$w*x_i+b>=1$, 所以
$$\max{Objx} = \frac{1}{2}*|w|^2$$ 即$\alpha$满足
引入拉格朗日乘子是将目标变成无约束条件

$$
\alpha =
\begin{cases}
= 0 & w*x_i+b>1 \newline
\gt 0 & w*x_i+b=1
\end{cases}
$$
不在support vector上点的$\alpha$都等于0，支持向量上的$\alpha$大于0, 于是可得
$$
Obj=\min{\max{Objx}}
$$
可以转成对偶问题，即最小的最大值能否转化为最大的最小值？答案是强对偶条件下是等价的，而一般的凸问题优化都是满足强对偶条件的。然后用KKT条件求解，极值点在w和b求导=0处，联立可以求$\alpha$的范围