统计学习方法第二章—感知机
感知机——二类分类的线性分类模型
1.感知机模型
输入空间(特征空间)为 $\mathcal{X}\subseteq R^n$,输出空间为 $\mathcal{Y}\subseteq {+1,-1}$,输入 $x\in\mathcal{X}$ 表示实例的特征向量,输出 $y\in\mathcal{Y}$ 表示实例的类别,输入到输出空间的函数:
$f(x)=\operatorname{sign}(w \cdot x+b)$ 称为感知机,其中w:权值,b:偏置
感知机几何解释:线性方程 $w\cdot x+b=0$ 对应于特征空间$R^n$中的一个超平面S,w为超平面的法向量,b为超平面的截距,S将特征空间分为两个部分,位于两部分的点分别被分为正、负两类。
统计学习方法第六章—逻辑斯谛回归与最大熵模型
1.逻辑斯谛回归模型
1.1 逻辑斯谛分布
逻辑斯谛分布:X是连续随机变量,X服从逻辑斯谛分布指其具有下列分布函数和密度函数:
$$
\begin{array}{l}{F(x)=P(X \leqslant x)=\frac{1}{1+\mathrm{e}^{-(x-\mu) / \gamma}}} \ {f(x)=F^{\prime}(x)=\frac{\mathrm{e}^{-(x-\mu) / \gamma}}{\gamma\left(1+\mathrm{e}^{-(x-\mu) / \gamma}\right)^{2}}}\end{array}
$$
其中 $\mu$ 为位置参数,$\gamma>0$ 为形状参数。
统计学习方法第四章—朴素贝叶斯法
1.朴素贝叶斯法的学习与分类
1.1 基本方法
输入空间$\mathcal{X} \subseteq \mathbf{R}^{n}$,输出空间$\mathcal{Y}=\left{c_{1},c_{2}, \cdots, c_{K}\right}$,朴素贝叶斯法通过训练集学习联合概率分布$P(X, Y)$,具体地学习先验概率分布$P\left(Y=c_{k}\right)$和条件概率分布$P\left(X=x | Y=c_{k}\right)=P\left(X^{(1)}=x^{(1)}, \cdots, X^{(n)}=x^{(n)} | Y=c_{k}\right)$,进而得到联合概率分布$P(X, Y)$。
条件概率分布有指数量级的参数,难以估计,现做出条件独立性假设: