前言
近期在自学机器学习，把笔记做个整理，以方便查阅和整理知识框架。喜欢探讨机器学习或者Android开发技术的同学可以加学习小组QQ群: 193765960。
本文是机器学习的第一篇，因为我本人对机器学习的整个理解有限，就不再给大家一本正经的胡说八道了，以免误人子弟，仅是根据自己的理解做一个学习笔记，如果有大牛发现我这个小菜鸟的学习路线跑偏了，还希望能够提醒一下哈，在此表示感谢。
版权归作者所有，如有转发，请注明文章出处：https://xiaodanchen.github.io/archives/
数学基础教材名目（我自己根据理解指定的，不一定准确）
- 线性代数（同济大学 第四版）
- 概率论与数理统计（浙江大学 第三版）
- 复变函数（西安交通大学 第四版）
- 随机过程极其应用（陆大絟 清华大学）
线性代数
第一章 行列式
概念：
- 行列式是一个算术表达式的矩阵式的表达方式，比如表达式$a_{11}a_{22} - a_{12}a_{21}$的二阶行列式表示为：$$\begin{vmatrix} a_{11}\ \ a_{12} \\ a_{21}\ \ a_{22} \end{vmatrix}$$ $a_{ij}$称为行列式的元素或元
- 全排列及其逆序数
- 把n个元素排成一列就叫这n个元素的一个全排列，简称排列。
- 对n个元素规定好一个标准的次序，对于这n个元素的任何一个排列，如果任意两个元素相互的先后次序与标准排列中的次序不一致，就说有一个逆序。
- 一个排列中的逆序总数称为这个排列的逆序数
- 逆序数为奇数的排列称为奇排列，为偶数的排列称为偶排列。
n阶行列式(t是$p_1，p_2，…，p_n$相对于自然数列1，2，…n的逆序数)
$$\sum(-1)^ta_1p_1a_2p_2...a_np_n = \begin{vmatrix} a_{11}\ \ a_{12}\ ... a_{1n}\\ a_{21}\ \ a_{22}\ ... a_{2n}\\ .....\\ a_{n1}\ \ a_{n2}\ ... a_{nn} \end{vmatrix}= D$$转置行列式$D^T$
$$D = \begin{vmatrix} a_{11}\ \ a_{12}\ ... a_{1n}\\ a_{21}\ \ a_{22}\ ... a_{2n}\\ .....\\ a_{n1}\ \ a_{n2}\ ... a_{nn} \end{vmatrix},D^T = \begin{vmatrix} a_{11}\ \ a_{21}\ ... a_{n1}\\ a_{12}\ \ a_{22}\ ... a_{n2}\\ .....\\ a_{1n}\ \ a_{2n}\ ... a_{nn} \end{vmatrix}$$
定理及推论
- 主对角线以下（上）的元素全为零的行列式叫做上（下）三角行列式，其算术表达式为对角线元素乘积。
- 一个排列中，任意两个元素对换，排列改变奇偶性。
- 奇数排列变成标准排列的对换次数为奇数，偶数排列对换成标准排列的次数为偶数。
- 行列式与他的转置行列式相等
- 互换行列式的两行（列）,行列式变号。
- 行列式中如果有两行或两列成比例，则次行列式等于零。
- 把行列式的某一行（列）的元素各自拆分成2个数字的和，则行列式的值等于拆分的两个子行列式的和
- 把行列式的某一行（列）的各个元素乘以同一个数加到另一行（列）对应的元素上去，行列式不变。
余子式：在行列式中，把第$a_{ij}$元素所在的行和列删除后，剩余的行列式称为$a_{ij}$的余子式，计做$M_{ij}$。$A_{ij} = (-1)^{i+j}M_{ij}$称为$a_{ij}$的代数余子式。
- 一个行列式，如果其中第i行所有元素除$a_{ij}$之外全为零，那么这个行列式等于$a_{ij}$与他的代数余子式$A_{ij}$的乘积。
- 行列式等于他的任意一行（列）的各个元素与其对应的代数余子式的乘积之和。（行列式的按行、按列展开）
克拉默法则
含有n个未知数的n个线性方程的方程组
$$\left\{\begin{matrix}
a_{11}x_1 + a_{12}x_2 + ...+ a_{1n}x_n = b_1\\
a_{21}x_1 + a_{22}x_2 + ...+ a_{2n}x_n = b_2\\
......\\
a_{n1}x_1 + a_{n2}x_2 + ...+ a_{nn}x_n = b_n
\end{matrix}\right.$$
如果线性方程组的系数不等于零，即
$$D = \begin{vmatrix}
a_{11}\ \ a_{12}\ ... a_{1n}\\
a_{21}\ \ a_{22}\ ... a_{2n}\\
.....\\
a_{n1}\ \ a_{n2}\ ... a_{nn}
\end{vmatrix}\neq 0,$$
那么，方程组有唯一解
$x_1 = \frac{D_1}{D}, x_2 = \frac{D_2}{D},..., x_n = \frac{D_n}{D},$
其中，$D_j(j = 1,2,...,n)$是把系数行列式D中的第j列用方程式组右端的常数项替换后所得的n阶行列式。
根据克拉默法则，可以得出如下定理，
- 如果n阶线性方程组的系数行列式不等于0，则方程组一定有唯一解。
- 如果n元线性方程组无解或者有两个不同的解，则它的系数行列式必为0
- 如果n元齐次方程组（方程组右端为0）的系数行列式不等于0，则齐次方程组没有非零解。
- 如果齐次方程组有非零解，则它的系数行列式必为0.
第二章：矩阵及其运算
矩阵定义
- 由$m \times n$个数排成的m行n列的数表称为m行n列矩阵，简称$m \times n$矩阵,记作$$A = \begin{bmatrix} a_{11}\ \ a_{12}\ ... a_{1n}\\ a_{21}\ \ a_{22}\ ... a_{2n}\\ .....\\ a_{m1}\ \ a_{m2}\ ... a_{mn} \end{bmatrix}\neq 0,$$ 简记作$A_{m \times n}$
- 元素是实数的矩阵称为实矩阵，元素为复数的矩阵称为复矩阵
- 行数和列数都为n的矩阵称为n阶方阵，记为$A_n$
- 只有一行的矩阵称为行矩阵，又叫做行向量
- 只有一列的矩阵称为列矩阵，又叫做列向量
- 两个行数和列数均分别相等的矩阵，称为同型矩阵
