机器学习基础-线性代数
# 前言
线性代数(linear algebra)是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究,同时也涉及到所有的向量空间的一般性质。
本文主要介绍机器学习中所用到的线性代数核心基础概念,供读者学习阶段查漏补缺或是快速学习参考。
# 线性代数
# 行列式
1.行列式按行(列)展开定理
(1) 设,则:
或即 其中:
(2) 设为阶方阵,则,但不一定成立。
(3) ,为阶方阵。
(4) 设为阶方阵,(若可逆),
(5) ,为方阵,但 。
(6) 范德蒙行列式
设是阶方阵,是的个特征值,则
# 矩阵
矩阵:个数排成行列的表格 称为矩阵,简记为,或者 。若,则称是阶矩阵或阶方阵。
矩阵的线性运算
1.矩阵的加法
设是两个矩阵,则 矩阵称为矩阵与的和,记为 。
2.矩阵的数乘
设是矩阵,是一个常数,则矩阵称为数与矩阵的数乘,记为。
3.矩阵的乘法
设是矩阵,是矩阵,那么矩阵,其中称为的乘积,记为 。
4. 、、三者之间的关系
(1)
(2)
但 不一定成立。
(3) ,
但不一定成立。
(4)
5.有关的结论
(1)
(2)
(3) 若可逆,则
(4) 若为阶方阵,则:
6.有关的结论
可逆
可以表示为初等矩阵的乘积;。
7.有关矩阵秩的结论
(1) 秩=行秩=列秩;
(2)
(3) ;
(4)
(5) 初等变换不改变矩阵的秩
(6) 特别若 则:
(7) 若存在 若存在
若 若。
(8) 只有零解
8.分块求逆公式
; ;
;
这里,均为可逆方阵。
# 向量
1.有关向量组的线性表示
(1)线性相关至少有一个向量可以用其余向量线性表示。
(2)线性无关,,线性相关可以由唯一线性表示。
(3) 可以由线性表示 。
2.有关向量组的线性相关性
(1)部分相关,整体相关;整体无关,部分无关.
(2) ① 个维向量 线性无关, 个维向量线性相关 。
② 个维向量线性相关。
③ 若线性无关,则添加分量后仍线性无关;或一组向量线性相关,去掉某些分量后仍线性相关。
3.有关向量组的线性表示
(1) 线性相关至少有一个向量可以用其余向量线性表示。
(2) 线性无关,,线性相关 可以由唯一线性表示。
(3) 可以由线性表示
4.向量组的秩与矩阵的秩之间的关系
设,则的秩与的行列向量组的线性相关性关系为:
(1) 若,则的行向量组线性无关。
(2) 若,则的行向量组线性相关。
(3) 若,则的列向量组线性无关。
(4) 若,则的列向量组线性相关。
5.维向量空间的基变换公式及过渡矩阵
若与是向量空间的两组基,则基变换公式为:
其中是可逆矩阵,称为由基到基的过渡矩阵。
6.坐标变换公式
若向量在基与基的坐标分别是 ,
即: ,则向量坐标变换公式为 或,其中是从基到基的过渡矩阵。
7.向量的内积
8.Schmidt 正交化
若线性无关,则可构造使其两两正交,且仅是的线性组合,再把单位化,记,则是规范正交向量组。其中 , , ,
............
9.正交基及规范正交基
向量空间一组基中的向量如果两两正交,就称为正交基;若正交基中每个向量都是单位向量,就称其为规范正交基。
# 线性方程组
1.克莱姆法则
线性方程组,如果系数行列式,则方程组有唯一解,,其中是把中第列元素换成方程组右端的常数列所得的行列式。
2. 阶矩阵可逆只有零解。总有唯一解,一般地,只有零解。
3.非奇次线性方程组有解的充分必要条件,线性方程组解的性质和解的结构
(1) 设为矩阵,若,则对而言必有,从而有解。
(2) 设为的解,则当时仍为的解;但当时,则为的解。特别为的解;为的解。
(3) 非齐次线性方程组无解不能由的列向量线性表示。
4.奇次线性方程组的基础解系和通解,解空间,非奇次线性方程组的通解
(1) 齐次方程组恒有解(必有零解)。当有非零解时,由于解向量的任意线性组合仍是该齐次方程组的解向量,因此的全体解向量构成一个向量空间,称为该方程组的解空间,解空间的维数是,解空间的一组基称为齐次方程组的基础解系。
(2) 是的基础解系,即:
是的解;
线性无关;
的任一解都可以由线性表出. 是的通解,其中是任意常数。
# 矩阵的特征值和特征向量
1.矩阵的特征值和特征向量的概念及性质
(1) 设是的一个特征值,则 有一个特征值分别为 且对应特征向量相同( 例外)。
(2)若为的个特征值,则 ,从而没有特征值。
(3)设为的个特征值,对应特征向量为,
若: ,
则: 。
2.相似变换、相似矩阵的概念及性质
(1) 若,则
,对成立
3.矩阵可相似对角化的充分必要条件
(1)设为阶方阵,则可对角化对每个重根特征值,有
(2) 设可对角化,则由有,从而
(3) 重要结论
若,则.
若,则,其中为关于阶方阵的多项式。
若为可对角化矩阵,则其非零特征值的个数(重根重复计算)=秩()
4.实对称矩阵的特征值、特征向量及相似对角阵
(1)相似矩阵:设为两个阶方阵,如果存在一个可逆矩阵,使得成立,则称矩阵与相似,记为。
(2)相似矩阵的性质:如果则有:
(若,均可逆)
(为正整数)
,从而 有相同的特征值
,从而同时可逆或者不可逆
秩秩,不一定相似
# 二次型
1.个变量的二次齐次函数
,其中,称为元二次型,简称二次型. 若令,这二次型可改写成矩阵向量形式。其中称为二次型矩阵,因为,所以二次型矩阵均为对称矩阵,且二次型与对称矩阵一一对应,并把矩阵的秩称为二次型的秩。
2.惯性定理,二次型的标准形和规范形
(1) 惯性定理
对于任一二次型,不论选取怎样的合同变换使它化为仅含平方项的标准型,其正负惯性指数与所选变换无关,这就是所谓的惯性定理。
(2) 标准形
二次型经过合同变换化为
称为 的标准形。在一般的数域内,二次型的标准形不是唯一的,与所作的合同变换有关,但系数不为零的平方项的个数由唯一确定。
(3) 规范形
任一实二次型都可经过合同变换化为规范形,其中为的秩,为正惯性指数,为负惯性指数,且规范型唯一。
3.用正交变换和配方法化二次型为标准形,二次型及其矩阵的正定性
设正定正定;,可逆;,且
,正定正定,但,不一定正定
正定
的各阶顺序主子式全大于零
的所有特征值大于零
的正惯性指数为
存在可逆阵使
存在正交矩阵,使
其中正定正定; 可逆;,且 。
# 总体框架
# 运算性质
# 参考文章
机器学习的线性代数基础概念 · 机器学习数学基础 (itdiffer.com) (opens new window)
机器学习中的线性代数 - 知乎 (zhihu.com) (opens new window)
线性代数基本知识-思维导图_线性代数思维导图_Arrow的博客-CSDN博客 (opens new window)
# 推荐阅读
【机器学习的数学基础】(二)线性代数(Linear Algebra)(中)_二进制人工智能的博客-CSDN博客 (opens new window)
【机器学习的数学基础】(三)线性代数(Linear Algebra)(下)_ordered basis线代_二进制人工智能的博客-CSDN博客 (opens new window)