MIT-线性代数笔记

matrix

1. 两个方程两个未知数

   1. 行图
      
      两个方程两个未知数，形成一个线性方程组 AX=b，b是一个向量。
      形成一张行图，两直线的交点就是方程的解。

   2. 列图
      
      等式左边是矩阵的所有列，等式右边是b向量。这个灯饰的目的是找到两个向量的正确的线性组合（linear combination）。这就是列向量的线性组合（左边的部分）（也就是说我们要用两个向量去组合出第三个向量）
      其几何形式为：
      
      
      一倍的column1 + 两倍的 column2 得到了向量b

2. 三个方程三个未知数
   
   

   1. 行图

如果我们在xyz坐标轴中找到所有满足以上某一个方程的所有点，此时所有点的图像就是一个平面，这个平面上的所有点就是该方程的解。
如果把三个方程的解平面都作出，他们会相交于一点，该点就是方程组的解

2. 列图

将所有列向量进行组合，得到一个向量。何种的x，y，z的值能得到右边的向量呢？显然，x=0，y=0，z=1，即可组合出右边的向量（此时xyz的值就是解）

3. 保持左侧的列向量不变，设若这些列向量组成一个新的右侧向量，求解

4. 考虑所有的b向量，是否不管b是多少，都能求解出方程？（对任意b，能否都求解Ax=b？)
用线性组合的方式来解释该问题：列的所有线性组合能否覆盖整个三维空间？
（如果有，消元法可解）
答：当三个列向量同处于一个平面时，其线性组合也在该平面，（比如列3=列1+列2）那么不管怎样组合，都无法得出他们平面之外的向量，所能得到的b向量也会在这个平面内。（这种b向量只是少部分），对于大部分不在平面内的b来说，是无法被这三个列向量构造的。
这种情形就称为“奇异”（singular case），这三个列向量组成的矩阵就称为奇异矩阵（singular matrix）。这种矩阵是不可逆的（not invertible），so，对于奇异矩阵，不是任何b都有解

5. 对于一个九维矩阵来说，是否都有解？
答：若九个列向量中，有一个列向量没有贡献，（第九列等于第八列），这时的线性组合就只能覆盖八维。（降维），最后的求解只能在这八维空间上展开，而不能包含整个九维空间。

3. 方程的矩阵形式（如何用矩阵乘以向量）
   Ax=b
   
   法一：取1个第一列和2个第二列之和。(用列来计算，将A看成列的线性组合)
   法二：点乘，两个向量的乘积--（21+52 ，11+32) （用行来计算）

消元法（elimination）求解方程组（所有计算机采用的方法）

1. 用矩阵语言描述消元法
   

将matrix[0][0]作为主元（1st pivot），第一行不变，因为他是主元行，用它乘上某个数消除下一行（也就是将position（2，1）变成0，也就是使得matrix[1][0]==0）。（在这里我们先给b向量留一个位置，之后再把他加进去）

下一步是将position（3，1）的位置变为0（已经是0了，依然可以用第一行*0再消除）
（此时x已经消去）
下一步是将position（2，2）的数作为主元2（2nd pivot），去消除position（3，2），

此时我们得到了U矩阵
注意，0不能做主元，若有0占据了主元位置，需要换行处理

• 思考：什么时候消元***失效（不能得到三个主元）
  答：对于有n个方程的方程组，如果我们得不到n个主元，那么消元就会导致无解（0x（或y，x）=某个不为零的数）或者无穷解（0x（或y，x）=0），只有正好有n个主元的时候，方程组才有解，但我们可能需要交换行。用线性组合的方式来解释即（二维情况下，两直线平行）

2. 回代
   将b向量增加到A矩阵中，称为增广矩阵。此时若对矩阵进行消元，右侧向量也会同时变化
   
   此时我们得到Ux=c，对应方程组如下
   
   这就是回代，是反向求解方程的简单步骤（方程组是三角的，所以是反向）

3. 矩阵
   矩阵*向量（列向量） 就是 矩阵列的线性组合，这是【列变换】
   

向量（行向量）*矩阵 就是 行的线性组合，这是【行变化】

对于最初的Ax=b，消元的每一个步骤都可以用一个初等矩阵去乘以需要变换的矩阵（起初是A）

E21*A

每一步用到一个初等矩阵

若想一次性解决（一次性完成所有消元），怎么做？
答：先把这些E乘起来

这种移动括号的方法就称为结合律

4. 置换矩阵（permutation matrix）
   能够使得某个矩阵进行行交换的矩阵
   

对单位矩阵进行行变换得到的就是置换矩阵了

列变换的置换矩阵如下：（行变换右乘，列变换左乘）--》交换律不成立

5. Better way in Ax=b （not how do get A to U ，it's how do get U to A）【逆（inverse）变换】

逆矩阵的含义：逆矩阵*初等矩阵U = 单位矩阵 （取消原来的变换）

乘法和逆矩阵

1. 矩阵乘法
   

A有mn个元素，B有np个元素，C=AB 有m*p个元素

• 矩阵乘法可以看作A乘以向量（将B矩阵看成列向量的组合），也就是等价于A中列的线性组合
  

• 也可以看成行向量乘以B，得到了B的线性组合
  

• 一行（m）一列（n）将得到一个mn矩阵
  

• 第四种方法
  
  列乘以行，相加

• 第五种方法：块
  

2. 逆矩阵
   （I是单位阵）
   

• 下面讨论 singular matrix，no inverse。
  why？
  如果取行列式，你会发现他=0
  
  假设A乘以某矩阵得到单位阵，有可能吗？
  考虑A中的列，结果中的列都应该是A中列相应列的倍数。所以单位阵不可能是A中这些列的线性组合因为A中第二列是第一列的倍数（两列共线），但（1 0）不在其中（不在该直线上）

结论二，如果可以找到一个【非零】向量（因为0向量总能成功）x使得Ax=0，这样的矩阵没有逆

• 用列来解方程（同时处理两个方程组）
  

如果可以分别求出这两种情况的解，就能求出其逆
但如果两个一起来？
在右侧加两列，变成增广矩阵，然后进行消元，那么右边增广出来的地方就变成逆矩阵（左边变成单位阵）

高斯若当消元的推到

插入一个单位阵，使得E[AI]=[I?] (EA=I,so E must be inverse of A)

A 的LU分解

PS.这节课网上的视频资料都太糊了所以不截图了

1. 假设方阵A，B都可逆，那么AB的逆矩阵是什么？
   按照求逆矩阵的方法，我们应当使用AB(逆矩阵)=单位阵I
   则有 AB(B^-1A^-1)=I ==> (AB)^-1=B^-1A^-1

2. 转置矩阵
   发现一个写的很好的专栏
   听完课后用这个专栏复习了 哈哈
   https://zhuanlan.zhihu.com/p/89784741