mirror of
https://github.com/handsomezhuzhu/handsomezhuzhu.github.io.git
synced 2026-02-20 20:00:14 +00:00
2025.9.6预存文件
This commit is contained in:
107
docs/sop/digital-circuit-notes.md
Normal file
107
docs/sop/digital-circuit-notes.md
Normal file
@@ -0,0 +1,107 @@
|
||||
---
|
||||
title: 数字电路笔记
|
||||
date: 2025-01-20 15:00:00
|
||||
descriptionHTML: '
|
||||
<span style="color:var(--description-font-color);">纯情男大自用数字电路基础笔记</span>
|
||||
'
|
||||
tags:
|
||||
- 笔记
|
||||
- 数字电路
|
||||
sidebar: true
|
||||
readingTime: true
|
||||
hidden: false
|
||||
---
|
||||
|
||||
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 前言
|
||||
|
||||
</div>
|
||||
|
||||
<span style="font-size:0.9em; color:#1976d2;">
|
||||
  本笔记是数字电路课程的完整学习资料,系统介绍了数字电路的基础理论、分析方法和设计技术。从基本的逻辑门电路到复杂的时序电路,从理论分析到实际应用,为学习者提供了全面而深入的数字电路知识体系。
|
||||
</span>
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 课程内容概览
|
||||
|
||||
</div>
|
||||
|
||||
  数字电路是电子工程、计算机科学等专业的重要基础课程,本笔记涵盖以下核心内容:
|
||||
|
||||
### 📚 主要章节
|
||||
|
||||
<div style="background-color: #f8f9fa; padding: 15px; border-radius: 8px; margin: 15px 0;">
|
||||
|
||||
#### 第一部分:数字逻辑基础
|
||||
- **数制与编码**
|
||||
- 二进制、八进制、十六进制
|
||||
- BCD码、格雷码
|
||||
- 数制转换方法
|
||||
|
||||
- **逻辑代数基础**
|
||||
- 布尔代数基本定律
|
||||
- 逻辑函数的表示方法
|
||||
- 逻辑函数的化简
|
||||
|
||||
#### 第二部分:组合逻辑电路
|
||||
- **基本逻辑门**
|
||||
- 与门、或门、非门
|
||||
- 与非门、或非门、异或门
|
||||
- 逻辑门的电气特性
|
||||
|
||||
- **组合逻辑电路分析与设计**
|
||||
- 组合电路的分析方法
|
||||
- 组合电路的设计流程
|
||||
- 典型组合电路应用
|
||||
|
||||
#### 第三部分:时序逻辑电路
|
||||
- **触发器**
|
||||
- RS触发器、JK触发器
|
||||
- D触发器、T触发器
|
||||
- 触发器的应用
|
||||
|
||||
- **时序电路分析与设计**
|
||||
- 时序电路的基本概念
|
||||
- 状态图与状态表
|
||||
- 时序电路的设计方法
|
||||
|
||||
#### 第四部分:数字系统设计
|
||||
- **计数器与寄存器**
|
||||
- 二进制计数器
|
||||
- 十进制计数器
|
||||
- 移位寄存器
|
||||
|
||||
- **数字系统综合设计**
|
||||
- 数字系统设计方法
|
||||
- 可编程逻辑器件
|
||||
- 数字系统的测试与调试
|
||||
|
||||
</div>
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 资料下载
|
||||
|
||||
</div>
|
||||
|
||||
### <span style="color: #43a047;">📥 下载链接</span>
|
||||
|
||||
<div style="background-color: #f5f5f5; padding: 20px; border-radius: 8px; margin: 20px 0;">
|
||||
|
||||
#### Markdown源码版本
|
||||
- **文件名**:数字电路基础.md
|
||||
- **文件大小**:约 80KB
|
||||
- **格式**:Markdown格式,包含电路图和真值表
|
||||
- **特点**:支持在线编辑,便于添加个人笔记
|
||||
- **下载链接**:[点击下载源码版本](/otherdocs/数字电路/数字电路基础.md)
|
||||
|
||||
#### PDF版本
|
||||
- **文件名**:数字电路基础.pdf
|
||||
- **文件大小**:约 3MB
|
||||
- **格式**:PDF格式,包含完整的电路图和公式
|
||||
- **特点**:排版精美,适合打印和阅读
|
||||
- **下载链接**:[点击下载PDF版本](/otherdocs/数字电路/数字电路基础.pdf)
|
||||
121
docs/sop/linear-algebra-notes.md
Normal file
121
docs/sop/linear-algebra-notes.md
Normal file
@@ -0,0 +1,121 @@
|
||||
---
|
||||
title: 高等代数笔记
|
||||
date: 2025-01-20 14:30:00
|
||||
descriptionHTML: '
|
||||
<span style="color:var(--description-font-color);">高等代数完整笔记,涵盖七个章节的详细内容,包含理论推导和习题解答,提供Markdown源码和PDF版本下载</span>
|
||||
'
|
||||
tags:
|
||||
- 数学
|
||||
- 笔记
|
||||
sidebar: true
|
||||
readingTime: true
|
||||
hidden: false
|
||||
---
|
||||
|
||||
# 高等代数笔记
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 前言
|
||||
|
||||
</div>
|
||||
|
||||
<span style="font-size:0.9em; color:#1976d2;">
|
||||
  本笔记是高等代数课程的完整学习资料,涵盖了高等代数的核心内容,从基础的线性方程组到高级的二次型理论。笔记按章节整理,每章都有详细的理论推导、定理证明和典型例题,是学习高等代数的优质参考资料。
|
||||
</span>
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 笔记章节概览
|
||||
|
||||
</div>
|
||||
|
||||
  本高等代数笔记共分为七个章节,每章都有独立的Markdown源码和PDF文件:
|
||||
|
||||
### 📖 章节目录
|
||||
|
||||
<div style="background-color: #f8f9fa; padding: 15px; border-radius: 8px; margin: 15px 0;">
|
||||
|
||||
#### 第一章:线性方程组
|
||||
- 线性方程组的基本概念
|
||||
- 高斯消元法
|
||||
- 矩阵的初等变换
|
||||
- 线性方程组解的结构
|
||||
|
||||
#### 第二章:矩阵
|
||||
- 矩阵的基本运算
|
||||
- 矩阵的逆
|
||||
- 分块矩阵
|
||||
- 矩阵的秩
|
||||
|
||||
#### 第三章:向量空间
|
||||
- 向量空间的定义
|
||||
- 线性相关与线性无关
|
||||
- 基与维数
|
||||
- 坐标变换
|
||||
|
||||
#### 第四章:线性变换
|
||||
- 线性变换的定义与性质
|
||||
- 线性变换的矩阵表示
|
||||
- 特征值与特征向量
|
||||
- 对角化理论
|
||||
|
||||
#### 第五章:多项式
|
||||
- 多项式的基本理论
|
||||
- 最大公因式
|
||||
- 因式分解
|
||||
- 有理函数
|
||||
|
||||
#### 第六章:矩阵的标准形
|
||||
- 相似矩阵
|
||||
- Jordan标准形
|
||||
- 最小多项式
|
||||
- 矩阵函数
|
||||
|
||||
#### 第七章:二次型
|
||||
- 二次型的基本概念
|
||||
- 二次型的标准形
|
||||
- 正定二次型
|
||||
- 二次型的应用
|
||||
|
||||
</div>
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 资料下载
|
||||
|
||||
</div>
|
||||
|
||||
### <span style="color: #43a047;">📥 分章节下载</span>
|
||||
|
||||
<div style="background-color: #f5f5f5; padding: 20px; border-radius: 8px; margin: 20px 0;">
|
||||
|
||||
#### 第一章:线性方程组
|
||||
- **Markdown源码**:[高等代数第一章.md](/otherdocs/高等代数/高等代数第一章.md)
|
||||
- **PDF版本**:[高等代数第一章.pdf](/otherdocs/高等代数/高等代数第一章.pdf)
|
||||
|
||||
#### 第二章:矩阵
|
||||
- **Markdown源码**:[高等代数第二章.md](/otherdocs/高等代数/高等代数第二章.md)
|
||||
- **PDF版本**:[高等代数第二章.pdf](/otherdocs/高等代数/高等代数第二章.pdf)
|
||||
|
||||
#### 第三章:向量空间
|
||||
- **Markdown源码**:[高等代数第三章.md](/otherdocs/高等代数/高等代数第三章.md)
|
||||
- **PDF版本**:[高等代数第三章.pdf](/otherdocs/高等代数/高等代数第三章.pdf)
|
||||
|
||||
#### 第四章:线性变换
|
||||
- **Markdown源码**:[高等代数第四章.md](/otherdocs/高等代数/高等代数第四章.md)
|
||||
- **PDF版本**:[高等代数第四章.pdf](/otherdocs/高等代数/高等代数第四章.pdf)
|
||||
|
||||
#### 第五章:多项式
|
||||
- **Markdown源码**:[高等代数第五章.md](/otherdocs/高等代数/高等代数第五章.md)
|
||||
- **PDF版本**:[高等代数第五章.pdf](/otherdocs/高等代数/高等代数第五章.pdf)
|
||||
|
||||
#### 第六章:矩阵的标准形
|
||||
- **Markdown源码**:[高等代数第六章.md](/otherdocs/高等代数/高等代数第六章.md)
|
||||
- **PDF版本**:[高等代数第六章.pdf](/otherdocs/高等代数/高等代数第六章.pdf)
|
||||
|
||||
#### 第七章:二次型
|
||||
- **Markdown源码**:[高等代数第七章.md](/otherdocs/高等代数/高等代数第七章.md)
|
||||
- **PDF版本**:[高等代数第七章.pdf](/otherdocs/高等代数/高等代数第七章.pdf)
|
||||
|
||||
|
||||
87
docs/sop/math-analysis-notes.md
Normal file
87
docs/sop/math-analysis-notes.md
Normal file
@@ -0,0 +1,87 @@
|
||||
---
|
||||
title: 数学分析笔记
|
||||
date: 2025-01-20 14:00:00
|
||||
descriptionHTML: '
|
||||
<span style="color:var(--description-font-color);">数学分析完整笔记,包含详细的理论推导和习题解答,提供Markdown源码和PDF版本下载</span>
|
||||
'
|
||||
tags:
|
||||
- 数学
|
||||
- 笔记
|
||||
sidebar: true
|
||||
readingTime: true
|
||||
hidden: false
|
||||
---
|
||||
|
||||
# 数学分析笔记
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 前言
|
||||
|
||||
</div>
|
||||
|
||||
<span style="font-size:0.9em; color:#1976d2;">
|
||||
  本笔记是数学分析课程的完整学习资料,涵盖了数学分析的核心内容,包括极限理论、连续性、微分学、积分学等重要章节。笔记内容详实,理论推导严谨,适合数学专业学生和数学爱好者学习参考。
|
||||
</span>
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 笔记内容概览
|
||||
|
||||
</div>
|
||||
|
||||
  本数学分析笔记包含以下主要内容:
|
||||
|
||||
### 主要章节
|
||||
|
||||
- **第一章:实数理论与数列极限**
|
||||
- 实数的完备性
|
||||
- 数列极限的定义与性质
|
||||
- 单调有界定理
|
||||
|
||||
- **第二章:函数极限与连续性**
|
||||
- 函数极限的定义
|
||||
- 连续函数的性质
|
||||
- 一致连续性
|
||||
|
||||
- **第三章:导数与微分**
|
||||
- 导数的定义与几何意义
|
||||
- 求导法则
|
||||
- 微分中值定理
|
||||
|
||||
- **第四章:积分理论**
|
||||
- 定积分的定义
|
||||
- 牛顿-莱布尼茨公式
|
||||
- 积分技巧与应用
|
||||
|
||||
- **第五章:级数理论**
|
||||
- 数项级数
|
||||
- 幂级数
|
||||
- 傅里叶级数
|
||||
|
||||
- **第六章:多元函数微积分**
|
||||
- 偏导数与全微分
|
||||
- 多重积分
|
||||
- 向量分析
|
||||
|
||||
<div align="center">
|
||||
|
||||
## 资料下载
|
||||
|
||||
</div>
|
||||
|
||||
### <span style="color: #43a047;">📥 下载链接</span>
|
||||
|
||||
<div style="background-color: #f5f5f5; padding: 20px; border-radius: 8px; margin: 20px 0;">
|
||||
|
||||
#### Markdown源码版本
|
||||
- **文件名**:数学分析完整笔记.md
|
||||
- **文件大小**:约 150KB
|
||||
- **格式**:Markdown格式,支持数学公式渲染
|
||||
- **下载链接**:[点击下载源码版本](/otherdocs/数分笔记/数学分析完整笔记.md)
|
||||
|
||||
#### PDF版本
|
||||
- **文件名**:数学分析完整笔记.pdf
|
||||
- **文件大小**:约 2MB
|
||||
- **格式**:PDF格式,适合打印和阅读
|
||||
- **下载链接**:[点击下载PDF版本](/otherdocs/数分笔记/数学分析完整笔记.pdf)
|
||||
270
docs/sop/vllm-learning-notes-1.md
Normal file
270
docs/sop/vllm-learning-notes-1.md
Normal file
@@ -0,0 +1,270 @@
|
||||
---
|
||||
title: vllm学习笔记1
|
||||
date: 2025-09-06 23:00:00 # 发布日期和时间,格式:YYYY-MM-DD HH:MM:SS
|
||||
descriptionHTML: '
|
||||
<span style="color:var(--description-font-color);">学习笔记:ray介绍,vllm的作用和主要运行方式</span>
|
||||
'
|
||||
tags: # 文章标签列表,用于分类和搜索
|
||||
- AI
|
||||
- 笔记
|
||||
sidebar: true # 是否显示侧边栏:true显示,false隐藏
|
||||
readingTime: true # 是否显示阅读时间:true显示,false隐藏
|
||||
sticky: 0 # 精选文章设置:值越大在首页展示越靠前,0表示不精选
|
||||
recommend: false
|
||||
---
|
||||
|
||||
# vLLM学习笔记1 - Ray与vLLM架构深入理解
|
||||
|
||||
> **版本说明**: 本文基于 vLLM 0.2.7 版本进行分析
|
||||
> **源码位置**: 相关代码主要位于 `vllm/engine/` 和 `vllm/worker/` 目录下
|
||||
|
||||
## Ray框架介绍
|
||||
|
||||
### Ray是什么
|
||||
|
||||
Ray是一个开源的分布式计算框架,专门为机器学习和AI工作负载设计。它提供了简单的API来构建和运行分布式应用程序。
|
||||
|
||||
### Ray中的有状态和无状态
|
||||
|
||||
#### 无状态服务
|
||||
- **特点**: 每次请求都是独立的,不依赖之前的状态
|
||||
- **示例**: HTTP API服务,每个请求处理完就结束
|
||||
|
||||
#### 有状态(Worker)服务
|
||||
- **特点**: 需要维护内部状态,请求之间有依赖关系
|
||||
- **优势**: 可以缓存数据,避免重复计算
|
||||
- **示例**: 数据库连接池,模型推理服务(需要保持模型在内存中)
|
||||
|
||||
在vLLM中,Worker节点就是典型的**有状态服务**,因为它们需要:
|
||||
- 在内存中保持加载的模型
|
||||
- 维护KV Cache状态
|
||||
- 跟踪正在处理的请求状态
|
||||
|
||||
## vLLM的作用与价值
|
||||
|
||||
### 主要作用
|
||||
1. 专门优化大语言模型的推理速度
|
||||
2. 通过PagedAttention技术显著减少内存占用
|
||||
3. 支持动态批处理,提高GPU利用率
|
||||
4. 支持多GPU和多节点部署
|
||||
|
||||
### 核心优势
|
||||
- **PagedAttention**: 将注意力机制的KV Cache分页管理,类似操作系统的虚拟内存
|
||||
- **连续批处理**: 动态调整批大小,无需等待整个批次完成
|
||||
- **零拷贝**: 减少不必要的数据复制操作
|
||||
|
||||
### KV Cache显存分配机制
|
||||
|
||||
在传统的Transformer推理中,KV Cache需要预先分配连续的显存空间,这会造成大量的内存浪费。vLLM通过PagedAttention技术,将KV Cache分割成固定大小的block块进行管理。
|
||||
|
||||
#### Block分配原理
|
||||
####
|
||||
|
||||
```mermaid
|
||||
graph TB
|
||||
subgraph "GPU显存空间"
|
||||
subgraph "KV Cache Pool"
|
||||
B1["Block 1<br/>16 tokens<br/>状态: 已分配"]
|
||||
B2["Block 2<br/>16 tokens<br/>状态: 已分配"]
|
||||
B3["Block 3<br/>16 tokens<br/>状态: 空闲"]
|
||||
B4["Block 4<br/>16 tokens<br/>状态: 空闲"]
|
||||
B5["Block 5<br/>16 tokens<br/>状态: 已分配"]
|
||||
B6["Block 6<br/>16 tokens<br/>状态: 空闲"]
|
||||
end
|
||||
|
||||
subgraph "模型权重"
|
||||
MW["Model Weights<br/>固定占用"]
|
||||
end
|
||||
end
|
||||
|
||||
subgraph "请求管理"
|
||||
R1["Request 1<br/>Seq ID: 001<br/>长度: 25 tokens"]
|
||||
R2["Request 2<br/>Seq ID: 002<br/>长度: 18 tokens"]
|
||||
end
|
||||
|
||||
subgraph "Block映射表"
|
||||
BT["Block Table<br/>Seq 001: [Block1, Block2]<br/>Seq 002: [Block5]<br/>Free: [Block3, Block4, Block6]"]
|
||||
end
|
||||
|
||||
R1 --> B1
|
||||
R1 --> B2
|
||||
R2 --> B5
|
||||
|
||||
BT --> B1
|
||||
BT --> B2
|
||||
BT --> B5
|
||||
|
||||
style B1 fill:#ff9999,stroke:#333,stroke-width:2px,color:#000
|
||||
style B2 fill:#ff9999,stroke:#333,stroke-width:2px,color:#000
|
||||
style B5 fill:#ff9999,stroke:#333,stroke-width:2px,color:#000
|
||||
style B3 fill:#99ff99,stroke:#333,stroke-width:2px,color:#000
|
||||
style B4 fill:#99ff99,stroke:#333,stroke-width:2px,color:#000
|
||||
style B6 fill:#99ff99,stroke:#333,stroke-width:2px,color:#000
|
||||
style MW fill:#cce5ff,stroke:#333,stroke-width:2px,color:#000
|
||||
style R1 fill:#fff2cc,stroke:#333,stroke-width:2px,color:#000
|
||||
style R2 fill:#fff2cc,stroke:#333,stroke-width:2px,color:#000
|
||||
style BT fill:#f0f0f0,stroke:#333,stroke-width:2px,color:#000
|
||||
```
|
||||
|
||||
#### 关键特性说明
|
||||
|
||||
1. **固定Block大小**: 每个Block通常包含16个token的KV Cache
|
||||
2. **动态分配**: 根据序列长度动态分配所需的Block数量
|
||||
3. **非连续存储**: Block在物理内存中可以不连续,通过映射表管理
|
||||
4. **高效回收**: 请求完成后立即回收Block,供其他请求使用
|
||||
|
||||
#### 内存利用率对比
|
||||
|
||||
| 方案 | 内存预分配 | 实际使用率 | 浪费率 |
|
||||
|------|------------|------------|--------|
|
||||
| 传统方案 | 最大序列长度 | 20-30% | 70-80% |
|
||||
| PagedAttention | 按需分配 | 90-95% | 5-10% |
|
||||
|
||||
#### Block管理的具体流程
|
||||
|
||||
```python
|
||||
# 位置: vllm/core/block_manager.py
|
||||
class BlockManager:
|
||||
def allocate_blocks(self, sequence_length):
|
||||
"""为序列分配所需的Block"""
|
||||
blocks_needed = math.ceil(sequence_length / self.block_size)
|
||||
allocated_blocks = []
|
||||
|
||||
for _ in range(blocks_needed):
|
||||
if self.free_blocks:
|
||||
block = self.free_blocks.pop()
|
||||
allocated_blocks.append(block)
|
||||
else:
|
||||
# 内存不足,触发抢占机制
|
||||
self.preempt_sequences()
|
||||
|
||||
return allocated_blocks
|
||||
|
||||
def free_blocks(self, sequence_id):
|
||||
"""释放序列占用的Block"""
|
||||
blocks = self.sequence_to_blocks[sequence_id]
|
||||
self.free_blocks.extend(blocks)
|
||||
del self.sequence_to_blocks[sequence_id]
|
||||
```
|
||||
|
||||
这种设计的优势:
|
||||
- **内存碎片化最小**: 固定大小的Block避免了内存碎片
|
||||
- **动态扩展**: 序列可以根据需要动态申请更多Block
|
||||
- **共享机制**: 多个序列可以共享相同的prefix Block(如系统提示词)
|
||||
|
||||
## vLLM运作方式详解
|
||||
|
||||
### 整体架构流程
|
||||
|
||||
```
|
||||
用户请求 → LLMEngine → Scheduler → Workers → GPU推理 → 结果返回
|
||||
```
|
||||
|
||||
### 详细运作步骤
|
||||
|
||||
1. `LLMEngine`接收用户的文本生成请求
|
||||
2. `Scheduler`决定哪些请求可以被处理
|
||||
3. 为请求分配GPU内存和计算资源
|
||||
4. 多个`Worker`并行执行推理任务
|
||||
5. 收集各Worker的输出并返回给用户
|
||||
|
||||
## 调度器(Scheduler)详解
|
||||
|
||||
### 调度器的核心职责
|
||||
|
||||
调度器是vLLM的"大脑",主要负责:
|
||||
|
||||
#### 1. 请求管理
|
||||
```python
|
||||
# 位置: vllm/engine/llm_engine.py
|
||||
class LLMEngine:
|
||||
def __init__(self):
|
||||
self.scheduler = Scheduler(...)
|
||||
```
|
||||
|
||||
#### 2. 资源调度策略
|
||||
1. 跟踪可用的GPU内存
|
||||
2. 决定哪些请求可以组成一个批次
|
||||
3. 根据请求的优先级和到达时间排序
|
||||
|
||||
|
||||
### 调度算法核心逻辑
|
||||
|
||||
```python
|
||||
# 简化的调度逻辑示例
|
||||
def schedule_requests(self):
|
||||
# 1. 检查可用资源
|
||||
available_memory = self.get_available_memory()
|
||||
|
||||
# 2. 选择可执行的请求
|
||||
executable_requests = []
|
||||
for request in self.waiting_requests:
|
||||
if self.can_allocate(request, available_memory):
|
||||
executable_requests.append(request)
|
||||
|
||||
# 3. 返回调度结果
|
||||
return executable_requests
|
||||
```
|
||||
|
||||
## Worker的作用与机制
|
||||
|
||||
### Worker的核心功能
|
||||
|
||||
Worker是vLLM的"执行者",每个Worker负责:
|
||||
|
||||
#### 1. 模型加载与管理
|
||||
```python
|
||||
# 位置: vllm/worker/worker.py
|
||||
class Worker:
|
||||
def __init__(self):
|
||||
self.model_runner = ModelRunner(...)
|
||||
self.cache_engine = CacheEngine(...)
|
||||
```
|
||||
|
||||
#### 2. 推理执行
|
||||
- **前向传播**: 执行模型的前向计算
|
||||
- **KV缓存管理**: 管理注意力机制的键值缓存
|
||||
- **内存分配**: 为每个请求分配必要的内存空间
|
||||
|
||||
#### 3. 状态维护
|
||||
- **请求状态跟踪**: 记录每个请求的处理进度
|
||||
- **缓存状态管理**: 维护PagedAttention的页面状态
|
||||
- **错误处理**: 处理推理过程中的异常情况
|
||||
|
||||
### Worker的工作流程
|
||||
|
||||
1. **初始化**: 加载模型权重,初始化缓存引擎
|
||||
2. **接收任务**: 从调度器接收批处理任务
|
||||
3. **执行推理**: 并行处理批次中的所有请求
|
||||
4. **返回结果**: 将推理结果返回给引擎
|
||||
|
||||
## 关键代码文件位置
|
||||
|
||||
### 主要源码文件结构
|
||||
|
||||
```
|
||||
vllm/
|
||||
├── engine/
|
||||
│ ├── llm_engine.py # 主引擎,协调整个推理流程
|
||||
│ └── async_llm_engine.py # 异步版本的引擎
|
||||
├── core/
|
||||
│ ├── scheduler.py # 调度器核心逻辑
|
||||
│ └── block_manager.py # 内存块管理器
|
||||
├── worker/
|
||||
│ ├── worker.py # Worker基类实现
|
||||
│ └── model_runner.py # 模型运行器
|
||||
└── attention/
|
||||
└── backends/ # PagedAttention实现
|
||||
```
|
||||
|
||||
### 重要文件说明
|
||||
|
||||
- **`vllm/engine/llm_engine.py`**: 整个系统的入口点和协调中心
|
||||
- **`vllm/core/scheduler.py`**: 实现了复杂的请求调度算法
|
||||
- **`vllm/worker/worker.py`**: Worker的具体实现逻辑
|
||||
- **`vllm/core/block_manager.py`**: PagedAttention的内存管理实现
|
||||
|
||||
## 总结
|
||||
|
||||
vLLM通过Ray框架实现分布式推理,采用有状态的Worker设计来保持模型和缓存状态。其核心创新在于PagedAttention技术和智能调度系统,大幅提升了大语言模型的推理效率和资源利用率。
|
||||
|
||||
1450
otherdocs/数分笔记/数学分析完整笔记.md
Normal file
1450
otherdocs/数分笔记/数学分析完整笔记.md
Normal file
File diff suppressed because it is too large
Load Diff
BIN
otherdocs/数分笔记/数学分析完整笔记.pdf
Normal file
BIN
otherdocs/数分笔记/数学分析完整笔记.pdf
Normal file
Binary file not shown.
400
otherdocs/数字电路/数字电路基础.md
Normal file
400
otherdocs/数字电路/数字电路基础.md
Normal file
@@ -0,0 +1,400 @@
|
||||
|
||||
## 一、逻辑代数定律和计算规则
|
||||
|
||||
| 定律/规则名称 | 表达式 | 解释 |
|
||||
| --------- | ----------------------------------------------------------------------------------- | ------------------- |
|
||||
| 恒等律 | $A + 0 = A$<br>$A \cdot 1 = A$ | 任何变量与0相加或与1相乘等于自身 |
|
||||
| 零律 | $A + 1 = 1$<br>$A \cdot 0 = 0$ | 任何变量与1相加或与0相乘等于1或0 |
|
||||
| 幂等律 | $A + A = A$<br>$A \cdot A = A$ | 任何变量与自身相加或相乘等于自身 |
|
||||
| 互补律 | $A + \overline{A} = 1$<br>$A \cdot \overline{A} = 0$ | 任何变量与其补码相加等于1,相乘等于0 |
|
||||
| **交换律** | | |
|
||||
| 加法交换律 | $A + B = B + A$ | 加法运算的交换律 |
|
||||
| 乘法交换律 | $A \cdot B = B \cdot A$ | 乘法运算的交换律 |
|
||||
| **结合律** | | |
|
||||
| 加法结合律 | $(A + B) + C = A + (B + C)$ | 加法运算的结合律 |
|
||||
| 乘法结合律 | $(A \cdot B) \cdot C = A \cdot (B \cdot C)$ | 乘法运算的结合律 |
|
||||
| **分配律** | | |
|
||||
| 乘法分配律 | $A \cdot (B + C) = A \cdot B + A \cdot C$ | 乘法对加法的分配律 |
|
||||
| 加法分配律 | $A + (B \cdot C) = (A + B) \cdot (A + C)$ | 加法对乘法的分配律 |
|
||||
| **吸收律** | | |
|
||||
| 吸收律1 | $A + A \cdot B = A$ | 吸收律的第一种形式 |
|
||||
| 吸收律2 | $A \cdot (A + B) = A$ | 吸收律的第二种形式 |
|
||||
| **德摩根定律** | | |
|
||||
| 德摩根定律1 | $\overline{A + B} = \overline{A} \cdot \overline{B}$ | 逻辑加法的德摩根定律 |
|
||||
| 德摩根定律2 | $\overline{A \cdot B} = \overline{A} + \overline{B}$ | 逻辑乘法的德摩根定律 |
|
||||
| **简化定律** | | |
|
||||
| 简化定律1 | $A + \overline{A} \cdot B = A + B$ | 简化逻辑表达式 |
|
||||
| 简化定律2 | $A \cdot (\overline{A} + B) = A \cdot B$ | 简化逻辑表达式 |
|
||||
| **共识定律** | | |
|
||||
| 共识定律 (积之和形式) | $AB + \overline{A}C + BC = AB + \overline{A}C$ | 较难,常用于逻辑化简。项 `BC` 是 `AB` 和 `A`C 的共识项,是冗余的。 |
|
||||
| 共识定律 (和之积形式) | $(A+B)(\overline{A}+C)(B+C) = (A+B)(\overline{A}+C)$ | 较难,常用于逻辑化简。项 `(B+C)` 是 `(A+B)` 和 `(A`+C) 的共识项,是冗余的。|
|
||||
| **反演定律** | | |
|
||||
| 反演定律 | $A = \overline{\overline{A}}$ | 变量的双重否定等于自身 |
|
||||
|
||||
### 推导过程
|
||||
|
||||
1. **基本定律**
|
||||
- **恒等律**:$A + 0 = A$ 和 $A \cdot 1 = A$ 是逻辑代数的基本定义。
|
||||
- **零律**:$A + 1 = 1$ 和 $A \cdot 0 = 0$ 也是逻辑代数的基本定义。
|
||||
- **幂等律**:$A + A = A$ 和 $A \cdot A = A$ 是因为逻辑加法和乘法运算的特性。
|
||||
- **互补律**:$A + \overline{A} = 1$ 和 $A \cdot \overline{A} = 0$ 是逻辑变量和其补码的定义。
|
||||
|
||||
2. **交换律**
|
||||
- **加法交换律**:$A + B = B + A$ 是逻辑加法的交换特性。
|
||||
- **乘法交换律**:$A \cdot B = B \cdot A$ 是逻辑乘法的交换特性。
|
||||
|
||||
3. **结合律**
|
||||
- **加法结合律**:$(A + B) + C = A + (B + C)$ 是逻辑加法的结合特性。
|
||||
- **乘法结合律**:$(A \cdot B) \cdot C = A \cdot (B \cdot C)$ 是逻辑乘法的结合特性。
|
||||
|
||||
4. **分配律**
|
||||
- **乘法分配律**:$A \cdot (B + C) = A \cdot B + A \cdot C$ 是逻辑乘法对加法的分配特性。
|
||||
- **加法分配律**:$A + (B \cdot C) = (A + B) \cdot (A + C)$ 是逻辑加法对乘法的分配特性。
|
||||
|
||||
5. **吸收律**
|
||||
- **吸收律1**:$A + A \cdot B = A$ 可以从 $A + A \cdot B = A \cdot (1 + B) = A \cdot 1 = A$ 推导得出。
|
||||
- **吸收律2**:$A \cdot (A + B) = A$ 可以从 $A \cdot (A + B) = A \cdot A + A \cdot B = A + A \cdot B = A$ 推导得出。
|
||||
|
||||
6. **德摩根定律**
|
||||
- **德摩根定律1**:$\overline{A + B} = \overline{A} \cdot \overline{B}$ 是逻辑加法的德摩根定律。
|
||||
- **德摩根定律2**:$\overline{A \cdot B} = \overline{A} + \overline{B}$ 是逻辑乘法的德摩根定律。
|
||||
|
||||
7. **简化定律**
|
||||
- **简化定律1**:$A + \overline{A} \cdot B = A + B$ 可以从 $A + \overline{A} \cdot B = (A + \overline{A}) \cdot (A + B) = 1 \cdot (A + B) = A + B$ 推导得出。
|
||||
- **简化定律2**:$A \cdot (\overline{A} + B) = A \cdot B$ 可以从 $A \cdot (\overline{A} + B) = A \cdot \overline{A} + A \cdot B = 0 + A \cdot B = A \cdot B$ 推导得出。
|
||||
|
||||
8. **共识定律**
|
||||
- **共识定律**:$(A + B) \cdot (\overline{A} + C) = (A + B) \cdot (\overline{A} + C) \cdot (B + C)$ 可以从 $(A + B) \cdot (\overline{A} + C) = (A + B) \cdot (\overline{A} + C) \cdot (B + C)$ 推导得出,因为 $(A + B) \cdot (\overline{A} + C) \leq (B + C)$。
|
||||
|
||||
9. **反演定律**
|
||||
- **反演定律**:$A = \overline{\overline{A}}$ 是逻辑变量的双重否定特性。
|
||||
|
||||
---
|
||||
## 二、基本门电路
|
||||
|
||||
### 1. 非门
|
||||
|
||||
$$
|
||||
Y = \overline{A}
|
||||
$$
|
||||
|
||||
|
||||
|
||||
### 2. 与门
|
||||
|
||||
$$
|
||||
Y = A \cdot B
|
||||
$$
|
||||
|
||||
**真值表:**
|
||||
|
||||
| 输入 A | 输入 B | 输出 Y |
|
||||
| --- | --- | --- |
|
||||
| 0 | 0 | 0 |
|
||||
| 0 | 1 | 0 |
|
||||
| 1 | 0 | 0 |
|
||||
| 1 | 1 | 1 |
|
||||
|
||||
|
||||
|
||||
### 3. 或门
|
||||
|
||||
$$
|
||||
Y = A + B
|
||||
$$
|
||||
|
||||
**真值表:**
|
||||
|
||||
| 输入 A | 输入 B | 输出 Y |
|
||||
| --- | --- | --- |
|
||||
| 0 | 0 | 0 |
|
||||
| 0 | 1 | 1 |
|
||||
| 1 | 0 | 1 |
|
||||
| 1 | 1 | 1 |
|
||||
|
||||
|
||||
|
||||
### 4. 与非门
|
||||
与非门是“与门”和“非门”的结合。
|
||||
$$
|
||||
Y = \overline{A \cdot B}
|
||||
$$
|
||||
|
||||
**真值表:**
|
||||
|
||||
| 输入 A | 输入 B | 输出 Y |
|
||||
|:---:|:---:|:---:|
|
||||
| 0 | 0 | 1 |
|
||||
| 0 | 1 | 1 |
|
||||
| 1 | 0 | 1 |
|
||||
| 1 | 1 | 0 |
|
||||
|
||||
|
||||
|
||||
### 5. 或非门
|
||||
或非门是“或门”和“非门”的结合。
|
||||
$$
|
||||
Y = \overline{A + B}
|
||||
$$
|
||||
|
||||
**真值表:**
|
||||
|
||||
| 输入 A | 输入 B | 输出 Y |
|
||||
|:---:|:---:|:---:|
|
||||
| 0 | 0 | 1 |
|
||||
| 0 | 1 | 0 |
|
||||
| 1 | 0 | 0 |
|
||||
| 1 | 1 | 0 |
|
||||
|
||||
|
||||
|
||||
### 6. 异或门
|
||||
当两个输入不相同时,输出为高电平(1);当两个输入相同时,输出为低电平(0)。这也被称为“半加器”的求和逻辑。
|
||||
|
||||
**逻辑表达式:**
|
||||
$$
|
||||
Y = A \oplus B
|
||||
$$
|
||||
|
||||
**真值表:**
|
||||
|
||||
| 输入 A | 输入 B | 输出 Y |
|
||||
|:---:|:---:|:---:|
|
||||
| 0 | 0 | 0 |
|
||||
| 0 | 1 | 1 |
|
||||
| 1 | 0 | 1 |
|
||||
| 1 | 1 | 0 |
|
||||
|
||||
---
|
||||
## 三、编码
|
||||
|
||||
### 1. 原码、反码和补码
|
||||
为了在二进制系统中表示正负数,我们通常会使用最高位作为**符号位**。
|
||||
* 符号位为 **0** 代表**正数**。
|
||||
* 符号位为 **1** 代表**负数**。
|
||||
|
||||
|
||||
|
||||
#### **原码**
|
||||
|
||||
|
||||
* **规则**: 符号位 + 数值的绝对值的二进制表示。
|
||||
* **正数**: 符号位为0,其余位表示数值。
|
||||
* 例如,$+12$ 的原码是 **00001100**。
|
||||
* **负数**: 符号位为1,其余位表示数值。
|
||||
* 例如,$-12$ 的原码是 **10001100**。
|
||||
* **缺点**:
|
||||
1. 零的表示不唯一:$+0$ 是 **00000000**,$-0$ 是 **10000000**。
|
||||
2. 进行加减法运算时,需要单独处理符号位,硬件实现复杂。
|
||||
|
||||
#### **反码**
|
||||
|
||||
反码的出现是为了简化减法运算。
|
||||
|
||||
* **规则**:
|
||||
* **正数**的反码与其原码**相同**。
|
||||
* **负数**的反码是在其**原码**的基础上,**符号位不变**,其余各位**按位取反**。
|
||||
* **示例**:
|
||||
* $+12$ 的原码是 `00001100`,其反码也是 **00001100**。
|
||||
* $-12$ 的原码是 `10001100`,其反码是 **11110011** (符号位1不变,后面7位 `0001100` 按位取反得到 `1110011`)。
|
||||
* **缺点**:
|
||||
* 仍然存在“双零”问题:$+0$ 的反码是 **00000000**,$-0$ 的反码是 **11111111**。
|
||||
* 跨零运算会产生循环进位问题。
|
||||
|
||||
#### **补码**
|
||||
|
||||
补码是现代计算机系统中最常用的有符号数表示法,它解决了原码和反码的缺点。
|
||||
|
||||
* **规则**:
|
||||
* **正数**的补码与其原码**相同**。
|
||||
* **负数**的补码是其**反码加 1**。
|
||||
* **求负数补码的方式**:
|
||||
* 从其原码的**最低位(最右边)**向左找,找到的**第一个 1** 保持不变,这个 1 **左边**的所有位(不含符号位)按位取反,符号位仍为1。
|
||||
* **示例**:
|
||||
* $+12$ 的补码是 **00001100**。
|
||||
* $-12$ 的补码求法:
|
||||
1. 原码: `10001100`
|
||||
2. 反码: `11110011`
|
||||
3. 加 1: `11110011 + 1` = **11110100**。
|
||||
* **优点**:
|
||||
1. **零的表示唯一**: **00000000**。
|
||||
2. **简化运算**: 可以将减法运算转换为加法运算。例如,计算 $A - B$ 等同于计算 $A + (-B)$ 的补码。
|
||||
3. 对于一个 $n$ 位的补码系统,其表示范围为 $[-2^{n-1}, 2^{n-1}-1]$。例如,8位补码的范围是 $[-128, 127]$。
|
||||
|
||||
**总结表格 (以 ±12 为例)**
|
||||
|
||||
| 值 | 原码 | 反码 | 补码 |
|
||||
|:---:|:---:|:---:|:---:|
|
||||
| +12 | 00001100 | 00001100 | 00001100 |
|
||||
| -12 | 10001100 | 11110011 | 11110100 |
|
||||
|
||||
|
||||
|
||||
### 2. BCD 码
|
||||
|
||||
BCD码是用**二进制**来表示**十进制**数的一种编码方式。它与直接将十进制数转换为二进制数不同。
|
||||
|
||||
* **规则**: 用 **4 位二进制数**来表示一位十进制数(0-9)。最常用的是 **8421 BCD 码**,其中各位的权值从高到低分别是 8、4、2、1。
|
||||
* **特点**:
|
||||
* 它介于二进制和十进制之间,便于人机交互(如数码管显示、计算器)。
|
||||
* 运算比纯二进制复杂,但比直接处理十进制字符简单。
|
||||
* 由于用4位二进制表示一位十进制数,所以 `1010` 到 `1111` 这 6 个码是无效或非法的。
|
||||
|
||||
**BCD 码对照表**
|
||||
|
||||
| 十进制 | BCD 码 |
|
||||
|:---:|:---:|
|
||||
| 0 | 0000 |
|
||||
| 1 | 0001 |
|
||||
| 2 | 0010 |
|
||||
| 3 | 0011 |
|
||||
| 4 | 0100 |
|
||||
| 5 | 0101 |
|
||||
| 6 | 0110 |
|
||||
| 7 | 0111 |
|
||||
| 8 | 1000 |
|
||||
| 9 | 1001 |
|
||||
|
||||
**示例**:
|
||||
将十进制数 **129** 转换为 BCD 码。
|
||||
|
||||
1. 将每一位十进制数分开:`1`、`2`、`9`。
|
||||
2. 将每一位分别转换为对应的4位BCD码:
|
||||
* $1 \rightarrow 0001$
|
||||
* $2 \rightarrow 0010$
|
||||
* $9 \rightarrow 1001$
|
||||
3. 将它们组合起来:
|
||||
$$
|
||||
(129)_{10} = (0001 \ 0010 \ 1001)_{\text{BCD}}
|
||||
$$
|
||||
**对比**: 如果将 (129)₁₀ 直接转换为纯二进制,结果是 **10000001**。这与它的 BCD 码是完全不同的。
|
||||
---
|
||||
## 四、加法器、编码器、译码器、选择器、比较器
|
||||
---
|
||||
## 五、触发器
|
||||
|
||||
### 1. RS 触发器
|
||||
|
||||
最基本的触发器,但存在一个不确定状态,在实际应用中较少直接使用。
|
||||
|
||||
* **输入**: $S$ (Set, 置位), $R$ (Reset, 复位)
|
||||
* **输出**: $Q$ (状态输出), $\overline{Q}$ (反向输出)
|
||||
|
||||
#### **功能表**
|
||||
这张表描述了在不同输入下,下一个状态 $Q_{n+1}$ 是什么。
|
||||
|
||||
| $S$ | $R$ | $Q_{n+1}$ | 功能 |
|
||||
|:---:|:---:|:---:|:---|
|
||||
| 0 | 0 | $Q_n$ | 保持 |
|
||||
| 0 | 1 | 0 | 复位/置0 |
|
||||
| 1 | 0 | 1 | 置位/置1|
|
||||
| 1 | 1 | **?** | **禁止/不定** |
|
||||
|
||||
#### **特性方程**
|
||||
$$
|
||||
Q_{n+1} = S + \overline{R}Q_n \quad (\text{约束条件: } S \cdot R = 0)
|
||||
$$
|
||||
|
||||
#### **激励表**
|
||||
这张表在电路设计时非常有用,它回答了“为了让状态从 $Q_n$ 变为 $Q_{n+1}$,输入 $S$ 和 $R$ 应该是什么?”。(X表示Don't Care,即0或1均可)
|
||||
|
||||
| $Q_n$ | $Q_{n+1}$ | $S$ | $R$ |
|
||||
|:---:|:---:|:---:|:---:|
|
||||
| 0 | 0 | 0 | X |
|
||||
| 0 | 1 | 1 | 0 |
|
||||
| 1 | 0 | 0 | 1 |
|
||||
| 1 | 1 | X | 0 |
|
||||
|
||||
|
||||
### 2. JK 触发器
|
||||
|
||||
JK 触发器是 RS 触发器的改进版,它解决了 RS 触发器的“禁止”状态问题,是最通用的触发器。
|
||||
|
||||
* **输入**: $J$ (功能类似 $S$), $K$ (功能类似 $R$)
|
||||
* **输出**: $Q$, $\overline{Q}$
|
||||
|
||||
#### **功能表**
|
||||
|
||||
| $J$ | $K$ | $Q_{n+1}$ | 功能 |
|
||||
|:---:|:---:|:---:|:---|
|
||||
| 0 | 0 | $Q_n$ | 保持 |
|
||||
| 0 | 1 | 0 | 复0 |
|
||||
| 1 | 0 | 1 | 置1 |
|
||||
| 1 | 1 | $\overline{Q_n}$ | **翻转 ** |
|
||||
|
||||
*JK触发器将RS触发器的禁止状态(1,1输入)变成了一个非常有用的**翻转**功能。*
|
||||
|
||||
#### **特性方程**
|
||||
$$
|
||||
Q_{n+1} = J\overline{Q_n} + \overline{K}Q_n
|
||||
$$
|
||||
|
||||
#### **激励表**
|
||||
|
||||
| $Q_n$ | $Q_{n+1}$ | $J$ | $K$ |
|
||||
|:---:|:---:|:---:|:---:|
|
||||
| 0 | 0 | 0 | X |
|
||||
| 0 | 1 | 1 | X |
|
||||
| 1 | 0 | X | 1 |
|
||||
| 1 | 1 | X | 0 |
|
||||
|
||||
|
||||
### 3. D 触发器
|
||||
D 触发器的功能非常直接:在时钟脉冲到来时,将输入 $D$ 的值传递给输出 $Q$。它常被用作数据锁存器或移位寄存器的基本单元。
|
||||
|
||||
* **输入**: $D$ (Data)
|
||||
* **输出**: $Q$, $\overline{Q}$
|
||||
|
||||
#### **功能表**
|
||||
|
||||
| $D$ | $Q_{n+1}$ | 功能 |
|
||||
|:---:|:---:|:---|
|
||||
| 0 | 0 | 置0 |
|
||||
| 1 | 1 | 置1 |
|
||||
|
||||
*无论当前状态 $Q_n$ 是什么,下一个状态 $Q_{n+1}$ 都等于时钟边沿到来时的 $D$ 输入值。*
|
||||
|
||||
#### **特性方程 **
|
||||
$$
|
||||
Q_{n+1} = D
|
||||
$$
|
||||
|
||||
#### **激励表 **
|
||||
|
||||
| $Q_n$ | $Q_{n+1}$ | $D$ |
|
||||
|:---:|:---:|:---:|
|
||||
| 0 | 0 | 0 |
|
||||
| 0 | 1 | 1 |
|
||||
| 1 | 0 | 0 |
|
||||
| 1 | 1 | 1 |
|
||||
|
||||
|
||||
|
||||
### 4. T 触发器
|
||||
|
||||
T 触发器是一个翻转触发器。当输入 $T=1$ 时,状态翻转;当 $T=0$ 时,状态保持不变。它常用于构建计数器。
|
||||
|
||||
* **输入**: $T$
|
||||
* **输出**: $Q$, $\overline{Q}$
|
||||
|
||||
#### **功能表**
|
||||
|
||||
| $T$ | $Q_{n+1}$ | 功能 |
|
||||
|:---:|:---:|:---|
|
||||
| 0 | $Q_n$ | 保持 |
|
||||
| 1 | $\overline{Q_n}$ | 翻转 |
|
||||
|
||||
#### **特性方程**
|
||||
$$
|
||||
Q_{n+1} = T \oplus Q_n = T\overline{Q_n} + \overline{T}Q_n
|
||||
$$
|
||||
|
||||
#### **激励表**
|
||||
|
||||
| $Q_n$ | $Q_{n+1}$ | $T$ |
|
||||
|:---:|:---:|:---:|
|
||||
| 0 | 0 | 0 |
|
||||
| 0 | 1 | 1 |
|
||||
| 1 | 0 | 1 |
|
||||
| 1 | 1 | 0 |
|
||||
|
||||
BIN
otherdocs/数字电路/数字电路基础.pdf
Normal file
BIN
otherdocs/数字电路/数字电路基础.pdf
Normal file
Binary file not shown.
207
otherdocs/高等代数/高等代数第一章.md
Normal file
207
otherdocs/高等代数/高等代数第一章.md
Normal file
@@ -0,0 +1,207 @@
|
||||
**Copyright © 2024 Simon**
|
||||
# 1.1 线性方程组
|
||||
## (1) 矩阵与增广矩阵
|
||||
$$
|
||||
2x_1 - x_2 + 1.5x_3 = 8
|
||||
$$
|
||||
$$
|
||||
x_1 - 4x_3 = -7
|
||||
$$
|
||||
|
||||
* 矩阵 (Matrix)
|
||||
|
||||
$$
|
||||
\begin{bmatrix}
|
||||
2 & -1 & 1.5\\
|
||||
1 & 0 & -4
|
||||
\end{bmatrix}
|
||||
$$
|
||||
|
||||
* 增广矩阵 (Augmented Matrix)
|
||||
|
||||
$$
|
||||
\begin{bmatrix}
|
||||
2 & -1 & 1.5 & 8\\
|
||||
1 & 0 & -4 & -7
|
||||
\end{bmatrix}
|
||||
$$
|
||||
|
||||
* 线性方程组解的三种情况:
|
||||
1. 无解 (不相容) (incompatibility)
|
||||
2. 有唯一解 (相容) (compatibility)
|
||||
3. 有无穷多解 (相容) (compatibility)
|
||||
|
||||
|
||||
## (2) 矩阵变换
|
||||
|
||||
* 倍加
|
||||
* 对换
|
||||
* 倍乘
|
||||
|
||||
|
||||
# 1.2 行化简与阶梯形矩阵
|
||||
|
||||
>**先导元素 (Leading element)**
|
||||
**定义**
|
||||
一个矩阵称为阶梯形(或行阶梯形),若它有以下三个性质:
|
||||
l.每一非零行都在每一零行之上.
|
||||
2.某一行的先导元素所在的列位于前一行先导元素的右边
|
||||
3.某一先导元素所在列下方元素都是零.
|
||||
若一个阶梯形矩阵还满足以下性质,贝则称它为简化阶梯形(或简化行阶梯形) .
|
||||
4.每一非零行的先导元素是 1.
|
||||
5.每一先导元素 1 是该元素所在列的唯一非零元素
|
||||
|
||||
|
||||
|
||||
>**定理1** (简化阶梯形矩阵的唯一性)
|
||||
每个矩阵行等价于唯一的简化阶梯形矩阵.
|
||||
|
||||
|
||||
>**主元位置 (Pivot position)**
|
||||
**定义**
|
||||
矩阵中的主元位置是A中对应于它的阶梯形中先导元素 1 的位直.主元列是$A$的含有主元往直的列
|
||||
|
||||
>**定理2** (存在与唯一性定理)
|
||||
线性方程组相容的充要条件是增广矩阵的最右列不是主元列.也就是说增广矩阵的阶梯形没有形如
|
||||
$[0 \ \ \cdots \ \ 0 \ \ b] \ \ ,\ \ b\neq0$
|
||||
|
||||
>的行若线性方程组相容,则它的解集可能有两种情形:
|
||||
( i )当没有自由变量时,有唯一解;
|
||||
( ii )若至少有一个自由变量,则有无穷多解.
|
||||
|
||||
# 1.3 向量方程
|
||||
|
||||
$$u=
|
||||
\begin{bmatrix}
|
||||
\ 2 \ \\
|
||||
\ 1 \
|
||||
\end{bmatrix}
|
||||
$$
|
||||
|
||||
>满足加法乘法的性质
|
||||
|
||||
* 线性组合
|
||||
$y=x_1c_1+\cdots+x_ic_i$ 中 $c_i$ 为权
|
||||
|
||||
* 向量张成 (生成)
|
||||
|
||||
$span\{x_1,x_2,\cdots,x_i\}$
|
||||
即判断
|
||||
$y=x_1c_1+\cdots+x_ic_i$
|
||||
是否有解;或
|
||||
$\begin{bmatrix}
|
||||
\ x_1\ x_2\ \cdots \ x_3 \ y\\
|
||||
\end{bmatrix}$
|
||||
是否有解
|
||||
|
||||
# 1.4 矩阵方程 Ax=b
|
||||
|
||||
>**定义**
|
||||
若$A$是$m \times n$矩阵,它的各列为 $a$
|
||||
若 $x$ 是$R$<sup>n</sup>中的向量,则 $A$ 与 $x$ 的积(记为$Ax$) 就是 $A$ 的各列以 $x$ 中对应元素为权的线性组合
|
||||
|
||||
>**定理3**
|
||||
$Ax=b$
|
||||
等价于
|
||||
$\begin{bmatrix}
|
||||
\ a_1\ a_2\ \cdots \ a_3 \ \ b\\
|
||||
\end{bmatrix}$
|
||||
|
||||
|
||||
* 解的存在性
|
||||
|
||||
>**方程Ax = b 有解当且仅当 b 是 A 的各列的线性组合.**
|
||||
|
||||
|
||||
|
||||
>**定理4**
|
||||
设 $A$ 是 $m \times n$ 矩阵,则下列命题是逻辑上等价的.
|
||||
也就是说,对某个 $Ax = b$ 它们都成立或者都不成立.
|
||||
a. 对$R$<sup>m</sup>中每个 $b$ ,方程 $Ax=b$ 有解.
|
||||
b. $R$<sup>m</sup>中的每个 $b$ 都是 $A$ 的列的一个线性组合.
|
||||
c. $A$ 的各列生成$R$<sup>m</sup>.
|
||||
d. $A$ 在每一行都有一个主元位置.
|
||||
|
||||
>**计算**
|
||||
计算 $Ax$ 的行-向量规则
|
||||
若乘积 $Ax$ 有定义,则 $Ax$ 中的第 $i$ 个元素是 $A$ 的第 $i$ 行元素与 $x$ 的相应元素乘积之和.
|
||||
|
||||
>**定理5**
|
||||
若 $A$ 是 $m\times n$ 矩阵,$u$ 和 $v$ 是$R$<sup>n</sup>中向量, $c$ 是标量,如:
|
||||
a. $A(u+v) = Au+Av.$
|
||||
b. $A(cu) = c(Au).$
|
||||
|
||||
# 1.5 线性方程组的解集
|
||||
* 齐次线性方程组
|
||||
|
||||
>齐次方程 $Ax=0$ 有非平凡解当且仅当方程至少有一个自由变量.
|
||||
|
||||
>**定理6**
|
||||
设方程 $Ax=b$ 对某个 $b$ 是相容的, $p$ 为一个特解,则 $Ax=b$ 的解集是所有形如
|
||||
$w = p+v_h$
|
||||
>的向量的集, 其中 $v$<sub>h</sub> 是齐次方程 $Ax=0$ 的任意一个解.
|
||||
|
||||
# 1.7 线性无关
|
||||
|
||||
>**定义**
|
||||
向量方程 $0=x_1c_1+\cdots+x_ic_i$ 仅有平凡解(trivial solution) 向量组 (集) 称为线性无关的 (linearly independent)
|
||||
若存在不全为零的权
|
||||
$c_i$
|
||||
使
|
||||
$x_1c_1+\cdots+x_ic_i+0$
|
||||
则向量组 (集) 称为线性相关的 (linearly dependent)
|
||||
|
||||
>**矩阵 $A$ 的各列线性无关,当且仅当方程 $Ax=0$ 仅有平凡**
|
||||
|
||||
>**定理7** (线性相关集的特征)
|
||||
两个或更多个向量的集合
|
||||
$S=\{v_1,v_2,\cdots,v_p\}$
|
||||
>线性相关,当且仅当 $S$ 中至少有一个向量是其他向量的线性组合.
|
||||
|
||||
>**定理8**
|
||||
若一个向量组的向量个数超过每个向量的元素个数,那么这个向量组线性相关.就
|
||||
是说, $R$<sup>n</sup> 中任意向量组
|
||||
$\{v_1,v_2,\cdots,v_p\}$
|
||||
>当 $p>n$ 时线性相关.
|
||||
|
||||
>**定理9**
|
||||
若 $R$<sup>n</sup> 中向量组
|
||||
$S=\{v_1,v_2,\cdots,v_p\}$
|
||||
>包含零向量,则它线性相关
|
||||
|
||||
# 1.8 线性变换介绍
|
||||
* 变换(transformation)(或称函数、映射(map)) $T$ 是一个规则
|
||||
* $T$ : $R$<sup>n</sup> → $R$<sup>m</sup>
|
||||
$R$<sup>n</sup>称为 $T$ 的定义域 (domain)
|
||||
$R$<sup>m</sup>称为 $T$ 的余定义域 (codomain) (或取值空间)
|
||||
|
||||
* 线性变换
|
||||
$$T(0) = 0$$
|
||||
$$T(cu+ dv) = cT(u) + dT(v)$$
|
||||
|
||||
# 1.9 线性变换的矩阵
|
||||
|
||||
>**定理10**
|
||||
设 $T$ : $R$<sup>n</sup> → $R$<sup>m</sup> 为线性变换,则存在唯一的矩阵 $A$ ,使得对 $R$<sup>n</sup>中一切 $x$ 满足 $T(x)=Ax$
|
||||
|
||||
* 满射
|
||||
>映射 $T$ : $R$<sup>n</sup> → $R$<sup>m</sup> 称为到 $R$<sup>m</sup> 上的映射,若 $R$<sup>m</sup> 中每个 $b$ 是 $R$<sup>n</sup> 中至少一个 $x$ 的像.
|
||||
|
||||
>“满射” 的英文是 “surjective” 或 “surjection” 或 “onto mapping” 或 “onto function”
|
||||
|
||||
|
||||
* 单射
|
||||
>映射 $T$ : $R$<sup>n</sup> → $R$<sup>m</sup> 称为一对一映射(或1:1),若 $R$<sup>m</sup> 中每个 $b$ 是 $R$<sup>m</sup> 中至多一个 $x$ 的像.
|
||||
|
||||
>“单射” 的英文是 “injective” 或 “injection” 或 “one-to-one mapping” 或 “one-to-one function”
|
||||
|
||||
|
||||
>**定理11**
|
||||
设 $T$ : $R$<sup>n</sup> → $R$<sup>m</sup> 为线性变换,则 $T$ 是一对一的当且仅当方程 $Ax=0$ 仅有平凡解.
|
||||
|
||||
>**定理12**
|
||||
设 $T$ : $R$<sup>n</sup> → $R$<sup>m</sup> 为线性变换,设 $A$ 为 $T$ 的标准矩阵,则:
|
||||
a. $T$ 把 $R$<sup>n</sup> 映上到 $R$<sup>m</sup> ,当且仅当 $A$ 的列生成 $R$<sup>m</sup>.
|
||||
b. $T$ 是一对一的,当且仅当 $A$ 的列线性无关.
|
||||
|
||||
|
||||
BIN
otherdocs/高等代数/高等代数第一章.pdf
Normal file
BIN
otherdocs/高等代数/高等代数第一章.pdf
Normal file
Binary file not shown.
17
otherdocs/高等代数/高等代数第七章.md
Normal file
17
otherdocs/高等代数/高等代数第七章.md
Normal file
@@ -0,0 +1,17 @@
|
||||
**Copyright © 2024 Simon**
|
||||
# 7.1 对称矩阵的对角化
|
||||
|
||||
就是$A^T=A$
|
||||
|
||||
>**定理1** 如果 $A$ 是对称矩阵,那么不同特征空间的任意两个特征向量是正交的.
|
||||
|
||||
>**定理2** 一个$n \times n$ 矩阵 $A$ 可正交对角化的充分必要条件是 $A$ 是对称矩阵.
|
||||
|
||||
# 7.2 二次型
|
||||
* 二次型是一个定义在 $R$<sup>n</sup> 上的函数, 它在向量 $x$ 处的值可由表达式$Q(x) = x^T Ax$ 计算,其中 $A$ 是一个 $n \times n$ 对称矩阵.矩阵 $A$ 称为关于二次型的矩阵.
|
||||
# 7.4 SVD
|
||||
SVD是奇异值分解(Singular Value Decomposition)的英文缩写。它是一种重要的矩阵分解方法。对于任意一个实矩阵$A_{m\times n}$($m$行$n$列),都可以分解为
|
||||
$$A = U\Sigma V^{T}$$
|
||||
的形式。其中$U$是$m\times m$的正交矩阵,$V$是$n\times n$的正交矩阵,$\Sigma$是$m\times n$的对角矩阵,其对角线上的元素$\sigma_{ii}$($i = 1,2,\cdots,\min(m,n)$)称为奇异值,并且$\sigma_{ii}\geq0$,这些奇异值按照从大到小的顺序排列在$\Sigma$的对角线上。
|
||||
|
||||
|
||||
BIN
otherdocs/高等代数/高等代数第七章.pdf
Normal file
BIN
otherdocs/高等代数/高等代数第七章.pdf
Normal file
Binary file not shown.
46
otherdocs/高等代数/高等代数第三章.md
Normal file
46
otherdocs/高等代数/高等代数第三章.md
Normal file
@@ -0,0 +1,46 @@
|
||||
**Copyright © 2024 Simon**
|
||||
# 第 3 章 行列式(determinant)
|
||||
# 3.1 行列式介绍
|
||||
* 人话版本:
|
||||
>我的方法:
|
||||
>1、选择一行零最多的,
|
||||
>2、他的位置是第($i$,$j$),那就删去第$i$行,第$j$列,剩下的就是(余因子)
|
||||
>3、这一行每个数都这样算$a_{ij} \times |C_{ij}| \times (-1)^{i+j}$,最后求和
|
||||
|
||||
>**定理 2**
|
||||
>若 $A$ 为三角阵,则 det$A$ 等于 $A$ 的主对角线上元素的乘积
|
||||
|
||||
# 3.2 行列式的性质
|
||||
>**定理3 (行变换)**
|
||||
>令 $A$ 是一个方阵.
|
||||
>a. 若 $A$ 的某一行的倍数加到另一行得矩阵B , 则det $B$ = det $A$ .
|
||||
>b 若 $A$ 的两行互换得矩阵 $B$ , 则 det $B$ = - det $A$.
|
||||
>c. 若 $A$ 的某行来以 $k$ 倍得到矩阵 $B$ , 则det $B$ = $k$ det $A$ .
|
||||
>** 补充
|
||||
>$$\vert A^T\vert=\vert A\vert$$
|
||||
>$$\vert A^{-1}\vert=\frac{1}{\vert A\vert}$$
|
||||
>
|
||||
>$$|A^{*}|=|A|^{n - 1}$$
|
||||
>$$\vert kA\vert=k^{n}\vert A\vert$$
|
||||
|
||||
>**定理4**
|
||||
> 方阵 $A$ 是可逆的当且仅当 det $A \neq 0$
|
||||
|
||||
>**定理5**
|
||||
> 若 $A$ 为一个 $n \times n$ 矩阵,则det $A^T$ = det $A$.
|
||||
|
||||
>**定理6 (乘法的性质)**
|
||||
若 $A$ 和 $B$ 均为 $n \times n$ 矩阵,则 det $AB$ = (det $A$)( det $B$) .
|
||||
|
||||
* 行列式与秩的关系
|
||||
>$\text{det}(A)\neq0$那么矩阵$A$是满秩的,秩$\text{rank}(A) = n$。这是因为行列式不为零意味着矩阵的列(行)向量组是线性无关的
|
||||
>也就是齐次线性方程组$Ax=0$的充要条件是系数矩阵秩$\text{rank}(A) = n$
|
||||
|
||||
* **$r(A) = n$** $\Leftrightarrow$ **$|A| \neq 0$** $\Leftrightarrow$ **齐次线性方程组 $Ax = 0$ 只有零解 $\Leftrightarrow$ 可逆**
|
||||
|
||||
# 3.3 克拉默法则
|
||||
>**定理7 (克拉默法则)**
|
||||
设 $A$ 是一个可逆的 $n \times n$ 矩阵,对 $R$<sup>m</sup> 中任意向量 $b$ , 方程 $Ax =b$ 的唯一解可由下式给出:
|
||||
$$\displaystyle x_i=\frac{det \ \ A_i(b)}{det \ \ A},i=1,2,\cdots,,n$$
|
||||
|
||||
~~不太能解释~~
|
||||
BIN
otherdocs/高等代数/高等代数第三章.pdf
Normal file
BIN
otherdocs/高等代数/高等代数第三章.pdf
Normal file
Binary file not shown.
61
otherdocs/高等代数/高等代数第二章.md
Normal file
61
otherdocs/高等代数/高等代数第二章.md
Normal file
@@ -0,0 +1,61 @@
|
||||
**Copyright © 2024 Simon**
|
||||
# 第 2 章 矩阵代数
|
||||
# 2.1 矩阵运算
|
||||
加减乘
|
||||
# 2.2 矩阵的逆
|
||||
>不可逆矩阵有时称为**奇异矩阵**,而可逆矩阵也称为**非奇异矩阵**.
|
||||
$$A^{-1}A=I$$
|
||||
$$A^{-1}=\frac{1}{det A} \times A_{adj}$$
|
||||
$A_{adj}$是伴随矩阵(adjugate matrix)
|
||||
$$(A^{-1})^{-1}=A$$
|
||||
$$(AB)^{-1}=A^{-1}B^{-1}$$
|
||||
|
||||
>若干个$n \times n$ 可逆矩阵的积也是可逆的,其逆等于这些矩阵的逆按相反顺序的乘积
|
||||
>~~看不懂,不爱用这种方法~~
|
||||
|
||||
求法(我常用):
|
||||
$$[\ A\ \ \ I\ ]=[\ I\ \ \ A^{-1}\ ] $$
|
||||
|
||||
# 2.3 矩阵的特征
|
||||
|
||||
* 挺多的
|
||||
|
||||
|
||||
# 2.4 分块矩阵
|
||||
* 没什么特别的
|
||||
|
||||
# 2.5 LU分解
|
||||
>L 是 $m \times m$ 下三角矩阵, 主对角线元素全是1,
|
||||
>$A=LU$
|
||||
>AI写的:
|
||||
|
||||
* Doolittle分解(LU分解的一种常见形式)
|
||||
* 原理 对于一个$n \times n$矩阵 $A$,将其分解为一个下三角矩阵$L$,主对角线元素为1和一个上三角矩阵$U$的乘积,即$A = LU$。
|
||||
> 计算步骤
|
||||
> 1. **设定矩阵形式** 设
|
||||
$$A=\left[\begin{array}{cccc}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\vdots&\vdots&\ddots&\vdots\\a_{n1}&a_{n2}&\cdots&a_{nn}\end{array}\right]$$
|
||||
$$L=\left[\begin{array}{cccc}1&0&\cdots&0\\l_{21}&1&\cdots&0\\\vdots&\vdots&\ddots&\vdots\\l_{n1}&l_{n2}&\cdots&1\end{array}\right]$$
|
||||
$$U=\left[\begin{array}{cccc}u_{11}&u_{12}&\cdots&u_{1n}\\0&u_{22}&\cdots&u_{2n}\\\vdots&\vdots&\ddots&\vdots\\0&0&\cdots&u_{nn}\end{array}\right]$$
|
||||
> 2. **计算$U$的第一行和$L$的第一列**
|
||||
$$u_{1j}=a_{1j}(j = 1,2,\cdots,n)$$
|
||||
$$l_{i1}=\frac{a_{i1}}{u_{11}}(i = 2,3,\cdots,n)$$
|
||||
> 3. **对于$k = 2,3,\cdots,n$,分别计算$U$的第$k$行和$L$的第$k$列计算$U$的第$k$行**:
|
||||
$$u_{kj}=a_{kj}-\sum_{m = 1}^{k - 1}l_{km}u_{mj}(j = k,k + 1,\cdots,n)$$
|
||||
>**计算$L$的第$k$列**:
|
||||
$$l_{ik}=\frac{1}{u_{kk}}(a_{ik}-\sum_{m = 1}^{k - 1}l_{im}u_{mk})(i = k + 1,k + 2,\cdots,n)$$
|
||||
|
||||
>*示例*
|
||||
>对于矩阵
|
||||
$$A=\left[\begin{array}{ccc}2&1&1\\4&3&3\\8&7&9\end{array}\right]$$
|
||||
>1. **第一步计算**
|
||||
>首先$u_{11}=2$, $u_{12}=1$,$u_{13}=1$,$l_{21}=\frac{4}{2}=2$,$l_{31}=\frac{8}{2}=4$
|
||||
>2. **第二步计算** 然后计算
|
||||
> $u_{22}=a_{22}-l_{21}u_{12}=3 - 2×1 = 1$,
|
||||
> $u_{23}=a_{23}-l_{21}u_{13}=3 - 2×1 = 1$
|
||||
>4. **第三步计算**
|
||||
$$l_{32}=\frac{1}{u_{22}}(a_{32}-l_{31}u_{12})=\frac{1}{1}(7 - 4×1)=3$$
|
||||
>5. **第四步计算** 最后
|
||||
$$u_{33}=a_{33}-l_{31}u_{13}-l_{32}u_{23}=9 - 4×1 - 3×1 = 2$$
|
||||
>6. **得出结果** 得到
|
||||
$$L=\left[\begin{array}{ccc}1&0&0\\2&1&0\\4&3&1\end{array}\right]$$
|
||||
$$U=\left[\begin{array}{ccc}2&1&1\\0&1&1\\0&0&2\end{array}\right]$$
|
||||
BIN
otherdocs/高等代数/高等代数第二章.pdf
Normal file
BIN
otherdocs/高等代数/高等代数第二章.pdf
Normal file
Binary file not shown.
57
otherdocs/高等代数/高等代数第五章.md
Normal file
57
otherdocs/高等代数/高等代数第五章.md
Normal file
@@ -0,0 +1,57 @@
|
||||
**Copyright © 2024 Simon**
|
||||
# 第5章 特征值与特征向量
|
||||
# 5.1 特征向量(eigenvector)与特征值(eigenvalue)
|
||||
>定义 $A$ 为 $n \times n$ 矩阵,$x$ 为非零向量, 若存在数 $λ$ 使 $Ax=λx$ 有非平凡解 $x$, 则称 $λ$ 为 $A$的特征值,$x$ 称为对应于 $λ$ 的特征向量
|
||||
也可写作$(A-λI)x=0$
|
||||
|
||||
>**定理1**
|
||||
三角矩阵的主对角线的元素是其特征值.
|
||||
|
||||
>**定理2**
|
||||
$λ_1,\cdots,λ_r$ 是 $n \times n$ 矩阵 $A$ 相异的特征值,$v_1,\cdots,v_r$是与$λ_1,\cdots,λ_r$对应的特征向量,那么向量集合{$v_1,\cdots,v_r$}线性无关.
|
||||
|
||||
|
||||
|
||||
* 一、逆矩阵的特征值
|
||||
若矩阵$A$可逆,$\lambda$是$A$的特征值,则$A^{-1}$的特征值是$\displaystyle \frac{1}{\lambda}$,特征向量不变。
|
||||
|
||||
* 二、转置矩阵的特征值
|
||||
矩阵$A$与其转置矩阵$A^T$具有相同的特征值。
|
||||
|
||||
* 三、伴随矩阵的特征值
|
||||
若$A$可逆,$A$的特征值为$\lambda_i$($i = 1,2,\cdots,n$,$\lambda_i\neq0$),则伴随矩阵$A^*$的特征值为$\displaystyle \frac{\vert A\vert}{\lambda_i}$,特征向量不变。
|
||||
|
||||
# 5.2 特征方程(eigen equation)
|
||||
>**定理(可逆矩阵定理(续))**
|
||||
设 $A$ 是 $n \times n$ 矩阵,则 $A$ 是可逆的当且仅当
|
||||
a.0不是 $A$ 的特征值.
|
||||
b.$A$ 的行列式不等于零.
|
||||
|
||||
|
||||
|
||||
>**定理3 (行列式的性质)**
|
||||
设 $A$ 和 $B$ 是 $n \times n$ 矩阵.
|
||||
a. $A$ 可逆的元要条件是 det$A \neq 0$.
|
||||
b. det $AB =$ (det $A$) (det$B$).
|
||||
c. det $A^T$ = det $A$.
|
||||
d. 若 $A$ 是三角形矩阵,那么det $A$ 是 $A$ 主对角线元素的乘积.
|
||||
e. 对 $A$ 作行替换不改变其行列式值.作一次行交换,行列式值符号改变一次数来一行后,
|
||||
行列式值等于用此数来原来的行列式值.
|
||||
|
||||
>**定理4**
|
||||
若 $n \times n$ 矩阵 $A$ 和 $B$ 是相似的,那么它们有相同的特征多项式,从而有相同的特征值(和相同的重数).
|
||||
|
||||
# 5.3 对角化(diagonalize)
|
||||
>**定理5 (对角化定理)**
|
||||
$n \times n$ 矩阵 $A$ 可对角化的充分必要条件是 $A$ 有 $n$ 个线性无关的特征向量.
|
||||
事实上, $A=PDP^{-1}$ , $D$ 为对角矩阵的充分必要条件是 $P$ 的列向量是 $A$ 的 $n$ 个线性无关的特征向量.此时,$D$ 的主对角线上的元素分别是 $A$ 的对应于 $P$ 中特征向量的特征值.
|
||||
|
||||
>**定理6**
|
||||
有 $n$ 个相异特征值的$n \times n$ 矩阵可对角化.
|
||||
|
||||
>**定理7**
|
||||
~~似乎不重要,因为我也读不懂~~
|
||||
|
||||
>**定理8 (对角矩阵表示)**
|
||||
设 $A=PDP^{-1}$ , 其中 $D$ 为 $n \times n$ 对角矩阵,若 $R$<sup>n</sup> 的基$\beta$由 $P$ 的列向量组成,那么 $D$ 是变换 $x$ → $Ax$的$\beta$-矩阵.
|
||||
|
||||
BIN
otherdocs/高等代数/高等代数第五章.pdf
Normal file
BIN
otherdocs/高等代数/高等代数第五章.pdf
Normal file
Binary file not shown.
166
otherdocs/高等代数/高等代数第六章.md
Normal file
166
otherdocs/高等代数/高等代数第六章.md
Normal file
@@ -0,0 +1,166 @@
|
||||
**Copyright © 2024 Simon**
|
||||
# 6.1 内积、长度和正交性
|
||||
|
||||
* 内积
|
||||
内积的英文是 “inner product” 或 “dot product”
|
||||
> **定理1**
|
||||
> 设 $v$,$u$ 和 $w$ 是 $R$<sup>n</sup> 中的向量, $c$ 是一个数,那么
|
||||
|
||||
|
||||
$a. \ \ \ u \cdot v = v \cdot u$
|
||||
|
||||
$b.\ \ \ (u +v) \cdot w = u \cdot w +v \cdot w$
|
||||
|
||||
$c. \ \ \ (cu) \cdot v=c(u \cdot v)=u \cdot (cv)$
|
||||
|
||||
$d. \ \ \ u \cdot u \geq 0,并且u \cdot u=0 成立的充分必要条件是u=0$
|
||||
|
||||
|
||||
* 向量的长度
|
||||
|
||||
$$||v|| ^2 = v \cdot v$$
|
||||
|
||||
$$dist(u,v)=||u-v||$$
|
||||
|
||||
* 正交向量
|
||||
正交向量的英文是 “orthogonal vectors” 或 “perpendicular vectors”
|
||||
|
||||
>定义如果 $u \cdot v = 0$ ,如 $R$<sup>n</sup> 中的两个向量 $u$ 和 $v$ 是(相互) 正交的.
|
||||
|
||||
>对于一个方阵$A$,Col$A$中的向量与Nul$A$中的向量正交。
|
||||
|
||||
>**定理2 (毕达哥拉斯(勾股)定理)**
|
||||
|
||||
$$||u+v||^2=||u||^2+||v||^2$$
|
||||
|
||||
* 正交补
|
||||
正交补的英文是 “orthogonal complement”
|
||||
|
||||
>1.向量 $x$ 属于 $W$<sup>⊥</sup> 的充分必要条件是向量 $x$ 与生成空间 $W$ 的任一向量都正交.
|
||||
>2. $W$<sup>⊥</sup> 止是 $R$<sup>n</sup> 的一个子空间.
|
||||
|
||||
>**定理3**
|
||||
$( Row A )$<sup>⊥</sup> = $Nul A$ 且 $( ColA )$<sup>⊥</sup> = $Nul A$<sup>T</sup>
|
||||
|
||||
# 6.2 正交集
|
||||
* 正交集的英文是 “orthogonal set” 或 “orthonormal set”
|
||||
>**定理4**
|
||||
如果 $S=\{x_1,x_2,\cdots,x_i\}$ 是由 $R$<sup>n</sup> 中非零向量构成的正交集,那么 $S$ 是线性无关集,因此构成 $S$ 所生成的子空间的一组基.
|
||||
|
||||
>**定理5**
|
||||
假设$\{x_1,x_2,\cdots,x_i\}$是 $R$<sup>n</sup> 中于空间 $W$ 的正文基,对 $W$ 中的每个向量y,线性组合 $y=x_1c_1+\cdots+x_ic_i$ 中的权可以由 $c_j=(y \cdot u_j)/(u_j \cdot u_j)$计算
|
||||
|
||||
## 正交投影 **先欠着** ~~懒得写~~
|
||||
|
||||
|
||||
>**定理6**
|
||||
一个 $m \times n$ 矩阵 U 具有单位正交列向量的充分必要条件是 $U$<sup>T</sup> $U$ = $I$.
|
||||
|
||||
>**定理7**
|
||||
假设 $U$ 是一个具有单位正交列的 $m \times n$ 矩阵,且 $x$ 和 $y$ 是 $R$<sup>n</sup> 中的向量,那么
|
||||
a. $||Ux|| = ||x|| .$
|
||||
b. $(Ux) \cdot (Uy) =x \cdot y$
|
||||
c. $(Ux) \cdot (Uy) = 0$ 的充分必要条件是 $x \cdot y = 0$
|
||||
|
||||
>**定理9 (最佳逼近定理)**
|
||||
假设 $W$ 是 $R$<sup>n</sup> 的一个子空间,$y$ 是 $R$<sup>n</sup> 中的任意向量, $\widehat{y}$ 是 $y$ 在 $W$ 上的正支投影,那么 $\widehat{y}$ 是 $W$ 中最接近 $y$ 的点,也就是
|
||||
$$||y-\widehat{y}||<||y-v||$$
|
||||
>对所有属于 $W$ 又异于 $\widehat{y}$ 的 $v$ 成立.
|
||||
|
||||
# 6.4 格拉姆-施密特方法
|
||||
|
||||
## 格拉姆 - 施密特方法
|
||||
|
||||
设$\left\{\boldsymbol{v}_{1},\boldsymbol{v}_{2},\cdots,\boldsymbol{v}_{n}\right\}$是内积空间$V$中的一组线性无关向量。
|
||||
首先$\boldsymbol{u}_{1}=\boldsymbol{v}_{1}$;对于$k = 2,3,\cdots,n$,
|
||||
$$\boldsymbol{u}_{k}=\boldsymbol{v}_{k}-\sum_{j = 1}^{k - 1}\frac{\left\langle\boldsymbol{v}_{k},\boldsymbol{u}_{j}\right\rangle}{\left\langle\boldsymbol{u}_{j},\boldsymbol{u}_{j}\right\rangle}\boldsymbol{u}_{j}$$
|
||||
即从$\boldsymbol{v}_{k}$中减去它在已构造正交向量$\boldsymbol{u}_{1},\boldsymbol{u}_{2},\cdots,\boldsymbol{u}_{k - 1}$上的投影,得到新正交向量$\boldsymbol{u}_{k}$。
|
||||
|
||||
|
||||
# 6.5 最小二乘问题
|
||||
* 最小二乘的英文是 “least squares” 或 “least square method”;
|
||||
最小二乘解的英文是 “least squares solution”。
|
||||
|
||||
* **定义**
|
||||
$$||b-A\widehat{x}||\leq||b-Ax||$$
|
||||
|
||||
>**定理13**
|
||||
方程 $Ax=b$ 的最小二乘解集和法方程 $A$<sup>T</sup> $Ax = A$<sup>T</sup> $b$ 的非空解集一致.
|
||||
|
||||
>**定理14**
|
||||
设 $A$ 是 $m \times n$ 矩阵. 下面的条件是逻辑等价的:
|
||||
a.对于 $R$<sup>n</sup> 中的每个 $b$ , 方程 $Ax =b$ 有唯一最小二乘解.
|
||||
b.$A$ 的列是线性无关的.
|
||||
c.矩阵 $A$<sup>T</sup> $A$是可逆的.
|
||||
当这些条件成立时,最小二乘解£有下面的表示:
|
||||
$$\widehat{x}=( A^T A)^{-1}A^Tb$$
|
||||
|
||||
|
||||
# 6.7 内积空间
|
||||
|
||||
>**定义**
|
||||
向量空间 $V$ 上的内积是一个函数,对每一对属于$V$的向量 $u$ 和 $v$,存在一个实数$\langle u,v \rangle$满足下面公理,其中 $u$,$v$,$w$ 属于$V$,$C$ 为所有数.
|
||||
1.$\langle u,v\rangle= \langle v,u \rangle$
|
||||
2.$\langle u +v, w\rangle =\langle u, w\rangle +\langle v,w\rangle$
|
||||
3.$\langle$c$u,v\rangle=$c$\langle u, v\rangle$
|
||||
4.$\langle u,u\rangle \geq 0$且$\langle u,u\rangle =0$ 的充分必要条件是 $u=0$
|
||||
一个赋予上面内积的向量空间称为**内积空间**
|
||||
|
||||
* 内积空间的英文是 “inner product space” 或 “pre-Hilbert space”
|
||||
|
||||
|
||||
>**定理16 (柯西-施瓦茨不等式)**
|
||||
对 $V$ 中任意向量 $u$ 和 $v$,有
|
||||
$$|\langle u,v \rangle| \leq ||u||\ \ ||v||$$
|
||||
|
||||
|
||||
>**定理17 (三角不等式)**
|
||||
对属于$V$ 的所有向量$u$,$v$,有
|
||||
$$||u-v||\leq||u||+||v||$$
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
BIN
otherdocs/高等代数/高等代数第六章.pdf
Normal file
BIN
otherdocs/高等代数/高等代数第六章.pdf
Normal file
Binary file not shown.
87
otherdocs/高等代数/高等代数第四章.md
Normal file
87
otherdocs/高等代数/高等代数第四章.md
Normal file
@@ -0,0 +1,87 @@
|
||||
**Copyright © 2024 Simon**
|
||||
# 第4章 向量空间
|
||||
# 4.1 向量空间(vector space)与子空间(subspace)
|
||||
>向量空间和向量计算法则一样
|
||||
|
||||
* 子空间
|
||||
>定义向量空间 $V$ 的一个子空间是 $V$ 的一个满足以下三个性质的子集 $H$:
|
||||
a. $V$ 中的零向量在 $H$ 中
|
||||
b. $H$ 对向量加法封闭,即对 $H$ 中任意向量 $U$,$V$ , 和 $u + v$ 仍在 $H$ 中.
|
||||
c. $H$ 对标量乘法封闭, 即对 $H$ 中任意向量 $u$ 和任意标量 $C$ ,向量 $cu$ 仍在 $H$ 中.
|
||||
|
||||
|
||||
>**定理1** 若 $v_1,v_2,\cdots,v_p$ 在向量空间 $V$ 中,则$span\{x_1,x_2,\cdots,x_i\}$是 $V$ 的一个子空间.
|
||||
|
||||
# 4.2 零空间、列空间和线性变换
|
||||
* 矩阵的零空间(null space)
|
||||
|
||||
>**定义**
|
||||
矩阵 $A$ 的零空间写成 $NulA$ , 是齐次方程 $Ax = 0$ 的全体解的集合.
|
||||
|
||||
>**定理2** $m \times n$ 矩阵 $A$ 的零空间是$R$<sup>m</sup>的一个子空间.等价地, $m$ 个方程、$n$ 个未知数的齐次线性方程组 $Ax = 0$ 的全体解的集合是$R$<sup>m</sup>的一个子空间
|
||||
|
||||
* 矩阵的列空间(column space)
|
||||
>**定义**
|
||||
$m \times n$矩阵 $A$ 的列空间(记为 $ColA$ ) 是由 $A$ 的列的所有线性组合组成的集合.若 $A=\begin{bmatrix}
|
||||
\ x_1\ x_2\ \cdots \ x_3 \ \\
|
||||
\end{bmatrix}$,则 $ColA = span\{x_1,x_2,\cdots,x_i\}$.
|
||||
|
||||
>**定理3** $m \times n$ 矩阵 $A$ 的列空间是 $R$<sup>m</sup> 的一个子空间.
|
||||
|
||||
* 线性变换的核与值域
|
||||
>线性变换 见1.8
|
||||
* 核(零空间 $Nul A$)
|
||||
>线性变换 $T$ 的核(或零空间)是 $V$ 中所有满足 $T(u) = 0$ 的向量 $u$ 的集合
|
||||
|
||||
# 4.3 线性无关集(linearly independent set)和基(basis)
|
||||
* 线性无关 见1.7
|
||||
|
||||
>**定理5 (生成集定理)**
|
||||
令$S = \{v_1,v_2,\cdots,v_p\}$是$V$中的向量集,$H = span\{v_1,v_2,\cdots,v_p\}$.
|
||||
a.若 $S$ 中某一个向量(比如说 $v_k$ ) 是 $S$ 中其余向量的线性组合,则 $S$ 中去掉$v_k$ 后形成的集合仍然可以生成 $H$.
|
||||
b. 若$H \neq \{0\}$ ,则 $S$ 的某一子集是 $H$ 的一个基.
|
||||
|
||||
* NulA 和ColA 的基
|
||||
>**定理6**
|
||||
矩阵 $A$ 的主元列构成 $ColA$ 的一个基.
|
||||
|
||||
|
||||
# 4.5 向量空间的维数(dimension)
|
||||
>**定理9**
|
||||
若向量空间 $V$ 具有一组基(n个基向量), 则 $V$ 中任意包含多于 $n$ 个向量的集合一
|
||||
定线性相关.
|
||||
|
||||
~~这是期中考证明题,没做出来~~
|
||||
|
||||
>**定理10** 若向量空间 $V$ 有一组基含有 $n$ 个向量,则 $V$ 的每一组基一定恰好含有 $n$ 个向量.
|
||||
|
||||
* $NulA$ 的维数是方程 $Ax=0$ 中自由变量的个数,$ColA$ 的维数是 $A$ 中主元列的个数.
|
||||
|
||||
# 4.6 秩(rank)
|
||||
|
||||
* $ColA^T = Row A$.
|
||||
>**定理13** 若两个矩阵 $A$ 和 $B$ 行等价,则它们的行空间相同.若 $B$ 是阶梯形矩阵,则 $B$ 的非零行构成 $A$ 的行空间的一个基同时也是 $B$ 的行空间的一个基
|
||||
|
||||
~~?看不太懂~~
|
||||
|
||||
*以下比较重要*
|
||||
|
||||
>**定义**
|
||||
$A$ 的秩即 $A$ 的列空间的维数
|
||||
|
||||
>**定理14 (秩定理)**
|
||||
$m \times n$ 矩阵 $A$ 的列空间和行空间的维数相等,这个公共的维数(即 $A$ 的秩)还等于 $A$ 的主元位置的个数且,满足方程
|
||||
$$rank\ A+dim\ \ Nul \ A = n$$
|
||||
|
||||
>**定理 (可逆矩阵定理(续))**
|
||||
令 $A$ 是一个 $n \times n$ 矩阵,则下列命题中的每一个均等价于 $A$ 是可逆矩阵:
|
||||
a. $A$ 的列构成$R$<sup>n</sup>的一个基.
|
||||
b. $ColA=$$R$<sup>n</sup>.
|
||||
c. $dim \ ColA = n$.
|
||||
d. $rank A = n$.
|
||||
e. $Nul A = \{0\}$.
|
||||
f. $dim \ NulA=0$.
|
||||
|
||||
|
||||
# 4.7 基的变换
|
||||
~~先欠着~~
|
||||
BIN
otherdocs/高等代数/高等代数第四章.pdf
Normal file
BIN
otherdocs/高等代数/高等代数第四章.pdf
Normal file
Binary file not shown.
Reference in New Issue
Block a user