当前位置：首页 > news >正文

《量化绿皮书》Chapter 3 Calculus and Linear Algebra 微积分与线性代数（二）

news 来源：原创 2025/5/19 21:47:46

《A Practical Guide To Quantitative Finance Interviews》，被称为量化绿皮书，是经典的量化求职刷题书籍之一，包含以下七章：

Chapter 1 General Principles 通用技巧

Chapter 2 Brain Teasers 脑筋急转弯

Chapter 3 Calculus and Linear Algebra 微积分与线性代数

Chapter 4 Probability Theory 概率论

Chapter 5 Stochastic Process and Stochastic Calculus 随机过程与随机微积分

Chapter 6 Finance 金融

Chapter 7 Algorithms and Numerical Methods 算法与数值方法

文章目录

- 3.5 Ordinary Differential Equations 常微分方程
- - 3.5.1 Separable differential equations 可分离变量的微分方程
  - 3.5.2 First-order linear differential equations 一阶线性微分方程
  - 3.5.3 Homogeneous linear equations 二阶齐次线性方程
  - 3.5.4 Nonhomogeneous linear equations 二阶非齐次线性方程
- 3.6 Linear Algebra 线性代数
- - 3.6.1 Vectors 向量
  - 3.6.2 QR decomposition QR分解
  - 3.6.3 Determinant, eigenvalue and eigenvector 行列式，特征值和特征向量
  - 3.6.4 Positive semidefinite/definite matrix 半正定和正定矩阵
  - 3.6.5 LU decomposition and Cholesky decomposition LU分解和Cholesky分解

3.5 Ordinary Differential Equations 常微分方程

3.5.1 Separable differential equations 可分离变量的微分方程

$\frac{dy}{dx}=g(x)h(y)$

解：分离为 $\frac{dy}{h(y)}=g(x)dx$ ，解为 $\int\frac{dy}{h(y)}=\int g(x)dx$

问： $y^{'} + 6 x y = 0, y (0) = 1$

**答：**分离为 $\frac{dy}{y}=-6xdx$ ，解为 $ln y=-3x^2+c$

代入 $y (0) = 1$ ，

$\therefore y=e^{-3x^2}$

问： $y'=\frac{x-y}{x+y}$

**答：**令 $z = x + y$

原方程变为 $\frac{d(z-x)}{dx}=\frac{x-(z-x)}{z}$ ，即 $\frac{dz}{dx}-1=\frac{2x}{z}-1$

分离为 $z d z = 2 x d x$ ，解为 $z^2=2x^2+c$

代入 $z = x + y$ ，

$\therefore y^2+2xy-x^2=c$

3.5.2 First-order linear differential equations 一阶线性微分方程

$\frac{dy}{dx}+P(x)y=Q(x)$

解：找到积分因子 $I(x)=e^{\int P(x)dx}$ （ $\frac{dI(x)}{dx}=I(x)P(x)$ ），方程两边同乘积分因子：

$I (x) (y^{'} + P (x) y) = I (x) y^{'} + I (x) P (x) y = (I (x) y)^{'} = I (x) Q (x)$

$\Rightarrow I(x)y=\int I(x)Q(x)dx \Rightarrow y=\frac{\int I(x)Q(x)dx}{I(x)}$

即公式为： $y=e^{-\int P(x)dx}(\int e^{\int P(x)dx}Q(x)dx+c)$

伯努利方程： $\frac{dy}{dx}+P(x)y=Q(x)y^n$ （可化为一阶线性微分方程）

$y^{-n}\frac{dy}{dx}+P(x)y^{1-n}=Q(x)$

$\frac{1}{1-n}\frac{dy^{1-n}}{dx}+P(x)y^{1-n}=Q(x)$

令 $y^{1-n}=u$ ，方程两边同乘 $1 - n$ ：

$\frac{du}{dx}+(1-n)P(x)u=(1-n)Q(x)$

$\frac{du}{dx}+P'(x)u=Q'(x)$

问： $y'+\frac{y}{x}=\frac{1}{x^2},y(1)=1,x>0$

答： $I(x)=e^{\int P(x)dx}=e^{\ln x}=x$

$y=\frac{\ln x+c}{x}$

代入 $y (1) = 1$ ，

$\therefore y=\frac{\ln x+1}{x}$

3.5.3 Homogeneous linear equations 二阶齐次线性方程

$a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+cy=0$

解：特征方程 $ar^2+br+c=0$

特征方程有两个不同的实数解 $r_1,r_2$ ，方程通解 $y=c_1e^{r_1x}+c_2e^{r_2x}$
特征方程有一个二重解 $r_1=r_2=r$ ，方程通解 $y=c_1e^{rx}+c_2xe^{rx}$
特征方程有一对共轭复解 $r=\alpha \pm i\beta$ ，方程通解 $y=e^{\alpha x}(c_1\cos \beta x+c_2\sin \beta x)$

问： $y^{''} + y^{'} + y = 0$

答： $r^2+r+1=0$ ， $\pm \sqrt{3}/2i$

$\therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x))$

3.5.4 Nonhomogeneous linear equations 二阶非齐次线性方程

$a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+cy=d(x)$

解：找一个方程的非齐次特解，方程通解 $y=y_p(x)+y_g(x)$ ，其中 $y_p(x)$ 为非齐次特解， $y_g(x)$ 为齐次通解

非齐次特解：

$P_m(x)表示x最高次为m的多项式，Q_m(x)表示系数需要代回原方程确定的x最高次为m的多项式$

$d(x)=P_m(x)$
若 $0$ 不是方程的特征解，则有特解 $y_p(x)=Q_m(x)$
若 $0$ 是方程的单特征解，则有特解 $y_p(x)=xQ_m(x)$
若 $0$ 是方程的二重特征解，则有特解 $y_p(x)=x^2Q_m(x)$

$d(x)=e^{\alpha x}P_m(x)$
若 $\alpha$ 不是方程的特征解，则有特解 $y_p(x)=e^{\alpha x}Q_m(x)$
若 $\alpha$ 是方程的单特征解，则有特解 $y_p(x)=xe^{\alpha x}Q_m(x)$
若 $\alpha$ 是方程的二重特征解，则有特解 $y_p(x)=x^2e^{\alpha x}Q_m(x)$

$d(x)=e^{\alpha x}(a_1\cos \beta x+a_2\sin \beta x)$
若 $\alpha \pm i\beta$ 不是方程的特征解，则有特解 $y_p(x)=e^{\alpha x}(A_1\cos \beta x+A_2\sin \beta x)$
若 $\alpha \pm i\beta$ 是方程的特征解，则有特解 $y_p(x)=xe^{\alpha x}(A_1\cos \beta x+A_2\sin \beta x)$

问： $y^{''} + y^{'} + y = 1$ 和 $y^{''} + y^{'} + y = x$

答： $y_g(x)=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x))$

$y^{''} + y^{'} + y = 1$ ：

$y_p(x)=1$ ，

$\therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x))+1$

$y^{''} + y^{'} + y = x$ ：

$y_p(x)=x-1$ ，

$\therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x))+x-1$

3.6 Linear Algebra 线性代数

3.6.1 Vectors 向量

内积/点积： $\sum_{i=1}^{n}x_iy_i=x^Ty$

欧几里得范数（L2范数）： $||x||=\sqrt{\sum_{i=1}^{n}x_i^2}$ ； $||x-y||=\sqrt{(x-y)^T(x-y)}$

两个向量 $x$ 和 $y$ 的夹角 $\theta$ ， $\cos \theta=\frac{x^Ty}{||x||||y||}$

$x^Ty=0$ ， $x$ 和 $y$ 正交

两个随机变量的相关系数可以看作是它们在欧氏空间中夹角的余弦值 $\rho = \cos\theta$

问：有3个随机变量 $x 、 y 、 z$ ， $x$ 与 $y$ 的相关系数为 $0.8$ ， $x$ 与 $z$ 的相关系数为0.8， $y$ 与 $z$ 的相关系数最大值和最小值为多少？

**答：**将随机变量看作向量， $x$ 与 $y$ 的夹角为 $\theta$ ， $\cos \theta=0.8$ ， $x$ 与 $z$ 的夹角也为 $\theta$ 。

$y$ 与 $z$ 的相关系数最大，即夹角最小： $y$ 与 $z$ 在同一方向，夹角为0，相关系数为 $1$
$y$ 与 $z$ 的相关系数最小，即夹角最大： $y$ 与 $z$ 的夹角为 $2\theta$ ，相关系数为 $\rho=\cos2\theta=(\cos\theta)^2-(\sin\theta)^2=0.8^2-0.6^2=0.28$

3.6.2 QR decomposition QR分解

**QR分解：**对于每一个 $n$ 阶非奇异矩阵 $A_{n*n}$ ，存在唯一的一对正交矩阵 $Q_{n*n}$ 和非奇异上三角矩阵 $R_{n*n}$ ，使得 $A = QR$

写出矩阵 $A$ 的列向量组 $a_1,a_2,…,a_n)$
对列向量组进行施密特正交化得到正交向量组 $b_1,b_2,…,b_n)$ ，再单位化得到单位正交向量组 $q_1,q_2,…,q_n)$ ，构成正交矩阵 $Q$
$b_1=a_1$
$b_2=a_2-\frac{(a_2,b_1)}{(b_1,b_1)}b_1$
$b_3=a_3-\frac{(a_3,b_1)}{(b_1,b_1)}b_1-\frac{(a_3,b_2)}{(b_2,b_2)}b_2$
$\dots$

将矩阵 $A$ 的列向量组 $a_1,a_2,…,a_n)$ 表示成正交向量组 $q_1,q_2,…,q_n)$ 的线性组合（使用施密特正交化的结果），系数矩阵即为 $R$

**QR分解常用于解决 $A$ 为非奇异矩阵的线性问题 $A x = b$ ：**因为 $Q$ 为正交矩阵， $Q^{-1}=Q^T$ ，所以 $\Rightarrow Rx=Q^Tb$ ；因为 $R$ 为上三角矩阵，可以从 $x_n$ 开始（方程简写为 $R_{n,n}x_n = (Q^Tb)_n)$ ，然后递归地计算所有的 $x_i$

问：设计一个算法进行线性最小二乘回归

答： $y_i=\beta_0x_{i,0}+\beta_1x_{i,1}+…+\beta_{p-1}x_{i,p-1}+\epsilon_i,\forall i=1,…,n$ ，其中 $x_{i,0}\equiv 0,\forall i$ 为截距项， $x_{i,1},…，x_{i,p-1}$ 为 $p - 1$ 个外生解释变量，共 $n$ 个样本，找到一组 $\beta=[\beta_0,\beta_1,…,\beta_{p-1}]^T$ 使 $\sum_{i=1}^n\epsilon_i^2$ 最小

矩阵形式： $Y_{n*1}=X_{n*p}\beta_{p*1}+\epsilon_{n*1}$ ， $\underset{\beta}\min f(\beta)=\underset{\beta}\min \sum_{i=1}^n\epsilon_i^2=\underset{\beta}\min (Y-X\beta)^T(Y-X\beta)$

$f'(\beta)=2X^T(Y-X\hat\beta)=0 \Rightarrow (X^TX)\hat\beta=X^TY$

令 $A=(X^TX),b=X^TY$ ， $A\hat\beta=b$ ，可以使用QR分解解决。

矩阵求导：

$\frac{\partial a^Tx}{\partial x}=\frac{\partial x^Ta}{\partial x}=a$ ， $\frac{\partial Ax}{\partial x}=A$ ， $\frac{\partial x^TAx}{\partial x}=(A^T+A)x$ ， $\frac{\partial^2 x^rAx}{\partial x\partial x^r}=2A$ ，

$\frac{\partial (Ax+b)^TC(Dx+e)}{\partial x}=A^TC(Dx+e)+D^TC^T(Ax+b)$

3.6.3 Determinant, eigenvalue and eigenvector 行列式，特征值和特征向量

**行列式：**矩阵 $A_{n*n}$ 的行列式 $\det (A)$

对角线法：将前 $n - 1$ 列平移到行列式右侧，作出所有斜对角线，对角线上的元素相乘，左上至右下的为 $+$ ，右上至左下的为 $-$
$\det\begin{pmatrix} \begin{bmatrix}a & b \\ c & d\\ \end{bmatrix} \end{pmatrix}=ad-bc$ ， $\det\begin{pmatrix} \begin{bmatrix}a & b & c \\ d & e & f \\ g & h & i \end{bmatrix} \end{pmatrix}=aei+bfg+cdh-ceg-afh-bdi$

行列式的性质： $det(A^T)=\det(A)$ ， $\det(AB)=\det(A)\det(B)$ ， $\det(A^{-1})=\frac{1}{\det(A)}$

**特征值和特征向量：**对于矩阵 $A_{n*n}$ ，如果存在一个非零向量 $x$ ，使得 $Ax=\lambda x$ ，则实数 $\lambda$ 为 $A$ 的特征值，每一个满足这个方程的非零向量 $x$ 为 $A$ 关于特征值 $\lambda$ 的特征向量。

特征多项式： $A-\lambda I$
特征方程： $\det(A-\lambda I)=0$ ， $A$ 的特征值为特征方程的实根
利用特征方程，还可得性质 $\lambda_1\lambda_2…\lambda_n=\det(A)$ ， $\sum_{i=1}^{n}\lambda_i=trace(A)=\sum_{i=1}^{n}A_{i,i}$

**可对角化矩阵：**有线性无关的特征向量

$X=[x_1|x_2|…|x_n]$

$X^{-1}AX=\begin{bmatrix}\lambda_1 \\ & \lambda_2\\ & & …\\ & & & \lambda_n\\ \end{bmatrix}=D \Rightarrow A=XDX^{-1} \Rightarrow A^k=XD^kX^{-1}$

问： $A=\begin{bmatrix}2 & 1 \\ 1 & 2\\ \end{bmatrix}$ 的特征值和特征向量

答：

方法一：定义

$Ax=\begin{bmatrix}2 & 1 \\ 1 & 2\\ \end{bmatrix}\begin{bmatrix}x_1 \\ x_2\\ \end{bmatrix}=\begin{bmatrix}2x_1+x_2 \\ x_1+2x_2\\ \end{bmatrix}=\lambda x=\begin{bmatrix}\lambda x_1 \\ \lambda x_2\\ \end{bmatrix}$

$\left \{ \begin{array}{c} 2x_1+x_2=\lambda x_1 \\ x_1+2x_2=\lambda x_2 \end{array} \right. \Rightarrow 3(x_1+x_2)=\lambda(x_1+x_2)$

$\lambda=3$ ，代入方程得 $x_1=x_2$ ，归一化特征向量 $\begin{bmatrix}1/\sqrt2 \\ 1/\sqrt2\\ \end{bmatrix}$

$x_1+x_2=0$ ，归一化特征向量 $\begin{bmatrix}1/\sqrt2 \\ -1/\sqrt2\\ \end{bmatrix}$ ，代入方程得 $\lambda=1$

方法二：特征方程

$\det(A-\lambda I)=0 \Rightarrow (2-\lambda)(2-\lambda)-1=0$ ，解得 $\lambda_1=1,\lambda_2=3$ ，代入 $Ax=\lambda x$ 可得特征向量

方法三：性质

$\lambda_1\lambda_2…\lambda_n=\det(A)$ ， $\sum_{i=1}^{n}\lambda_i=trace(A)=\sum_{i=1}^{n}A_{i,i}$

$\left \{ \begin{array}{c} \det(A)=2*2-1*1=3=\lambda_1*\lambda_2 \\ trace(A)=2*2=4=\lambda_1+\lambda_2 \end{array} \right. \Rightarrow \lambda_1=1,\lambda_2=3$

代入 $Ax=\lambda x$ 可得特征向量

3.6.4 Positive semidefinite/definite matrix 半正定和正定矩阵

实对称矩阵 $A_{n*n}$ 为半正定矩阵的充分必要条件：

对任意向量 $x$ ， $x^TAx\geqslant0$
$A$ 的所有特征值非负
$A$ 的所有左上（或右下）子矩阵 $A_K,K=1,…,n$ 有非负行列式

实对称矩阵 $A_{n*n}$ 为正定矩阵的充分必要条件：

对任意非零向量 $x$ ， $x^TAx\geqslant0$
$A$ 的所有特征值为正
$A$ 的所有左上（或右下）子矩阵 $A_K,K=1,…,n$ 有正的行列式

问：有3个随机变量 $x 、 y 、 z$ ， $x$ 与 $y$ 的相关系数为 $0.8$ ， $x$ 与 $z$ 的相关系数为0.8， $y$ 与 $z$ 的相关系数最大值和最小值为多少？

**答：**利用相关性矩阵的半正定性

$x 、 y 、 x$ 的相关性矩阵 $P=\begin{bmatrix}1 & 0.8 & 0.8 \\ 0.8 & 1 & \rho \\ 0.8 & \rho & 1 \end{bmatrix}$

$\det(P)=1\times\det\begin{pmatrix} \begin{bmatrix}1 & \rho \\ \rho & 1\\ \end{bmatrix} \end{pmatrix}-0.8\times\det\begin{pmatrix} \begin{bmatrix}0.8 & 0.8 \\ \rho & 1\\ \end{bmatrix} \end{pmatrix}+0.8\times\det\begin{pmatrix} \begin{bmatrix}0.8 & 0.8 \\ 1 & \rho\\ \end{bmatrix} \end{pmatrix}$

$(1-\rho^2)-0.8\times(0.8-0.8\rho)+0.8\times(0.8\rho-0.8)=-0.28+1.28\rho-\rho^2\geqslant0 \Rightarrow 0.28\leqslant\rho\leqslant1$

3.6.5 LU decomposition and Cholesky decomposition LU分解和Cholesky分解

LU分解： $A_{n*n}$ 为非奇异矩阵，LU分解将 $A$ 分解为上三角矩阵和下三角矩阵： $A = LU$

求解 $A x = b$ ： $\Rightarrow Ux=y,Ly=b$
计算 $A$ 的行列式： $\det(A)=\det(L)\det(U)=\prod_{i=1}^{n}L_{i,i}\prod_{j=1}^{n}U_{j,j}$

Cholesky分解： $A_{n*n}$ 为对称正定矩阵，Cholesky分解将 $A$ 分解为 $A = R^TR$ ，其中 $R$ 是对角元素均为正的上三角矩阵，本质上是一个具有 $L = U^T$ 性质的LU分解。

Cholesky分解在蒙特卡罗模拟中非常有用，可以生成相关的随机变量

**奇异值分解(SVD)：**对于任何 $X_{n*p}$ ，存在分解 $X_{n*p}=U_{n*p}D_{p*p}V_{p*p}^T$ ，其中 $U$ 和 $V$ 分别为 $n * p$ 和 $p * p$ 的正交矩阵，其中 $U$ 的列张成 $X$ 的列空间， $V$ 的列张成 $X$ 的行空间，D为 $p * p$ 的对角矩阵，称为 $X$ 的奇异值。

问：如果你有一个标准正态分布的随机数生成器，如何生成两个服从标准正态分布 $N (0, 1)$ 的随机变量，且协方差为 $\rho$ ?

**答：**独立的 $N (0, 1)$ 随机变量 $z_1,z_2$ $\rightarrow$ 相关性为 $\rho$ 的 $N (0, 1)$ 随机变量 $z_1,z_2$

$x_1=z_1$

$x_1=\rho z_1+\sqrt{1-\rho^2}z_2$

$var(x_1)=var(z_1)=1,var(x_2)=\rho^2var(z_1)+(1-\rho^2)var(z_2)=1$

$cov(x_1,x_2)=cov(z_1,\rho z_1+\sqrt{1-\rho^2}z_2)=cov(z_1,\rho z_1)=\rho$

$n$ 个独立的 $N (0, 1)$ 随机变量 $z_1,z_2,…,z_n$ ，生成服从n维多元正态分布 $X=[X_1,X_2,…,X_n]^T\sim N(\mu,\Sigma)$ 的相关随机变量（均值 $\mu=[\mu_1,\mu_2,…,\mu_n]^T$ ，协方差矩阵 $\Sigma_{n*n}$ ）

**Cholesky分解：**将 $\Sigma_{n*n}$ 分解为 $R^TR$ ， $Z=[z_1,z_2,…,z_n]^T$ ， $X=\mu+R^TZ$

**奇异值分解：**对于正定协方差矩阵，有 $V = U$ 和 $\Sigma = UDU^T$ 。更进一步， $D$ 是特征值 $\lambda_1,\lambda_2,…,\lambda_n$ 组成的对角矩阵， $U$ 是相应特征向量组成的矩阵。

令 $D^{1/2}$ 为对角元素为 $\sqrt{\lambda_1},\sqrt{\lambda_2},…,\sqrt{\lambda_n}$ 的对焦矩阵，则 $D=(D^{1/2})^2=(D^{1/2})(D^{1/2})^T$

即 $\Sigma = UD^{1/2}(UD^{1/2})^T$ ， $X=\mu+(UD^{1/2})Z$