
【计】 conjugate gra***nt method
conjugate
【化】 conjugation
【计】 gra***nt method
【化】 gra***nt method
共轭梯度法(Conjugate Gradient Method)是求解大型稀疏线性方程组和优化问题的迭代算法,其英文全称为"Conjugate Gradient Method",缩写为CG。该方法结合了最速下降法与共轭方向法的优势,通过构造相互正交的搜索方向实现高效收敛。
在数学原理上,共轭梯度法要求迭代方向向量满足共轭条件:
$$
d_i^T A dj = 0 quad (i eq j)
$$
其中$A$为对称正定矩阵,$d$为搜索方向向量。其核心迭代公式为:
$$
x{k+1} = x_k + alpha_k d_k
$$
步长$alpha_k$通过极小化目标函数$f(x)=frac{1}{2}x^T A x - b^T x$确定,满足$alpha_k = frac{r_k^T r_k}{d_k^T A d_k}$,其中$r_k$为第$k$步残差向量。
该方法具有三大显著特性:
在工程领域,共轭梯度法被广泛应用于:
该算法由Hestenes和Stiefel于1952年首次系统提出,相关理论发展记录于美国数学学会的经典论文《Methods of Conjugate Gradients for Solving Linear Systems》(Journal of Research of the National Bureau of Standards, 1952)。
共轭梯度法(Conjugate Gradient Method)是一种用于求解大型稀疏线性方程组的高效迭代算法,尤其适用于对称正定(positive definite)矩阵。它的核心思想是通过构造一组“共轭方向”来加速收敛,避免传统最速下降法的“锯齿现象”。
共轭方向
共轭梯度法的核心是选择一组彼此关于矩阵( A )共轭的搜索方向,即满足:
$$
mathbf{d}_i^T A mathbf{d}_j = 0 quad (i
eq j)
$$
这些方向保证了每一步迭代沿着当前最优方向更新,从而在最多( n )步(( n )为矩阵维度)内找到精确解。
优化视角
求解线性方程组( Amathbf{x} = mathbf{b} )等价于最小化二次函数:
$$
f(mathbf{x}) = frac{1}{2} mathbf{x}^T A mathbf{x} - mathbf{b}^T mathbf{x}
$$
共轭梯度法通过迭代逼近这一极小值点。
初始化
迭代过程(第( k )步)
终止条件
当残差( |mathbf{r}_k| )小于设定阈值时停止。
高效收敛
理论上在( n )步内收敛,实际中因舍入误差可能需要更多迭代,但仍远快于最速下降法。
低内存需求
仅需存储少数向量,适合大规模稀疏矩阵(如有限元分析、机器学习优化问题)。
应用场景
如需更深入的理论推导(如Krylov子空间解释)或代码实现细节,可进一步说明。
【别人正在浏览】