学习极值原理

综 述

极值原理是最小二乘回归的理论基础，因为最小二乘回归是最重要的数据处理工具，也是试验设计的理论基础，研究优化论必须了解极值原理。为以后叙述和应用方便，这里引述一些有关资料，个别地方作了引伸。 受 HTML 语言的限制，符号不够规范，请查各种数学分析教程。

1. 函数的极值原理

1.1 单变量函数的极值

若函数 f(x) 在点x₀ 的双侧邻域中有定义，对于|x-x₀|<δ 内的一切点 x, 都有

f(x)<f(x₀) ------(2.1) 则称函数 f(x) 在 x₀ 处有极大值。同理，若 f(x)>f(x₀) ------(2.2) 则称函数 f(x) 在x₀处有极小值。 若函数 f(x) 在区间 (a,b) 内存在有限导数且在x₀处有极值，则必有f'(x₀)=0 并称点 x₀ 为 f(x) 的一个稳定点。 通常都把极大值问题化为极小值问题，只需将函数变个符号即可。

若函数 f(x) 在 x₀处不可微，x₀也可能是极点。因此，极值存在的必要条件应该是使 f'(x)=0 或 f'(x) 不存在的地方。

1.1.1 极值存在的充分条件

极值存在的充分条件归纳为以下三种判别法:

第一判别法

第二判别法

若函数 f(x) 在邻域 |x-x₀|<δ内有二阶导数 f''(x),并且在 x₀ 处有

f'(x₀)=0 且 f''(x₀)≠0, 则在x₀处函数 f(x) 有极值: f''(x₀)< 0 时为极大值 f''(x₀)> 0 时为极小值

第三判别法

若函数 f(x) 在邻域 |x-x₀|<δ 内有各阶导数 f⁽ⁿ⁾(x),并且在x₀处有

f^(k)(x₀)= 0 ,(k=1,2,...,p-1) f⁽ⁿ⁾(x₀)≠0

若 n 为偶数，则函数 f(x) 在点 x₀处有极值

f⁽ⁿ⁾(x₀)<0 时为极大值； f⁽ⁿ⁾(x₀)>0 时为极小值；

若 n 为奇数,则函数 f(x) 在点x₀处无极值。

1.1.2 函数的最大值和最小值

函数的最大值和最小值是指 f(x) 在 [a,b] 上的最大值和最小值，函数在 [a,b] 上的最大值和最小值一定存在。其求得步骤为：

求出 (a,b) 内 f'(x) 的全部零点和不存在点x_i，并分别计算出f(x_i);

计算出 f(x) 在 [a,b] 的两个端点上的值 f(a),f(b);

比较之，得到最大值和最小值。相应于取最大值和最小值的点（位置）为函数 f(x) 在 [a,b] 上取最大值和最小值的点，有时简称峰点。

2. 多元函数的极值

设函数

y = f(X)= f(x₁,x₂,...,x_m) 定义于区域D中,若X₀=(x₀₁,x₀₂,...,x_0m)(∈D) 有一个邻域 |x_i-x_0i|,<δ,(i=1,2,...,m) 对该邻域中所有点 X，关系式 f(X)<f(X₀) 成立，则称函数 f(X) 在X₀处有极大值。同理，若 f(X)>f(X₀) 则称函数 f(X) 在X₀处有极小值。

2.1 多元函数极值存在的必要条件

与一元函数类似，若函数 f(X) 在X₀(∈D) 处有极值，则必须

∂f(X)/∂x_i=0 (_{X=X0, (i=1,2,...,m)} ) 或不存在，并称点X₀为 f(X) 的一个稳定点。

2.2 多元函数极值存在的充分条件

设 X₀为函数 f(X) 的一个稳定点，且 f(X) 在 X₀的邻域内有定义，连续，有直到二阶的连续偏导数。记 i 阶矩阵为

M_i=|∂²f(X)/∂x_i∂x_j|_{(i,j=1,2,...,m); X= X0} 若所有行列式 M_i>0, (i=1,2,...,m)),则稳定点 X₀为极小点；若标号为偶数的行列式 M_i>0，标号为奇数的行列式 M_i<0，则稳定点 X₀ 为极大点； 若这些条件不成立，则稳定点 X₀不是极值点。若所有行列式 M_i=0 ，则必须考察更高阶的偏导数。

3. 二元函数的极值

设函数 f(x,y) 在点 (a,b) 的邻域中有定义，连续,且有一阶及二阶连续偏导数。 把多元函数的结果移过来，二元函数在某处 (a,b) 存在极值的必要条件是，在该处函数对 x,y 的一阶偏导数为 0，或不存在。 如果 f(x,y) 对 x 和 y 的二阶偏导数

Δ=(∂²f / ∂x²)(∂²f/∂y²) - (∂²f / ∂x∂y)² 在满足 Δ>0 的条件下,

∂²f/∂x²>0 时，点(a,b)是一个极小点；

∂²f/∂x²<0 时，点(a,b)是一个极大点。

如果Δ<0，点 (a,b) 不是一个极值点。

如果 Δ=0，稳定点 (a,b) 为可疑情形，需另作研究。

4. 研究二元函数的一个特例

f(x,y)= a₀+a₁x +a₂xy + a₃y 注意到 f'_x = a₁ +a₂y, f_y = a₃ +a₂x 稳定点为: x= -a₃/a₂, y= -a₁/a₂ , 由于 f''_xx= 0 f''_yy = 0 Δ = -(f''_xy)² = -(a₂)² < 0 更高阶偏导数等于 0，不满足极值存在的充分条件，这个稳定点不是极值点。最大（小）值点一定不在研究区域的内部。

注意，析因模型没有表达因子的平方的项，所有二阶析因模型都不含平方项，它们的极值如果存在必不是所研究区域的内点。 换句话说，析因模型的极值点不在区域内部。

参 考

（苏）斯米尔诺夫 著 《高等数学教程》