← 返回《人工智能数学基础》
📑 查看全课大纲(第 8 / 93 节)
  1. 1.概论和集合的定义
  2. 2.逼疯康托的实数集理论
  3. 3.常用不等式与映射
  4. 4.函数及特殊函数
  5. 5.序列极限的定义
  6. 6.序列极限的性质与夹逼定理
  7. 7.重要极限
  8. 8.无穷小量,无穷大量和一组重要的阶的比较关系
  9. 9.聚点原理
  10. 10.函数极限及其性质
  11. 11.重要极限与等价无穷小
  12. 12.连续函数
  13. 13.导数的概念(那些年,扛起牛顿的胡克)
  14. 14.定义法求导
  15. 15.函数四则运算的导数与反函数求导法则
  16. 16.复合函数,隐函数,参数式求导
  17. 17.不定式求导之“洛必达与伯努利的师生情”
  18. 18.一阶微分
  19. 19.高阶导数
  20. 20.高阶微分
  21. 21.罗尔中值定理与拉格朗日中值定理
  22. 22.柯西空降科学院遭排挤
  23. 23.泰勒公式与泰勒的克妻属性
  24. 24.利用泰勒展开唯一性定理计算泰勒展开
  25. 25.泰勒公式的余项估计
  26. 26.极值问题与导数
  27. 27.函数凹凸性
  28. 28.无卵用的渐近线与函数作图
  29. 29.不定积分的定义
  30. 30.第一换元法
  31. 31.第二换元法
  32. 32.分部积分法
  33. 33.有理式积分
  34. 34.三角替换
  35. 35.定积分的概念
  36. 36.定积分的性质与积分中值定理
  37. 37.变上限定积分
  38. 38.微积分基本定理之“高斯教你如何优雅地装逼”
  39. 39.定积分的换元法
  40. 40.奇偶函数与周期函数的定积分
  41. 41.曲线求长与不可求长曲线(海岸线居然算不出长度?)
  42. 42.旋转体体积
  43. 43.旋转体侧面积
  44. 44.极坐标下图形的面积(数学系常用表白曲线)
  45. 45.欧式空间
  46. 46.点列极限,开集与闭集
  47. 47.多元函数的定义
  48. 48.多元函数的极限
  49. 49.多元连续函数
  50. 50.一阶偏导数
  51. 51.高阶偏导数
  52. 52.全微分
  53. 53.方向导数与梯度
  54. 54.链式法则
  55. 55.一阶全微分形式的不变性与高阶微分
  56. 56.多元函数的泰勒公式
  57. 57.隐函数存在定理与逆映射存在定理
  58. 58.多元函数的极值
  59. 59.矩阵基础知识
  60. 60.行列式的定义与特殊矩阵的行列式
  61. 61.行列式的性质
  62. 62.行列式按k行展开
  63. 63.线性方程组初步与高斯消元法
  64. 64.齐次线性方程组与Cramer法则
  65. 65.线性空间
  66. 66.线性相关与线性无关
  67. 67.向量组的秩
  68. 68.矩阵的秩与线性方程组有解的充要条件
  69. 69.齐次线性方程组的解集结构
  70. 70.非齐次线性方程组解集结构
  71. 71.基与维数
  72. 72.矩阵的乘法
  73. 73.特殊矩阵
  74. 74.矩阵乘积的秩与行列式
  75. 75.矩阵的逆
  76. 76.正交矩阵
  77. 77.矩阵对角化与特征值特征向量
  78. 78.实对称矩阵对角化
  79. 79.二次型与正定矩阵
  80. 80.LU分解
  81. 81.Cholesky分解
  82. 82.SVD分解
  83. 83.线搜索
  84. 84.步长
  85. 85.最速下降法和牛顿法
  86. 86.共轭梯度法
  87. 87.拟牛顿法
  88. 88.无约束优化
  89. 89.若干知识点补充(一)
  90. 90.若干知识点补充(二)
  91. 91.凸优化问题
  92. 92.对偶问题(一)
  93. 93.对偶问题(二)

无穷小量,无穷大量和一组重要的阶的比较关系

约 22 分钟

📺 正在播放小象官方高清录播(支持倍速与清晰度调节)

无穷小量,无穷大量和一组重要的阶的比较关系

小象实战讲义 · 人工智能数学基础

在掌握了序列极限的基本定义和性质后,我们常常需要处理那些趋向于零或趋向于无穷的序列。本节将系统性地引入“无穷小量”与“无穷大量”这两个核心概念,它们是分析序列变化趋势和速度的重要工具。理解它们,不仅能帮助我们更深刻地把握极限的本质,也为后续学习导数、积分以及算法复杂度分析中比较不同增长阶(如多项式、指数、阶乘)奠定了坚实的数学基础。

💡 核心导读

本节你将掌握:

  1. 无穷小量与无穷大量的精确定义:学习如何用 ϵ\epsilon-NN 语言严谨地描述一个序列趋向于零或趋向于无穷。
  2. 无穷小量的基本性质:理解无穷小量的绝对值、常数倍以及与极限的等价关系,掌握将一般极限问题转化为无穷小量问题的技巧。
  3. 无穷大量与无穷小量的关系:明确两者互为倒数,并能进行相互转化和证明。
  4. 无穷小(大)量的阶的比较:学习“高阶”、“同阶”、“等价”和“大O记号”的定义,这是比较算法效率、进行极限简化运算的关键。
  5. 一组重要的阶的比较关系:证明并牢记对数函数、幂函数、指数函数、阶乘和nnn^n之间的增长速度快慢关系,这是人工智能数学中分析复杂度的必备常识。

无穷小量及其性质

定义(无穷小量):设 {xn}{x_n} 是一个序列。如果 limnxn=0\lim_{n \to \infty} x_n = 0,则称 {xn}{x_n} 是一个无穷小量,记作 xn=o(1)(n)x_n = o(1) \quad (n \to \infty)。

重要理解:无穷小量不是一个静态的、任意小的常数,而是一个动态变化、极限为0的变量

无穷小量具有以下基本性质,这些性质在极限证明和计算中非常有用。

性质 1xnx_n 是无穷小量的充分必要条件是 xn|x_n| 是无穷小量。

  • 证明思路:根据极限定义,xn0x_n \to 0 等价于对于任意 ϵ>0\epsilon > 0,存在 NN,使得当 n>Nn > N 时,有 xn0<ϵ|x_n - 0| < \epsilon。而 xn0=xn=xn0|x_n - 0| = |x_n| = ||x_n| - 0|,因此该条件与 xn0|x_n| \to 0 的条件完全等价。

性质 2:若 xnx_n 是无穷小量,cc 是任意常数,则 cxnc x_n 也是无穷小量。

  • 证明思路:由 xn0x_n \to 0,对任意 ϵ>0\epsilon > 0,存在 NN,使当 n>Nn > Nxn<ϵ|x_n| < \epsilon。若 c=0c=0,结论显然成立。若 c0c \neq 0,可取 ϵ=ϵ/c\epsilon’ = \epsilon / |c|,则存在 NN,使当 n>Nn > Nxn<ϵ|x_n| < \epsilon’,从而 cxn=cxn<cϵ=ϵ|c x_n| = |c| |x_n| < |c| \cdot \epsilon’ = \epsilon,故 cxn0c x_n \to 0

性质 3limnxn=L\lim_{n \to \infty} x_n = L 的充分必要条件是 (xnL)(x_n - L) 是一个无穷小量。

  • 证明思路:直接由极限定义,limnxn=L\lim_{n \to \infty} x_n = Llimn(xnL)=0\lim_{n \to \infty} (x_n - L) = 0
  • 核心启示:这个性质为我们提供了一种证明极限的通用思路——将任何极限 limxn=L\lim x_n = L 转化为证明新序列 (xnL)(x_n - L) 是无穷小量。结合性质1,有时我们可以进一步转化为证明 xnL|x_n - L| 是无穷小量,从而利用绝对值不等式进行有效的放缩。

无穷大量及其与无穷小量的关系

与无穷小量相对的概念是无穷大量。

定义(无穷大量):设 {xn}{x_n} 是一个序列。如果对于任意大的正数 M>0M > 0,总存在正整数 NN,使得当 n>Nn > N 时,恒有 xn>M|x_n| > M,则称 {xn}{x_n} 是一个无穷大量,记作 limnxn=\lim_{n \to \infty} x_n = \infty

特别注意:定义中要求的是 xn>M|x_n| > M。这意味着序列的项在绝对值上无限增大,但其正负号可以交替变化。例如序列 xn=(1)nnx_n = (-1)^n n 就是一个无穷大量。

无穷大量与无穷小量之间存在着简洁而重要的互逆关系。

性质 4:若 xnx_n 是无穷小量,且 xn0x_n \neq 0,则 1xn\frac{1}{x_n} 是无穷大量。反之,若 xnx_n 是无穷大量,则 1xn\frac{1}{x_n} 是无穷小量。

  • 证明思路:以无穷小量推无穷大量为例。已知 xn0x_n \to 0,要证 1/xn1/x_n \to \infty。对任意 M>0M>0,目标是使 1/xn>M|1/x_n| > M,即 xn<1/M|x_n| < 1/M。由于 xnx_n 是无穷小量,取 ϵ=1/M\epsilon = 1/M,则存在 NN,当 n>Nn>Nxn<1/M|x_n| < 1/M,从而 1/xn>M|1/x_n| > M。得证。

无穷小(大)量的阶的比较

当多个序列都是无穷小量或无穷大量时,我们需要比较它们“趋于零”或“趋于无穷”的速度,这就是“阶”的概念。

定义(阶的比较):设 {xn}{x_n}{yn}{y_n} 是两个序列,且 yn0y_n \neq 0(当 nn 充分大时)。

  1. 高阶无穷小:如果 limnxnyn=0\lim_{n \to \infty} \frac{x_n}{y_n} = 0,则称 xnx_n 是比 yny_n 更高阶的无穷小量,记作 xn=o(yn) (n)x_n = o(y_n) \ (n \to \infty)。对于无穷大量,若 limnxnyn=0\lim_{n \to \infty} \frac{x_n}{y_n} = 0,则称 yny_n 是比 xnx_n 更高阶的无穷大量(即 xnx_n 增长得慢)。
  2. 同阶无穷小(大):如果 limnxnyn=c0\lim_{n \to \infty} \frac{x_n}{y_n} = c \neq 0cc 为常数),则称 xnx_nyny_n同阶的无穷小(大)量
  3. 等价无穷小(大):如果 limnxnyn=1\lim_{n \to \infty} \frac{x_n}{y_n} = 1,则称 xnx_nyny_n等价的无穷小(大)量,记作 xnyn (n)x_n \sim y_n \ (n \to \infty)。在求极限时,等价量常常可以相互替换。
  4. 大 O 记号:如果存在常数 M>0M > 0 和正整数 NN,使得当 n>Nn > N 时,恒有 xnMyn|x_n| \leq M |y_n|,则记 xn=O(yn) (n)x_n = O(y_n) \ (n \to \infty)。这表示 xnx_n 的阶不超过 yny_n 的阶。

一组重要的阶的比较关系

在分析算法复杂度或处理极限问题时,以下几类函数的增长顺序(当 nn \to \infty 时)必须牢记。我们用符号 “\prec” 表示“增长慢于”或“阶低于”。

lnnna1na2bnn!nn(a1,a2>0, a1<a2, b>1)\ln n \prec n^{a_1} \prec n^{a_2} \prec b^n \prec n! \prec n^n \quad (a_1, a_2 > 0,\ a_1 < a_2,\ b > 1)

关系解读

  • lnnna1\ln n \prec n^{a_1}:任何正指数的幂函数都比对数函数增长得快。
  • na1na2 (a1<a2)n^{a_1} \prec n^{a_2} \ (a_1 < a_2):幂次越高,增长越快。
  • na2bn (b>1)n^{a_2} \prec b^n \ (b>1):任何指数函数(底数大于1)都比任何幂函数增长得快。这是区分多项式时间算法和指数时间算法的关键。
  • bnn!b^n \prec n!:阶乘函数比指数函数增长得更快。
  • n!nnn! \prec n^nnnn^n 是比阶乘增长得更快的函数。

关键结论证明示例: 我们选择证明 指数函数慢于阶乘函数,即 limnbnn!=0 (b>1)\lim_{n \to \infty} \frac{b^n}{n!} = 0 \ (b>1),以及 阶乘函数慢于 nnn^n,即 limnn!nn=0\lim_{n \to \infty} \frac{n!}{n^n} = 0

证明 1: bnn!b^n \prec n!a=ba = \lfloor b \rfloorbb 的整数部分。当 n>an > a 时, bnn!=b1b2baba+1bn\frac{b^n}{n!} = \frac{b}{1} \cdot \frac{b}{2} \cdots \frac{b}{a} \cdot \frac{b}{a+1} \cdots \frac{b}{n}。C=b1b2baC = \frac{b}{1} \cdot \frac{b}{2} \cdots \frac{b}{a}(这是一个与 nn 无关的常数)。由于当 k>ak > a 时,bk<1\frac{b}{k} < 1,我们有 0<bnn!<Cba+1ba+2bn<Cbn0 < \frac{b^n}{n!} < C \cdot \frac{b}{a+1} \cdot \frac{b}{a+2} \cdots \frac{b}{n} < C \cdot \frac{b}{n}。 因为 limnCbn=0\lim_{n \to \infty} C \cdot \frac{b}{n} = 0,由夹逼定理可知 limnbnn!=0\lim_{n \to \infty} \frac{b^n}{n!} = 0

证明 2: n!nnn! \prec n^n 考虑序列 an=n!nna_n = \frac{n!}{n^n}。研究其相邻两项的比值: an+1an=(n+1)!(n+1)n+1nnn!=nn(n+1)n=(nn+1)n=1(1+1n)n\frac{a_{n+1}}{a_n} = \frac{(n+1)!}{(n+1)^{n+1}} \cdot \frac{n^n}{n!} = \frac{n^n}{(n+1)^n} = \left( \frac{n}{n+1} \right)^n = \frac{1}{\left(1+\frac{1}{n}\right)^n}。 已知 limn(1+1n)n=e2.718>2\lim_{n \to \infty} (1+\frac{1}{n})^n = e \approx 2.718 > 2。因此,存在正整数 NN,使得当 n>Nn > N 时,(1+1n)n>2\left(1+\frac{1}{n}\right)^n > 2,从而 an+1an<12\frac{a_{n+1}}{a_n} < \frac{1}{2}。 于是,当 n>Nn > N 时,an=aNaN+1aNaN+2aN+1anan1<aN(12)nNa_n = a_N \cdot \frac{a_{N+1}}{a_N} \cdot \frac{a_{N+2}}{a_{N+1}} \cdots \frac{a_n}{a_{n-1}} < a_N \cdot \left(\frac{1}{2}\right)^{n-N}。 由于 limnaN(12)nN=0\lim_{n \to \infty} a_N \cdot \left(\frac{1}{2}\right)^{n-N} = 0,由夹逼定理知 limnan=0\lim_{n \to \infty} a_n = 0,即 limnn!nn=0\lim_{n \to \infty} \frac{n!}{n^n} = 0

import numpy as np
import math
import matplotlib.pyplot as plt

# 验证不同函数的增长阶
n = np.arange(1, 20, dtype=np.float64)

# 定义函数
log_n = np.log(n)
n_pow_0_5 = n ** 0.5  # n^{0.5}
n_pow_2 = n ** 2      # n^{2}
exp_n = 2 ** n        # 2^n
factorial_n = [math.factorial(int(i)) for i in n] # n!
n_pow_n = n ** n      # n^n

# 计算比值,观察趋势
ratios = {
    'ln(n) / sqrt(n)': log_n / n_pow_0_5,
    'sqrt(n) / n^2': n_pow_0_5 / n_pow_2,
    'n^2 / 2^n': n_pow_2 / exp_n,
    '2^n / n!': exp_n / factorial_n,
    'n! / n^n': np.array(factorial_n) / n_pow_n
}

print("函数比值的极限趋势(n增大时趋于0说明分子阶低于分母):")
for label, ratio in ratios.items():
    # 取后5项观察趋势
    last_vals = ratio[-5:]
    trend = "→ 0" if np.all(np.diff(last_vals) < 0) and last_vals[-1] < 0.1 else "需进一步观察"
    print(f"{label:20} 后5项: {last_vals.round(6)} 趋势: {trend}")

# 可视化(使用对数y轴以展示巨大差异)
plt.figure(figsize=(10, 6))
funcs = [('ln(n)', log_n), ('sqrt(n)', n_pow_0_5), ('n^2', n_pow_2),
         ('2^n', exp_n), ('n!', factorial_n), ('n^n', n_pow_n)]
for label, vals in funcs:
    plt.plot(n, vals, 'o-', label=label, alpha=0.7)

plt.yscale('log')
plt.xlabel('n')
plt.ylabel('函数值 (对数刻度)')
plt.title('不同函数增长阶的比较(对数坐标)')
plt.legend()
plt.grid(True, which="both", ls="--", alpha=0.5)
plt.show()

代码说明:本代码通过数值计算和可视化,直观展示了从对数函数到 nnn^n 各函数随 nn 增长的速度差异。在对数坐标下,曲线越陡峭代表增长阶越高。计算比值可以验证我们证明的阶的比较关系。

📝 动手练一练

  1. 无穷小量的判断与性质应用 已知序列 xn=sinnnx_n = \frac{\sin n}{n}yn=(1)nny_n = \frac{(-1)^n}{\sqrt{n}}。 (a) 判断 xnx_nyny_n 是否为无穷小量,并说明理由。 (b) 设 zn=3xn2ynz_n = 3x_n - 2y_n,利用无穷小量的性质,判断 znz_n 是否为无穷小量。

    参考答案: (a) 对于 xnx_n,由于 sinn1|\sin n| \leq 1,故 xn1n|x_n| \leq \frac{1}{n}。因为 limn1n=0\lim_{n \to \infty} \frac{1}{n} = 0,由夹逼定理知 limnxn=0\lim_{n \to \infty} x_n = 0,所以 xnx_n 是无穷小量。 对于 yny_n,有 yn=1n|y_n| = \frac{1}{\sqrt{n}}。因为 limn1n=0\lim_{n \to \infty} \frac{1}{\sqrt{n}} = 0,根据性质1,yny_n 是无穷小量。 (b) 根据性质2,3xn3x_n2yn-2y_n 都是无穷小量。两个无穷小量之和仍是无穷小量(可利用极限的四则运算法则或定义证明)。因此 zn=3xn+(2yn)z_n = 3x_n + (-2y_n) 是无穷小量。

  2. 利用阶的比较求极限 求极限 limnn100+3nn!+2n\lim_{n \to \infty} \frac{n^{100} + 3^n}{n! + 2^n}

    参考答案: 分析分子分母中各项的阶。 分子:n1003nn^{100} \prec 3^n,因此分子与 3n3^n 同阶。 分母:2nn!2^n \prec n!,因此分母与 n!n! 同阶。 根据本节结论,3nn!3^n \prec n!,即 limn3nn!=0\lim_{n \to \infty} \frac{3^n}{n!} = 0。 因此, limnn100+3nn!+2n=limn3n(n1003n+1)n!(1+2nn!)=limn3nn!n1003n+11+2nn!=00+11+0=0\lim_{n \to \infty} \frac{n^{100} + 3^n}{n! + 2^n} = \lim_{n \to \infty} \frac{3^n ( \frac{n^{100}}{3^n} + 1)}{n! (1 + \frac{2^n}{n!})} = \lim_{n \to \infty} \frac{3^n}{n!} \cdot \frac{ \frac{n^{100}}{3^n} + 1}{1 + \frac{2^n}{n!}} = 0 \cdot \frac{0+1}{1+0} = 0。

本章小结

本节我们深入探讨了序列极限中两个关键的特例:无穷小量和无穷大量。

要点回顾

  • 无穷小量是极限为0的序列,它是分析一般极限的基石(limxn=L    (xnL)\lim x_n = L \iff (x_n - L) 是无穷小量)。
  • 无穷大量是绝对值无限增大的序列,它与无穷小量互为倒数关系。
  • 阶的比较o,O,o, O, \sim)让我们能精确描述和比较序列趋向于零或无穷的“速度”。
  • 核心增长阶关系lnnnabnn!nn\ln n \prec n^a \prec b^n \prec n! \prec n^na>0,b>1a>0, b>1)。这个关系链是判断极限、分析算法时间复杂度的利器。

行动清单

  1. 理解转化:遇到证明 limxn=L\lim x_n = L 的问题,尝试转化为证明 (xnL)(x_n - L) 是无穷小量,并考虑是否可以利用 xnL|x_n - L| 进行放缩。
  2. 记忆阶链:务必熟记从对数到 nnn^n 的增长阶顺序。下次看到包含这些函数的复杂极限,首先用阶的关系判断主导项。
  3. 练习判断:找几个包含幂函数、指数函数、阶乘的序列极限题目,主动运用阶的比较思想进行求解,体会其便捷性。

— 小象教研组

配套学习资源与课件
  • 第2章讲义:序列极限(PDF · 3.2MB)
    下载
🎁 免费学习资源

领取《小象 11GB VIP 课件资料包与大厂真题手册》

包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。

  • 完整 Python / 数据分析 Jupyter 实战源码
  • 大厂真实业务数据集与练习题
  • 微信扫码添加课程顾问,免费获取网盘下载链接
微信二维码:扫码添加课程顾问微信扫码添加顾问