几何分布与指数分布的联系

这份笔记整理几何分布和指数分布的关系，重点放在等待时间、无记忆性、期望方差的对应，以及“把离散时间切细后得到连续时间”的直觉。

一句话概括：

几何分布是离散时间里的等待时间；指数分布是连续时间里的等待时间。

它们描述的是同一种问题：

等下一次成功或下一次事件发生，要等多久？

几何分布：按次数等待

假设每次试验只有成功和失败两种结果：

• 每次成功概率为 $p$；
• 每次失败概率为 $1-p$；
• 各次试验相互独立。

令 $N$ 表示“第一次成功发生在第几次试验”。

那么：

$$N\sim \mathrm{Geometric}(p)$$

并且：

$$P(N=n)=(1-p{)}^{n-1}p,n=1,2,3,\dots$$

直觉上，这对应这样的过程：

失败，失败，失败，成功

如果第一次成功发生在第 $n$ 次，就说明前 $n-1$ 次都失败，第 $n$ 次成功。

这个版本的期望和方差是：

$$E[N]=\frac{1}{p}$$$$\mathrm{Var}(N)=\frac{1-p}{p^2}$$

这里 $p$ 越大，平均等待次数越少；$p$ 越小，平均等待次数越多，而且波动也更大。

失败次数版几何分布

有些书会令 $G$ 表示“第一次成功前失败了几次”。

这时：

$$G=0,1,2,\dots$$

并且：

$$P(G=k)=(1-p{)}^{k}p,k=0,1,2,\dots$$

$G$ 和 $N$ 的关系是：

$$N=G+1$$

所以：

$$E[G]=E[N]-1=\frac{1}{p}-1=\frac{1-p}{p}$$

而方差不变：

$$\mathrm{Var}(G)=\mathrm{Var}(N)=\frac{1-p}{p^2}$$

原因是：加上或减去一个常数，只会平移分布，不会改变随机波动的大小。

指数分布：按时间等待

指数分布描述的是连续时间中的等待时间。

令 $T$ 表示“等到下一次事件发生所需的时间”。如果事件以单位时间发生率 $\lambda$ 随机到来，那么：

$$T\sim \mathrm{Exponential}(\lambda )$$

它的密度函数是：

$$f(t)=\lambda e^{-\lambda t},t\ge 0$$

它的尾概率是：

期望和方差是：

$$E[T]=\frac{1}{\lambda }$$$$\mathrm{Var}(T)=\frac{1}{{\lambda }^2}$$

这里 $\lambda$ 是单位时间发生率。$\lambda$ 越大，事件来得越频繁，平均等待时间就越短。

两者的基本对应

几何分布和指数分布可以这样对应：

离散时间	连续时间
每次试验成功概率 $p$	单位时间发生率 $\lambda$
等第一次成功要几次	等第一次事件要多久
$N\sim \mathrm{Geometric}(p)$	$T\sim \mathrm{Exponential}(\lambda )$
$E[N]=1/p$	$E[T]=1/\lambda$
$\mathrm{Var}(N)=(1-p)/p^2$	$\mathrm{Var}(T)=1/{\lambda }^2$

最重要的共同直觉是：

$$\text{平均等待量}\approx \frac{1}{\text{发生率}}$$

在几何分布中，发生率是“每次试验成功概率” $p$。

在指数分布中，发生率是“单位时间发生率” $\lambda$。

无记忆性

几何分布和指数分布都有无记忆性。

对几何分布来说：

意思是：已经失败了 $m$ 次，并不会改变之后还要等待多少次的分布。

对指数分布来说：

意思是：已经等了 $s$ 时间，并不会改变之后还要等待多久的分布。

这两句话背后的结构一样：

过去没有发生，并不会改变未来的等待规律。

当然，这个性质不是所有等待时间都有。比如设备老化、人的疲劳、排队系统的拥堵变化，都可能让“已经等了多久”影响之后的等待分布。

指数分布是几何分布的连续极限

把连续时间切成很多小格，每一格长度为：

$$\mathrm{\Delta }t$$

假设每一小格内发生事件的概率近似为：

$$p=\lambda \mathrm{\Delta }t$$

这里 $\lambda$ 保持不变，表示单位时间发生率。

令 $N$ 表示事件第一次发生在第几格，那么 $N$ 服从几何分布：

$$N\sim \mathrm{Geometric}(\lambda \mathrm{\Delta }t)$$

但真实等待时间不是 $N$，而是：

$$T_{\mathrm{\Delta }}=N\mathrm{\Delta }t$$

也就是：

先数等了多少个小格，再乘回每格的真实时间长度。

这正是“把 $p$ 变小无数倍，然后把时间坐标轴缩回来”的想法。

关键是：不能只让 $p$ 变小，还要同时让时间格子 $\mathrm{\Delta }t$ 变小，并保持：

$$\lambda =\frac{p}{\mathrm{\Delta }t}$$

也就是单位时间发生率保持不变。

从尾概率看极限

如果 $T_{\mathrm{\Delta }}=N\mathrm{\Delta }t$，那么：

近似地，$t$ 时间内有 $t/\mathrm{\Delta }t$ 个小格。要等到 $t$ 之后才发生，就意味着前面这些小格都没有发生事件。

所以：

当 $\mathrm{\Delta }t\to 0$ 时：

$$(1-\lambda \mathrm{\Delta }t{)}^{t/\mathrm{\Delta }t}\to e^{-\lambda t}$$

因此：

这正是指数分布的尾概率。

所以指数分布可以理解为：

几何分布在时间格子无限变细、单格成功概率无限变小、单位时间发生率保持不变时的极限。

期望的对应

几何分布中：

$$E[N]=\frac{1}{p}$$

设：

$$p=\lambda \mathrm{\Delta }t$$

等待时间为：

$$T_{\mathrm{\Delta }}=N\mathrm{\Delta }t$$

于是：

$$E[T_{\mathrm{\Delta }}]=E[N\mathrm{\Delta }t]$$$$E[T_{\mathrm{\Delta }}]=\mathrm{\Delta }tE[N]$$

代入 $E[N]=1/p$：

$$E[T_{\mathrm{\Delta }}]=\mathrm{\Delta }t\cdot \frac{1}{p}$$

再代入 $p=\lambda \mathrm{\Delta }t$：

$$E[T_{\mathrm{\Delta }}]=\mathrm{\Delta }t\cdot \frac{1}{\lambda \mathrm{\Delta }t}$$

所以：

$$E[T_{\mathrm{\Delta }}]=\frac{1}{\lambda }$$

这正好对应指数分布：

$$E[T]=\frac{1}{\lambda }$$

方差的对应

几何分布中：

$$\mathrm{Var}(N)=\frac{1-p}{p^2}$$

等待时间是：

$$T_{\mathrm{\Delta }}=N\mathrm{\Delta }t$$

方差在乘常数时会乘以常数的平方：

$$\mathrm{Var}(T_{\mathrm{\Delta }})=\mathrm{Var}(N\mathrm{\Delta }t)$$$$\mathrm{Var}(T_{\mathrm{\Delta }})=(\mathrm{\Delta }t{)}^2\mathrm{Var}(N)$$

代入几何分布方差：

$$\mathrm{Var}(T_{\mathrm{\Delta }})=(\mathrm{\Delta }t{)}^2\frac{1-p}{p^2}$$

再代入 $p=\lambda \mathrm{\Delta }t$：

$$\mathrm{Var}(T_{\mathrm{\Delta }})=(\mathrm{\Delta }t{)}^2\frac{1-\lambda \mathrm{\Delta }t}{(\lambda \mathrm{\Delta }t{)}^2}$$

整理得到：

$$\mathrm{Var}(T_{\mathrm{\Delta }})=\frac{1-\lambda \mathrm{\Delta }t}{{\lambda }^2}$$

当 $\mathrm{\Delta }t\to 0$ 时：

$$1-\lambda \mathrm{\Delta }t\to 1$$

所以：

$$\mathrm{Var}(T_{\mathrm{\Delta }})\to \frac{1}{{\lambda }^2}$$

这正好对应指数分布：

$$\mathrm{Var}(T)=\frac{1}{{\lambda }^2}$$

为什么几何分布方差里有 $1-p$，指数分布里没有

几何分布方差是：

$$\mathrm{Var}(N)=\frac{1-p}{p^2}$$

这里的 $1-p$ 是失败概率。它表示“这一格没成功，所以等待继续”的概率。

如果时间是一格一格跳的，每一格成功概率 $p$ 可能很明显，比如 $0.2$、$0.5$、$0.9$。这时 $1-p$ 会明显影响等待时间的波动。

比如：

• $p=0.9$ 时，很可能第一两次就成功，等待很稳定，$1-p=0.1$ 很小；
• $p=0.01$ 时，大概率要失败很多次，等待很不稳定，$1-p=0.99$ 接近 $1$。

指数分布对应的是连续时间极限。

在每个极小时间格中：

$$p=\lambda \mathrm{\Delta }t$$

当 $\mathrm{\Delta }t\to 0$ 时：

$$p\to 0$$

于是：

$$1-p=1-\lambda \mathrm{\Delta }t\to 1$$

所以指数分布不是“没有失败概率”，而是每个无限小时间片内事件发生概率趋近于 $0$，失败概率趋近于 $1$。因此几何分布方差中的离散修正因子 $1-p$，在连续极限中变成了 $1$。

一个直观图像

可以把几何分布想成：每隔一段固定时间检查一次事情有没有发生。

比如每隔一分钟看一次公交有没有来：

没来，没来，没来，来了

如果每一分钟公交来的概率是 $p$，那么等待的分钟数就是几何分布。

指数分布则像是：公交可以在任意瞬间到来，而不是只在整分钟到来。

为了从几何分布过渡到指数分布，可以这样想：

1. 把一分钟切成很多很小的小格。
2. 每一小格内公交来的概率变得非常小。
3. 但单位时间内公交到来的平均频率保持为 $\lambda$。
4. 等待的小格数会变得很大。
5. 再把小格数乘以小格长度，缩放回真实时间。

于是，离散的“等了多少格”就变成连续的“等了多久”。

和 Poisson 过程的关系

如果事件按照 Poisson 过程发生，那么：

• 单位时间内事件发生次数服从 Poisson 分布；
• 两次事件之间的等待时间服从指数分布；
• 等第 $r$ 次事件发生的时间服从 Gamma 分布，若 $r$ 是正整数，也称 Erlang 分布。

这和离散时间中的对应关系很像：

离散时间	连续时间
Bernoulli 试验	Poisson 过程的小时间片近似
几何分布：等第 $1$ 次成功	指数分布：等第 $1$ 次事件
负二项分布：等第 $r$ 次成功	Gamma/Erlang 分布：等第 $r$ 次事件
二项分布：固定次数内成功几次	Poisson 分布：固定时间内事件发生几次

这张表的核心不是公式，而是建模视角：

离散时间里按“次数”数等待；连续时间里按“时间”量等待。

小结

几何分布和指数分布的关系可以从三层理解：

第一层，语义上：

几何分布等第一次成功要多少次；指数分布等第一次事件要多少时间。

第二层，性质上：

它们都具有无记忆性，过去没发生不会改变未来等待分布。

第三层，极限上：

指数分布是几何分布在时间格子无限变细、单格成功概率无限变小、单位时间发生率保持不变时的连续极限。

对应的缩放关系是：

$$p=\lambda \mathrm{\Delta }t$$$$T_{\mathrm{\Delta }}=N\mathrm{\Delta }t$$

当 $\mathrm{\Delta }t\to 0$ 时：

$$T_{\mathrm{\Delta }}\to T$$

其中：

$$T\sim \mathrm{Exponential}(\lambda )$$

期望对应为：

$$E[N\mathrm{\Delta }t]\to E[T]=\frac{1}{\lambda }$$

方差对应为：

$$\mathrm{Var}(N\mathrm{\Delta }t)\to \mathrm{Var}(T)=\frac{1}{{\lambda }^2}$$

几何分布方差中的 $1-p$ 并没有神秘消失，而是在连续极限中：

$$1-p=1-\lambda \mathrm{\Delta }t\to 1$$

所以可以直观地记为：

几何分布还保留着“每一格成功概率”的离散痕迹；指数分布把格子切到无限细以后，只剩下单位时间发生率 $\lambda$。