随机过程学习笔记1：泊松过程

随机过程的通常概念

随机过程： $T$是 $(-\infty,\infty)$的子集，对于每一个 $t\in T$， $X_t$是随机变量，则称随机变量的集合 $\{X_t|t\in T\}$是随机过程， $T$是随机过程的 $\underline{指标集}$
随机过程的观测或实现：对每一个 $t\in T$，都获得了 $X_t$的观测值 $x_t$，称 $\{x_t|t\in T\}$是 $\{X_t|t\in T\}$是随机过程的一次实现或一次观测
轨迹或轨道：当 $T$是 $[0,\infty)$或 $(-\infty,\infty)$时， $\{X_t|t\in T\}$的一次观测又称为是一条轨道或一条轨迹
时间序列： $T=N$或 $T=Z$时，随机过程又称为时间序列html

计数过程的通常概念

计数过程:用来描述一段时间内发生的某类事件的次数的随机过程，计数过程 $\{N(t)\}$定义为： $N(t)$是 $(0,t]$时间内某事件发生的次数，知足：
(1)对 $t\ge 0$， $N(t)$是取非负整数值的随机变量
(2) $t\ge s$时， $N(t)\ge N(s)\ge 0$
(3) $N(t)-N(s)$表示 $(s,t]$时间段内该事件发生的次数
(4) $N(t)$的轨迹是单调不减右连续的阶梯函数
举例：计数过程能够表示某段时间内收到的手机短信数，某段时间内到达某个车站的乘客数目，某段时间内商场经理收到商品质量的投诉数，某段时间内股票市场股票成交的次数web

独立增量性：对于计数过程 $\{N(t)\}$，若是任取 $0<t_1<t_2<\cdots<t_n$，随机变量 $N(t_1),N(t_2)-N(t_1),\cdots,N(t_n)-N(t_{n-1})$是相互独立的，则称计数过程 $\{N(t)\}$具备独立增量性，该计数过程称为独立增量过程app

平稳增量性：若是对计数过程 $\{N(t)\}$，对任何的非负实数 $s$，随机变量
$N(t_2)-N(t_1),N(t_2+s)-N(t_1+s)$同分布，则称该计数过程具备平稳增量性，该计数过程称为平稳增量过程svg

泊松过程

泊松过程的定义

泊松过程 称知足如下条件的计数过程 $\{N(t)\}$是强度为 $\lambda$的泊松过程：
(1) $\{N(t)\}$是知足 $N(0)=0$的独立增量过程和平稳增量过程
(2) $N(t)$知足参数为 $\lambda t$的泊松分布函数

强度的含义： $EN(t)=\lambda t$，故单位时间内发生的平均事件数为 $\frac{EN(t)}{t}=\lambda$所以，强度的实际含义是单位时间内发生时间的平均次数spa

等价定义：若是计数过程 $\{N(t)\}$知足：
(1) $N(0)=0$
(2) $\{N(t)\}$是独立增量过程和平稳增量过程
(3) $\{N(t)\}$知足普通性，即： $\begin{cases} P(N(h)=1)=\lambda h+o(h)\\ P(N(h)\ge 2)=o(h) \end{cases}$则 $\{N(t)\}$是强度为 $\lambda$的泊松过程（通俗地讲是，在极短的时间内，发生一次时间的几率同时间几乎成正比，几乎不可能发生两次或以上事件）orm

证：
令 $f_0(h)=P\{N(h)=0\}=1-P\{N(h)=1\}-P\{N(h)\ge 2\}=1-\lambda h+o(h)$，则当 $\Delta h>0$时 $\begin{aligned} &f_0(h+\Delta h)=P\{N(h+\Delta h)=0\}\\=&P\{N(h)=0,N(h+\Delta h)-N(h)=0\}\\ =&P\{N(h)=0\}P\{N(\Delta h)=0\}\\ =&f_0(h)f_0(\Delta h) \end{aligned}$上式的第二个等号，能够从两个角度理解
第一个角度，计数过程的取值都是非负整数，且知足单调性， $\Delta h>0$，而 $N(h+\Delta h)=N(h)+N(h+\Delta h)-N(h)$，因为 $N(h),N(h+\Delta h)-N(h)$都取非负整数值，二者之和为零的充要条件是二者均为0，若是 $\Delta h<0$
第二个角度，从计数过程的定义来看， $(0,h+\Delta h]$这段时间内没有任何事件发生的充要条件固然是 $(0,h],(h,h+\Delta h]$时间段内都没有任何事件发生，这两段时间内只要有任何一段发生了一次事件，那么 $(0,h+\Delta h]$这段时间内都至少会发生1次事件
因而，当 $\Delta h>0$时，就有 $f_0(h+\Delta h)-f_0(h)=[f_0(\Delta h)-1]f(h)=[-\lambda \Delta h+o(\Delta h)]f_0(h)$两边除以 $\Delta h$，再令 $\Delta h\to 0^+$，便可证得 $f(h)$的右导数存在，而且 $f_0^{+}(h)=-\lambda f_0(h)$若是 $\Delta h<0$，那么 $f_0(h)=f_0(h+\Delta h)f_0(-\Delta h)$所以 $f_0(h+\Delta h)-f_0(h)=f_0(h+\Delta h)[1-f_0(-\Delta h)]=f_0(h+\Delta h)[-\lambda \Delta h+o(\Delta h)]$由上式不可贵出 $\displaystyle \lim_{\Delta \to 0^-}f_0(h+\Delta h)=f(h)$，两边除以 $\Delta h$，再令 $\Delta h\to 0^-$，便可证得 $f(h)$的左导数也存在，而且 $f^{-}_0(h)=-\lambda f_0(h)$故 $f(h)$在 $h=0$处可导，且知足微分方程 $f_0^\prime(h)=-\lambda f_0(h)$方程的通解为 $f_0(h)=Ce^{-\lambda h}$令 $h=0$， $f_0(h)=1$，故 $C=1$，从而获得 $P\{N(h)=0\}=e^{-\lambda h}$。接下来就能够求解 $P\{N(h)=1\}$，一样地，咱们令 $f_1(h)=P\{N(h)=1\}$，当 $\Delta h>0$时 $f_1(h+\Delta h)=f_1(h)f_0(\Delta h)+f_1(\Delta h)f_0(h)$所以 $\begin{aligned} &f_1(h+\Delta h)-f_1(h)=f_1(h)[f_0(\Delta h)-1]+f_1(\Delta h)f_0(h)\\ =&f_1(h)[-\lambda \Delta h +o(\Delta h)]+[\lambda \Delta h+o(\Delta h)]e^{-\lambda h} \end{aligned}$两边除以 $\Delta h$，令 $\Delta \to 0^+$，便可证得 $f_1(h)$在 $h$处存在右导数，而且 $f^+_1(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$若是 $\Delta h<0$，有 $\begin{aligned} &f_1(h+\Delta h)-f(h)\\ =&f_1(h+\Delta h)[1-f_0(-\Delta h)]-f_1(-\Delta h)f_0(h+\Delta h)\\ =&[-\lambda \Delta h +o(\Delta h)]f_1(h+\Delta h)-[-\lambda \Delta h+o(\Delta h)]f_0(h+\Delta h) \end{aligned}$同理可得 $f_1^{-}(h)$存在，而且 $f_1^{-}(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$因而 $f_1(h)$在 $h$处可导，而且知足微分方程 $f_1^\prime(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$同时 $f_1(0)=0$，方程组的通解为 $f_1(h)=\lambda h e^{-\lambda h}+Ce^{-\lambda h}$由 $f_1(0)=0$，获得 $C=0$， $f_1(h)=\lambda h e^{-\lambda h}$，接下来咱们用数学概括法完成接下来的证实，假设对 $k\le n$，都有 $P\{N(h)=k\}=\frac{(\lambda h)^k}{k!}e^{-\lambda h}$咱们来求 $f_{n+1}(h)=P\{N(h)=n+1\}$，咱们这里设 $f_k(h)=\frac{(\lambda h)^k}{k!}e^{-\lambda h},k=1,\cdots,n$，一样地，当 $\Delta h>0$时，有 $f_{n+1}(h+\Delta h)=\sum_{k=0}^{n+1}f_k(h)f_{n+1-k}(\Delta h)$故 $f_{n+1}(h+\Delta h)-f_{n+1}(h)=f_{n+1}(h)(1-f_0(\Delta h))+\sum_{k=0}^nf_k(h)f_{n+1-k}(\Delta h)$两边除以 $\Delta h$，再令 $\Delta h\to 0^+$，可证得 $f_{n+1}(h)$在 $h$处右导数存在，而且 $f_{n+1}^{+}(h)=\lambda f_{n+1}(h)+\lambda f_n(h)$模仿上面的证实，能够证得 $f_{n+1}$在 $h$处左导数也存在，而且 $f_{n+1}^{-}(h)=\lambda f_{n+1}(h)+\lambda f_n(h)$故 $f_{n+1}^\prime(h)=\lambda f_{n+1}(h)+\frac{\lambda^{n+1}h^n}{n!}e^{-\lambda h}$该微分方程的通解为 $f_{n+1}(h)=\frac{(\lambda h)^{n+1}}{(n+1)!}e^{-\lambda h}+C e^{-\lambda h}$再由 $f_{n+1}(0)=0$，得 $C=0$，故 $f_{n+1}(h)=\frac{(\lambda h)^{n+1}}{(n+1)!}e^{-\lambda h}$由概括法，对任意的 $n=1,2,\cdots$，就有 $P\{N(h)=n\}=\frac{(\lambda t)^n}{n!}e^{-\lambda t}$故 $\{N(t)\}$是泊松过程xml

泊松呼叫流、等待时间、年龄、寿命

先给出这几个概念，再给出他们的分布。假设对 $\{N(t)\}$对应的事件流，第一次事件发生的时间点为 $S_1$， $S_2$， $S_3$， $\cdots$，咱们将其画在时间轴上，即

泊松呼叫流：计数过程 $\{N(t)\}$对应的各事件发生的时刻 $\{S_n\}$， $\{S_n\}$是单调递增的非负时间序列，由泊松呼叫流的一次实现能够获得 $\{N(t)\}$的一次实现，因为 $N(t)$的含义是在 $(0,t]$内发生的事件的次数，故咱们只须要数 $(0,t]$时间内有多少个 $S_i$，若是 $N(t)=n$说明： $S_n\le t$， $S_{n+1}>t$，咱们获得如下的基本关系式
$\{N(t)< n\}=\{S_n>t\}\\ \{N(t)=n\}=\{S_n\le t < S_{n+1}\}$
等待时间：即相邻两次事件发生的时间间隔，即 $X_i=S_{i}-S_{i-1},i=1,2,\cdots$，这里定义 $S_0=0$
年龄和寿命：咱们把 $S_1,S_2,\cdots$想象成更换某种零件的时间点，具体地讲，在0时刻第一个零件开始运做，在 $S_1$时刻第一个零件损坏，当即更换上第二个零件，在 $S_2$时刻，第二个零件损坏，当即更换上第三个零件，以此类推。假设 $N(t)=n$，此时已经更换了 $n$次零件，即此时运做的是机器的第 $n+1$个零件，那么 $S_n$是这个零件开始运做的时刻， $S_{n+1}$是这个零件损坏的时刻，那么，这个零件的年龄是 $t-S_n$，剩余寿命是 $S_{n+1}-t$，将 $n$换成 $N(t)$，年龄就是 $t-S_{N(t)}$，寿命就是 $S_{N(t)+1}-t$，前者咱们记为 $A(t)$，后者咱们记为 $R(t)$htm

呼叫流的联合分布

如今咱们来求呼叫流 $(S_1,\cdots,S_n)$的分布，首先求单个 $S_n$的分布：实际上 $\{S_n\le t\}=\{N(t)\ge n\}$，因而就获得 $S_n$的分布函数 $F_n(t)=\sum_{k=n}^\infty \frac{(\lambda t)^k}{k!}e^{-\lambda t}$求导便可获得其密度函数 $\begin{aligned} p_n(t)=&\sum_{k=n}^\infty k\frac{\lambda^k t^{k-1}}{k!}e^{-\lambda t}-\lambda\sum_{k=n}^\infty \frac{(\lambda t)^k}{k!}e^{-\lambda t}\\ =&\lambda \sum_{k=n}^\infty \frac{(\lambda t)^{k-1}}{(k-1)!}e^{-\lambda t}-\lambda \sum_{k=n}^\infty \frac{(\lambda t)^{k}}{k!}e^{-\lambda t}\\ =&\frac{\lambda^n}{\Gamma(n)}t^{n-1}e^{-\lambda t} \end{aligned}$可见 $S_n$服从伽马分布，参数为 $n,\lambda$，其均值为 $\frac{n}{\lambda}$，接下来咱们来求 $(S_1,S_2,\cdots,S_n)$的联合分布：咱们假设其分布函数为 $F(s_1,s_2,\cdots,s_n)=P\{S_1\le s_1,S_2\le s_2,\cdots,S_n\le s_n\}$若是 $i<j$,但 $s_i>s_j$，那么 $\begin{aligned} &P\{S_1\le s_1,\cdots,S_i>s_i,\cdots,S_j\le s_j,\cdots,S_n\le s_n\}\\ =&P\{S_1\le s_1,\cdots,S_{i-1}\le s_{i-1},S_{i+1}\le s_{i+1},\cdots ,S_n\le s_n\}-\\ &F(x_1,x_2,\cdot,x_n)=0 \end{aligned}$两边对 $x_1,\cdots,x_n$依次求偏导，则 $p(x_1,\cdots,x_n)=0$所以，咱们假设 $s_1\le s_2\le s_3\cdots\le s_n$，咱们求分布函数 $F(s_1,\cdots,s_n)$，以 $n=2$为例， $s_1< s_2$，则 $\begin{aligned} F(s_1,s_2)=&P\{S_1\le s_1,S_2\le s_2\}\\ =&P\{S_2\le s_2\}-P\{S_1>s_1,S_2\le s_2\} \end{aligned}$而事件 $\{S_1>s_1,S_2\le s_2\}$至关于在 $(0,s_1]$段事件发生了0次， $(s_1,s_2]$段事件至少发生了两次，有 $\begin{aligned} P\{S_1>s_1,S_2\le s_2\}=&P\{N(s_1)=0,N(s_2)-N(s_1)\ge 2\}\\ =&P\{N(s_1)=0\}P\{N(s_2-s_1)\ge 2\}\\ =&e^{-\lambda s_1}(\sum_{k=2}^\infty\frac{\lambda^k(s_2-s_1)^k}{k!})e^{-\lambda(s_2-s_1)}\\ =&(\sum_{k=2}^\infty\frac{\lambda^k(s_2-s_1)^k}{k!})e^{-\lambda s_2} \end{aligned}$则密度函数 $p(s_1,s_2)=\frac{\partial^2}{\partial s_1\partial s_2}F(s_1,s_2)=\lambda^2e^{-\lambda s_2}$所以 $(S_1,S_2)$的密度函数为 $p(s_1,s_2)=\lambda^2e^{-\lambda s_2}I_{s_1<s_2}$，再求 $n=3$的情形，设 $s_1< s_2< s_3$，那么 $\begin{aligned} F(s_1,s_2,s_3)=&P\{S_1\le s_1,S_2\le s_2,S_3\le s_3\}\\ =&P\{S_2\le s_2,S_3\le s_3\}-P\{S_1>s_1,S_2\le s_2,S_3\le s_3\}\\ =&P\{S_2\le s_2,S_3\le s_3\}-P\{S_1>s_1,S_2\le s_2\}+\\ &P\{S_1>s_1,S_2\le s_2,S_3>s_3\} \end{aligned}$从下图能够看出 $\{S_1>s_1,S_2\le s_2,S_3>s_3\}=\{N(s_1)=0,N(s_2)-N(s_1)=2,N(s_3)-N(s_2)=0\}$
故 $\begin{aligned} &P\{S_1>s_1,S_2\le s_2,S_3>s_3\}\\ =&P\{N(s_1)=0\}P\{N(s_2)-N(s_1)=2\}P\{N(s_3)-N(s_2)=0\}\\ =&e^{-\lambda s_1}\frac{\lambda^2(s_2-s_1)^2}{2}e^{-\lambda(s_2-s_1)}e^{-\lambda(s_3-s_2)}=\frac{\lambda^2(s_2-s_1)^2}{2}e^{-\lambda s_3} \end{aligned}$一样地方法能够获得 $(S_1,S_2,S_3)$的密度函数为 $p(s_1,s_2,s_3)=\lambda^3e^{-\lambda s_3}I_{s_1<s_2<s_3}$ $n=2$及 $n=3$情形已经给出求 $(S_1,\cdots,S_n)$的通常方法，当 $n=2k+1$， $s_1<s_2<\cdots<s_{2k}$时，首先，比较容易求出的是如下几率 $\begin{aligned} &G_k(s_1,s_2,\cdots,s_{2k})\\ =&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k}\}\\ =&\prod_{i=1}^nP\{N(s_{2i-1})-N(s_{2i-2})=0\}.\prod_{i=1}^{n-1}P\{N(s_{2i})-N(s_{2i-1})=2\}\\ \times&P\{N(s_{2k})-N(s_{2k-1})\ge 2\}\\ =&\prod_{i=1}^{n-1}\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}(\sum_{j=2}^\infty\frac{\lambda^j(s_{2k}-s_{2k-1})^j}{j!})e^{-\lambda s_{2k}} \end{aligned}$其中规定 $s_0=0$，先对 $s_1,\cdots,s_{2k-2}$依次求偏导 $\frac{\partial^{2k-2}}{\partial s_1\partial s_2\cdots\partial s_{2k-2}}G_k=\lambda^{2k-2}(\sum_{j=2}^\infty\frac{\lambda^j(s_{2k}-s_{2k-1})^j}{j!})e^{-\lambda s_{2k}}$这样对其他两个变元求偏导就轻松不少，具体过程再也不详述，最终获得 $\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}G_k=(-1)^k\lambda^{2k}e^{-\lambda s_{2k}}$如今，咱们令 $\begin{aligned} G_1(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3\le s_3,\cdots,S_{2k}\le s_{2k}\}\\ G_2(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,S_5\le s_5,\cdots,S_{2k}\le s_{2k}\}\\ \cdots\\ G_i(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,\cdots,S_{2i-1}>s_{2i-1},S_j\le s_j,n\ge j>2i-1\}\\ \cdots\\ G_k(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k}\} \end{aligned}$因而 $F(s_1,s_2,\cdots,s_n)=P\{S_2\le s_2,S_3\le s_3,\cdots,S_{2k}\le s_{2k}\}-G_1(s_1,\cdots,s_n)\\ G_1(s_1,\cdots,s_n)=P\{S_1>s_1,S_2\le s_2,S_4\le s_4,\cdots,S_{2k}\le s_{2k}\}-G_2(s_1,\cdots,s_n)\\ \cdots$这样看 $F$和 $G_k$的偏导数的关系应该是 $\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}F=(-1)^k\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}G_k$从而获得 $(S_1,\cdots,S_{2k})$的联合密度应该是 $p(s_1,\cdots,s_n)=\lambda^{2k}e^{-\lambda s_{2k}}I_{0<s_1<\cdots<s_{2k}}$当 $n$为奇数的时候也进行相似的讨论，就获得 $(S_1,\cdots,S_n)$的联合密度为 $p(s_1,\cdots,s_n)=\lambda^ne^{-\lambda s_n}I_{0<s_1<s_2<\cdots<s_n}$
总结： $\{S_n\}$是强度为 $\lambda$的泊松过程 $\{N(t)\}$的呼叫流，则
(1) $S_n$服从 $\Gamma(n,\lambda)$
(2) $(S_1,\cdots,S_n)$的联合密度为 $p(s_1,\cdots,s_n)=\lambda^ne^{-\lambda s_n}I_{0<s_1<s_2<\cdots<s_n}$blog

呼叫流的条件分布

下面给定 $N(t)=n$的条件， $(S_1,\cdots,S_n)$的分布：
按照条件几率的定义 $P(S_1\le s_1,\cdots,S_n \le s_n|N(t)=n)=\frac{P\{S_i\le s_i,i=1,2,\cdots,n,N(t)=n\}}{P\{N(t)=n\}}$同非条件的联合分布的讨论同样，若是 $(s_1,\cdots,s_n)$不知足 $0<s_1<\cdots<s_n<t$，则对 $s_1,\cdots,s_n$依次求偏导等于0，所以咱们假设 $0<s_1<\cdots<s_n<t$。若是 $n=2k$，比较容易求解的一个几率是 $P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k},N(t)=n\}$咱们把这些时刻画在时间轴上

这样，如何求解这个几率值就一目了然了，这个事件等价于在 $(0,s_1]$段事件发生了0次，在 $(s_1,s_2]$段事件发生了2次， $(s_2,s_3]$段事件发生了0次， $(s_3,s_4]$段事件发生了2次， $\cdots$，在 $(s_{2k-1},s_{2k}]$段事件发生了两次，在 $(s_{2k},t]$事件发生了0次。所以 $\begin{aligned} &G(s_1,\cdots,s_n)\\ =&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k},N(t)=n\}\\ =&\prod_{i=1}^{k}(\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}e^{-\lambda(s_{2i}-s_{2i-1})}) \prod_{i=1}^ke^{-\lambda(s_{2i-1}-s_{2i-2})}.e^{-\lambda(t-s_{2k})}\\ =&\prod_{i=1}^k[\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}]e^{-\lambda t} \end{aligned}$其对 $s_1,\cdots,s_{2k}$依次求偏导，获得 $\frac{\partial^{2k}}{\partial s_1\cdots\partial s_{2k}}G=(-1)^k\lambda^{2k}e^{-\lambda t}$相似于非条件分布的讨论，令 $F(s_1,\cdots,s_n)=P\{S_1\le s_1,\cdots,S_n\le s_n,N(t)=n\}$，就有 $\frac{\partial^{2k}}{\partial s_1\cdots\partial s_{2k}}F=\lambda^{2k}e^{-\lambda t}$因而，在给定 $N(t)=n$条件下，条件密度为 $p(s_1,\cdots,s_n)=\frac{\lambda^{2k}e^{-\lambda t}}{\frac{(\lambda t)^{2k}}{(2k)!}e^{-\lambda t}}=\frac{(2k)!}{t^{2k}}=\frac{n!}{t^n}I_{0<s_1<\cdots<s_n<t}$当 $n$为奇数时讨论也相似，获得的条件密度函数也是上式。实际上，这也是来自均匀分布 $U(0,t)$的样本 $U_1,\cdots,U_n$的顺序统计量 $U_{(1)},\cdots,U_{(n)}$的联合分布。也就是说，在给定 $N(t)=n$的条件下，这 $n$个事件发生的时间点在 $(0,t]$内均匀分布，再进行一个排列就获得 $S_1,\cdots,S_n$。

结论： $S_1,S_2,\cdots \hspace{0.17em},S_n\mathrm{\mid }N($