随机过程及应用习题课四
-
1.
设
{
X
(
n
),
n
0,1,
2,
}
为马氏链，证明
P
{
X
(1)
x
1
|
X
(2)
x
2
,
X
(3)
x
3
,
,
X
(
n
)
x
< br>n
}
P
{
X
(1)
x
1
|
X
(
2)
x
2
}
即马氏链的逆序也构成一个马氏链
.
2.
如果马氏链的转移概率矩阵为
0
P
1
1
0
< br>证明：此马氏链不是遍历的马氏链，但具有平稳分布
.
3.
一个开关有两种状态：开或关，
设它现在开着时，经过单位时间
(
s
)
后，它仍然开着的
概率为
为
3
4
1
2
1
2
，关上的概率为
1
4
；当它现在关着时，经过单位时间
(
s
)
后它仍然关着的概率
，它打开的概率为
.
假设开关的状态转移只在
0,1,2,3,
„
(
s
)
时进行
.
设
t
0
时，
开关开着
.
求
t
3
时，开关关着和开关开着的概
率
.
4.
甲乙两人进行比赛，设每局比赛甲胜的概率为
p
，乙胜的概率为
q
，和局的概率为
r
，
，分负者记“
-1
”分，和局记“
0
”分
.
当两人
p
q
r
1
，设每局比赛后胜者记“
1
”
中有一个获得
2
分时，结束比赛
.
以
X
(
n
)
表示比赛至第
n
局时，甲获得的分数
.
{
X
(
n
),
n<
/p>
0,1,2,
}
是一个齐次马氏链
.
（
1
）写出此马氏链的状态空间；
（
2
）写出状态转移矩阵；
（
3
）计算
2
步转移矩阵；
（
4
）问在甲获得
1
分的情况下，再
赛
2
局就结束比赛的概率为多少？
5.
A
、<
/p>
B
、
C
三家公司
决定在某一时间推销一新产品
.
当时它们各拥有
的市场，然而一年
3
1
后，
情况发生了如下的变化：
（
1
）
A
保住
40%
的顾客，而失去
30%
给
< br>B
，失去
30%
给
C
；
（
< br>2
）
B
保住
30%
的顾客，而失去
60%
给<
/p>
A
，失去
10%
给
C
；
（<
/p>
3
）
C
保住
30%
的顾客，而失去
60%
给
A
，失去
10%
给
B
.
如果这种趋势
继续下去，试问第
2
年底各公司拥有多少份额的市场？（从长远
来看，
情况又如何？）
6.
一质点沿圆周游动，
圆周上按顺时针等距排列五个点
0
，
1
，
2
，
< br>3
，
4
，
把圆周分成五格。
质点每次游动或顺时针或逆时针移动一格，顺时针移动一格的概率为
p
，逆时针移动一
格的概率为
1-
p
，设
X
n
表示经
n
次移动后质点所处的位置，则
{
X
n
< br>,
n
0,1,
2,
}
是
< br>一齐次马尔可夫链。试求：
（
1
）状态空间；
（
< br>2
）一步转移概率矩阵；
（<
/p>
3
）极限分布。
7.
赌徒甲有
a
元，赌徒乙有
b
元，两人进行赌博
.
每赌一局输者给胜者
1
元，没有和局，
直赌到两人中有一个输光为止
.
设在每一局中甲胜的概率为
，
X
(
n
)
表示第
n
局时甲
2
1
的赌金
.
{
X
(
n
),
n
0,1,
2,
为齐
次马氏链
.
}
（
1
）写出状态空间和状态转移矩阵；
（
2
）求出甲输光的概率
.
8.
设齐次马
氏链
{
X
(
n
),
n
0,
1,
2,
}
的状态空间
E
{1,
2,
3}
，状态转移矩阵
<
/p>
1
2
1
P
2
0
1
2
1
4
1
3
0
<
/p>
1
4
2
3
（
1
）讨论其遍历性；
（
2
）求平稳分布；
（
3
）计算下列概率
.
i
）
P
{
X
(4)
3
|
X
(1)
1,
X
(2)
1}
；
ii
）
P
{
X
(2)
1,
X
(3)
2
|
X
(1)
1}
.
9.
已知齐次马氏链
{
X
(
n
),
n
0,1,
2,
}
的状态空间
E
{1,
2,
3}
，状态转移矩阵为
1
2
1
P
<
/p>
3
1
3
1
3
1
3
1
2
1
6
1
3
1<
/p>
6
初始分布
X
(0)
P
（
1
）计算
2
步转移矩阵；
（
2
）求
X
(2)
的分布律；
（
3
）求平稳分
布
.
10.
已知随机游动的质点构成一个马氏链，其状态空间
为
E
1,
2,
3,
4,
5
，一步转移概率矩阵为
< br>1
1
6
P
0
0
0
0
1
2
1
6
< br>0
0
0
1
3
1
2
1
6
0
0
0
1
3
1
2
0
0
0
< br>0
1
3
1
1
2
5
2
2
5
3
1
5
试求质点从状态
2
出发，分别被吸收于状态
1
、状态
5
的
概率。
11.
齐次马氏链
{
X
(
n
),
n
< br>0,1,
2,
}
，状态空间为
E
{1,<
/p>
2,
3,
4}
，
状态转移矩阵
1
< br>
3
1
P
2
0
0
2
3
0
0
0
0
1
2
3
< br>4
0
0
0
1
4
1
（
1
）画出状态转移
概率图形；
（
2
）讨论各状态性质；<
/p>
（
3
）分解状态空间
.
12.
一个电路供给
3
个电焊工
.
如果
一个电焊工在
t
时刻正在用电，在
(<
/p>
t
,
t
t
)
中他将停止<
/p>
用电的概率是
t
o
(
t
)
；如果一个电焊工在
t
时刻没有用电，在
(
t<
/p>
,
t
t
)
中他将需要
电<
/p>
的
概
率是
t
o
(
t
)
.
焊
工们
独
立地
工作
.
设
X
(
t
)
表
示
时
刻
t
用
电的
焊
工数
.
{
X
(
t
),
t
0}
是一个生灭过程
.
（
1
）画出状态转移速度图；
（
2
）写出状态转移速率矩阵；
（
3
）求出
平稳分布
.
13.
设有一电脉冲，脉冲的幅度是随机的，其幅度的变域为
{1,
< br>2,
3,
,
< br>a
}
，且在其上服从均
匀分布，
现用一电表测量其幅度，
每隔一单位时间测量一次，
从第一次测量算起，
记录
其最大值
X
n
,
n
1.
（
1
）试说明
X
n
,
n
1<
/p>
.
是一齐次马尔可夫链；
（
2
）写出一步转移概率
矩阵；
（
3
）仪器记录到最大值
a
的平均时间
.
14.
在天气预报问题中，
若今日是否下雨依赖于前两天的天气状况，
并规定：
昨日、
今日都
下雨，明日有雨的
概率为
0.7
；昨日无雨
,
今日有雨，明日有雨的概率为
0.5
；昨日有雨、
今
日无雨，明日有雨的概率为
0.4
；
昨日、今日均无雨，明日有雨的概率为
0.2
。该问题是否可<
/p>
以用一马尔可夫链表示。若可以，求在星期一、星期二均下雨条件下，星期四下雨的概率。
15.
考
虑
Bernoulli
过程的移动平均
Y
n
1
2
X
n
X
n
< br>1
其中
X
n
n
1,
2,
是
p
=1/2
的独立
Bernoulli
序列。试证明
Y
n
n
1,
2,
不是一个
Markov
过程。
16.
已知马氏
链
X
n
,<
/p>
n
0
的状态空间为
E
1,
2,
3,
4
，其初始分布和转移概率矩阵为
p
i
P
X
0
i
1
4
,
i
< br>1,
2,
3,
4,
1
< br>4
1
4
P
1
4
1
4
1
4
1
4
1
8
1
< br>4
1
4
1
4
1
4
1
4
1
4
1
4
3
8
1
< br>
4