Why？

Consider a random variable $X$ that takes values in $\mathbb{N} \cup \{\infty\}$ (where $\mathbb{N} = \{0, 1, 2, \ldots\}$ .

(a) Show that if $X$ is bounded then it has finite mean.

(b) Give an example to show that the converse implication does not hold.

(c) Show that if $X$ has finite mean then it is a.s. finite.

(d) Give an example to show that the converse implication does not hold.

(a) 如果 $X$ 是有界的，则它有有限的均值

首先，定义随机变量 $X$ 是有界的，意味着存在某个实数 $M > 0$，使得对所有的 $n \in \mathbb{N}$，有 $|X_n| \leq M$。因此，$X$ 的所有可能值都在区间 $[-M, M]$ 中。由于 $\mathbb{N} \cup \{\infty\}$ 表明 $X$ 可能取无穷大的值，但在这里我们讨论的是 $X$ 有界，即不包括无穷大的情况。

根据期望的定义：

E[X] = \sum_{x \in \mathbb{N}} x \cdot P(X = x)$$​ 因为 $X$ 是有界的，所以我们可以确保上述求和是在一个有限集合内进行的，且每个 $x \cdot P(X = x)$ 也是有限的。因此，$E[X]$ 是一系列有限项的和，这保证了 $E[X]$ 是有限的。 ### (b) 给出一个反例说明逆命题不成立 逆命题是指：如果 $X$ 有有限的均值，则 $X$ 是有界的。我们需要找到一个反例来说明这个命题不成立。 考虑随机变量 $Y$，它以 $\frac{1}{2^n}$ 的概率取值 $2^n$（$n=1, 2, \ldots$）。这个随机变量的期望值是： $$E[Y] = \sum_{n=1}^{\infty} 2^n \cdot \frac{1}{2^n} = \sum_{n=1}^{\infty} 1 = \infty$$​ 虽然每个项的期望值是有限的，但 $Y$ 不是有界的，因为它的取值可以任意大。这显示了即使随机变量有有限的均值，它也可能是无界的。 ### (c) 如果 $X$ 有有限的均值，则它几乎处处有限 如果 $X$ 的期望值 $E[X]$ 是有限的，这意味着： $$\sum_{x \in \mathbb{N}} x \cdot P(X = x) < \infty$$​ 这暗示了 $P(X = \infty) = 0$，因为如果 $P(X = \infty) > 0$，则期望值会是无限的，与假设矛盾。因此，$X$ 几乎处处（almost surely, a.s.）是有限的，这意味着除了可能的零概率事件外，$X$ 总是取有限值。 ### (d) 给出一个反例说明逆命题不成立 逆命题是指：如果 $X$ 几乎处处有限，则它有有限的均值。我们需要找到一个反例。 考虑随机变量 $Z$，其概率密度函数（PDF）定义为 $P(Z = k) = \frac{6}{\pi^2 k^2}$ 对于 $k \in \mathbb{N}$。这个随机变量的期望值是： $$E[Z] = \sum_{k=1}^{\infty} k \cdot \frac{6}{\pi^2 k^2} = \frac{6}{\pi^2} \sum_{k=1}^{\infty} \frac{1}{k}

虽然 $Z$ 几乎处处有限，但它的期望值是无限的，因为 $\sum_{k=1}^{\infty} \frac{1}{k}$ 是一个发散的级数（调和级数）。这个例子说明了即使一个随机变量几乎处处有限，它的均值也可能是无限的。

Let $X_1, X_2, \ldots$ be i.i.d. integer-valued random variables, and let $S_n = \sum_{i=1}^n X_i$. Suppose $0 < m < n$, and express

$$\mathbb{P}(S_n = b \,|\, S_m = a)$$

as an unconditional probability involving the $X_i$ variables (assuming that $\mathbb{P}(S_m = a) > 0$ so that the conditional probability exists). Hence prove space- and time-homogeneity for the random walk $S_n$, i.e.:

$$\mathbb{P}(S_n = b + c \,|\, S_m = a + c) = \mathbb{P}(S_n = b \,|\, S_m = a);$$

and

$$\mathbb{P}(S_{n+k} = b \,|\, S_{m+k} = a) = \mathbb{P}(S_n = b \,|\, S_m = a),$$

again assuming that the relevant conditional probabilities exist.

我们先表达给定条件概率 $\mathbb{P}(S_n = b \,|\, S_m = a)$，然后证明随机游走 $S_n$ 的空间和时间齐次性。

表达条件概率

给定 $S_m = a$，我们要找到 $S_n = b$ 的概率。根据条件概率的定义，我们有：

$$\mathbb{P}(S_n = b \,|\, S_m = a) = \frac{\mathbb{P}(S_n = b \, \text{且}\, S_m = a)}{\mathbb{P}(S_m = a)}$$

考虑到 $S_n = \sum_{i=1}^n X_i$ 可以分为两部分 $S_m = \sum_{i=1}^m X_i$ 和 $S_n - S_m = \sum_{i=m+1}^n X_i$，其中第二部分表示从第 $m+1$ 项到第 $n$ 项的随机变量之和。因此，要使 $S_n = b$，在已知 $S_m = a$ 的情况下，$S_n - S_m$ 必须等于 $b - a$。因此，我们可以将问题转化为寻找 $S_n - S_m = b - a$ 的概率，其中 $S_n - S_m$ 实际上是 $n-m$ 个独立同分布的随机变量的和。

因此，

$$\mathbb{P}(S_n = b \,|\, S_m = a) = \frac{\mathbb{P}(S_n - S_m = b - a)}{\mathbb{P}(S_m = a)}$$

这里的分母是 $\mathbb{P}(S_m = a)$，它是一个已知条件，而分子是通过 $n-m$ 个独立同分布随机变量的和来表示的概率，它不依赖于 $a$ 或 $m$，只依赖于 $b-a$ 和 $n-m$。

证明空间和时间齐次性

• 空间齐次性：我们需要证明 $\mathbb{P}(S_n = b + c \,|\, S_m = a + c) = \mathbb{P}(S_n = b \,|\, S_m = a)$。

  由于随机游走的增量是独立同分布的，增加相同的常数 $c$ 到 $a$ 和 $b$ 上，不会改变 $S_n$ 和 $S_m$ 之间增量的分布。因此，$S_n - S_m = (b+c) - (a+c) = b - a$，这意味着这两个条件概率实际上是等价的，表明了空间齐次性。

• 时间齐次性：我们需要证明 $\mathbb{P}(S_{n+k} = b \,|\, S_{m+k} = a) = \mathbb{P}(S_n = b \,|\, S_m = a)$。

  同样，由于增量是独立同分布的，增加相同的 $k$ 到 $n$ 和 $m$ 上，只是相当于将整个随机游走序列向前移动了 $k$ 步，但这不会改变任何两点间增量的分布。因此，$S_{n+k} - S_{m+k}$ 的分布与 $S_n - S_m$ 的分布相同，这表明了时间齐次性。

这两个齐次性质表明，随机游走的性质不依赖于起始位置或起始时间，只依赖于步数和增量的分布，这是马尔可夫性质和独立增量性质的直接结果。

You play a sequence of independent games each of which you win probability p and lose with probability $q = 1 - p$. You start with £2k and stop when you reach £2m or £0, where 0 < k < m are integers. You have a choice of two strategies. You can either stake £1 on every game (so that you win or lose £1 depending on the outcome, as usual), or you can stake £2 on every game (so that you win or lose £2). Find the ratio of the probabilities of ending with £2m under the second strategy versus under the first strategy. For which p, k, and m is the first strategy better? And the second strategy?

要解决这个问题，我们需要分析两种策略下结束时拥有 £2m 的概率，以及比较这两种概率。我们首先定义一些变量来理解问题：

• $p$：每局游戏赢的概率。
• $q = 1 - p$：每局游戏输的概率。
• 初始资金为 £2k，目标是达到 £2m 或者输光变成 £0。

策略一：每次赌注£1

对于每次赌注 £1 的情况，我们可以使用随机漫步的概率模型来分析。如果我们将赢一局游戏视为向上一步，输一局游戏视为向下一步，则到达 £2m 或 £0 的问题可以转化为在一维随机漫步中首次到达某一点的概率问题。

在这种情况下，到达 £2m（我们假设为点 $m$）而不是 £0（点(0)）的概率为：$P_1 = \frac{1 - (q/p)^k}{1 - (q/p)^m}$

策略二：每次赌注£2

对于每次赌注 £2 的情况，整个过程类似，但每一步的变化是 £2 而不是 £1。这意味着达到目标或输光的步数减半，相应的，k 和 m 的值也应该调整为原来的一半进行分析。

在这种情况下，到达 £2m 的概率 $P_2$ 可以类似地表示为：$P_2 = \frac{1 - (q/p)^{k/2}}{1 - (q/p)^{m/2}}$

概率比率

所求的概率比率(R)为策略二结束时拥有£2m的概率与策略一的概率之比，即：$R = \frac{P_2}{P_1} = \frac{1 - (q/p)^{k/2}}{1 - (q/p)^{m/2}} \div \frac{1 - (q/p)^k}{1 - (q/p)^m}$

策略比较

• 第一策略更好的条件是当 R < 1，即 $P_2 < P_1$ 时。
• 第二策略更好的条件是当(R > 1)，即 $P_2 > P_1$ 时。

要确定哪种策略在特定的(p)、(k)和(m)值下更优，需要具体计算(R)的值。然而，直觉上，当(p)接近1时，每次赌注更多的策略可能更有利，因为你更可能赢得游戏；当(p)较小，接近0.5时，较小的赌注可能更有利，因为它提供了更多的游戏机会来“运气好”达到目标。

接下来，具体计算一下比率(R)的表达式，来更精确地回答这个问题。

经过计算，概率比率(R)简化后的表达式为：

$R = \frac{(q/p)^{k/2} - 1) \cdot ((q/p)^m - 1)}{((q/p)^k - 1) \cdot ((q/p)^{m/2} - 1)}$

这个表达式展示了两种策略结束时拥有£2m的概率之比与(p)、(q)、(k)和(m)的关系。要确定哪种策略更优，我们需要具体分析(p)、(k)和(m)的值以及它们如何影响(R)的值。

由于(R)的表达式相对复杂，没有一个直观明显的结论表明哪些条件下一种策略比另一种更优。一般而言，我们需要根据具体的(p)、(k)和(m)值来评估(R)的大小，从而判断是 $P_2 > P_1$ 还是 $P_2 < P_1$。

• 如果(R > 1)，则说明在给定的参数下，每次赌注£2（策略二）的成功概率高于每次赌注£1（策略一）。
• 如果(R < 1)，则说明在给定的参数下，每次赌注£1（策略一）的成功概率高于每次赌注£2（策略二）。

这个问题没有一种通用的答案，因为它依赖于具体的游戏参数。要具体分析某一组(p)、(k)、(m)值，我们可以代入这些值来计算(R)的具体数值。

公众号：AI悦创【二维码】