期望线性

先决条件：随机变量
这篇文章是关于数学概念的，如期望，期望的线性。它涵盖了理解随机算法所需的主题之一。

让我们考虑以下简单问题。

问题：给定一个带有6个面的骰子，该骰子被抛出n次，找到所有结果之和的期望值。
例如，如果n = 2，则总共有36种可能的结果。

(1, 1), (1, 2), .... (1, 6)
(2, 1), (2, 2), .... (2, 6)
................
................
(6, 1), (6, 2), ..... (6, 6)

离散随机变量的期望值为R，定义如下。假设R可采取值r ₁的概率为p _1，值r ₂的概率为p _2，依此类推，直到与概率_的pk值_rķ。然后，将这个随机变量R的期望定义为：

E[R] = r1*p1 + r2*p2 + ... rk*pk

让我们为上述示例计算期望值。

Expected Value of sum = 2*1/36 + 3*1/36 + .... + 7*1/36 + 
of two dice throws      3*1/36 + 4*1/36 + .... + 8*1/36 + 
                        ........................
                        .........................
                        7*1/36 + 8*1/36 + .... + 12*1/36     
                  
                      = 7

当掷出更多骰子时，上述解决问题的方法将变得困难。
如果我们知道期望值的线性，那么我们可以为任何数量的掷球快速解决上述问题。

期望的线性：假设R ₁和R ₂是在某个概率空间上的两个离散随机变量，则

E[R1 + R2] = E[R1] + E[R2] 

使用以上公式，我们可以快速解决骰子问题。

Expected Value of sum of 2 dice throws = 2*(Expected value of one dice throw)
                                       = 2*(1/6 + 2/6 + .... 6/6)
                                       = 2*7/2
                                       = 7 

Expected value of sum for n dice throws is = n * 7/2 = 3.5 * n 

有关线性期望的一些有趣事实：

1. 期望的线性对于相关事件和独立事件均成立。另一方面，规则E [R ₁ R ₂ ] = E [R ₁ ] * E [R ₂ ]仅对独立事件有效。
2. 期望的线性对于某个概率空间上的任意数量的随机变量均成立。令R ₁ ，R ₂ ，R ₃ ，…R _k为k个随机变量，则
   E [R ₁ + R ₂ + R ₃ +…+ R _k ] = E [R ₁ ] + E [R ₂ ] + E [R ₃ ] +…+ E [R _k ]

可以通过期望的线性轻松解决的另一个示例：
帽子检查问题：假设有一组n个男人，每个男人都有一个帽子。重新分配了帽子，每个人都随机拿回了帽子。带回原来帽子的男性预期人数是多少?

解决方案：假设R _i是一个随机变量，如果第i个人回到同一顶帽子，则随机变量的值为1，否则为0。

So the expected number of men to get the right hat back is
  = E[R1] + E[R2]  +  .. + E[Rn] 
  = P(R1 = 1) + P(R2 = 1) + .... + P(Rn = 1) 
  [Here P(Ri = 1)  indicates probability that Ri is 1]
  = 1/n + 1/n + ... + 1/n 
  = 1

因此，平均而言，有1个人会拿回正确的帽子。

锻炼：

1. 给定一个公平的硬币，当硬币被抛掷n次时，预期的正面数是多少。
2. 球和垃圾桶：假设我们有m个球，标记为i = 1，…，m和n个垃圾桶，标记为j = 1，..，n。将每个球随机且独立地均匀地扔进一个垃圾箱中。
   a)每个料箱中的预期球数是多少
   b)空箱的预期数量是多少。
3. 优惠券收集者：假设彩票中有n种类型的优惠券，并且每批包含一张优惠券(概率为1 = n)。直到我们每种类型的至少有一张优惠券，才需要购买(预期)多少手。

有关Coupon Collector的解决方案，请参见以下内容。
直至成功的预期试验次数

期望的线性在算法中很有用。例如，使用期望线性来评估随机算法(如随机快速排序)的期望时间复杂度(请参阅此内容以供参考)。

参考：
http://www.cse.iitd.ac.in/~mohanty/col106/Resources/linearity_expectation.pdf

http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-042j-mathematics-for-computer-science-fall-2010/video-lectures/lecture-22-expectation-i/