我又重新把概率，统计书拿起来了。这次是真的，要把机器学习（统计学习)学好。显然，学好机器学习并不是一件容易的事情。需要要扎实的数学基础。好在我的数学储备还勉强可以，但远算不上“基础扎实”。所以，我有了一个长期远景规划，重新开始学习吧！
今天看了伯努力分布，负伯努利分布，超几何分布，几何分布这几个知识点。下面我一边写回顾今天学到的，一边写文章。
伯努利分布和伯努利试验的区别
伯努利试验(Binomial Experiment)指的仅仅是”一次试验”，或者成功，或者失败。伯奴利分布是一个常用分布，这是完全不同的两个概念。
每次伯努利试验的成功概率记为p，又把重复很多次伯努利试验称为伯努利过程(Binomial Process)。一个重复了n次伯努利试验的伯努利过程中，成功的试验次数记为X，这个X则是伯努利随机变量。X的概率分布被称为伯努利分布。
伯努利分布：
b(x;n,p) = {n \choose x} p^k (1-p)^{ n-k}
其中，n表示试验次数，p表示每次独立试验成功的概率，x表示成功次数。
什么是负伯努利分布(Negative Binomial Distribution)
伯努利分布和负伯努利分布的大多数设定都是一样的，都不断重复伯努利试验，要么成功要么失败。
不同点是：伯努利分布的随机变量X，表示的是在前n次伯努利试验中成功了x次；而负伯努利的随机变量x，表示的是要达成k次成功试验，需要试验x次（即第x次试验成功，前x-1次试验成功了k-1次）。伯努利分布限定了试验次数记为n，负伯努利限定了成功次数记为k。
负伯努利分布：
b^*(x;k, p) = {{x-1} \choose {k-1}}p^kq^x-k
几何分布和超几何分布
再以伯努利分布为讨论的基础，仅更改一处，即把伯努利过程中的放回抽样(with replacement)改成不放回抽样(without replacement)，即可得到超几何分布。
以负伯努利分布为讨论的基础，仅更改一处，即k设为1，表示成功一次。即不断重复伯努利试验，直到第一次成功就结束，得到了几何分布。
伯努利分布，负伯努利分布的命名
- 为什么叫伯努利分布
因为伯努利展开式(q+p)^n的n+1个项对应伯努利分布取各个值时的情况。 - 为什么叫负伯努利分布
因为展开式p^k(1-p)^(-k)中的每个项对应b^*(x;k,p)取x=k, k+1, k+2, …时的情况。