如果非要用一個詞來形容我們這個時代，那應該就是：信息時代。

在此之前，瓦特的蒸汽機開啟了蒸汽時代，而對于電和磁的了解，人類進入了電氣時代。如今，由于人類對于信息的探索，人類開啟了信息時代。在信息時代，有發明電報的莫爾斯，有發明電話的貝爾，有發明無線電技術的馬可尼等等偉大的發明家和科學家。

莫爾斯自畫像

但是一直以來有一個問題困擾着科學家們，那就是：信息到底如何度量？

舉個例子，我們常說：信息量好大啊。那到底什麼樣的信息才算信息量很大？其實誰也說不清楚。

如果我們夢回到牛頓時代，就會發現，牛頓的代表作《自然哲學的數學原理》當中，前十幾頁隻幹了一件事情，那就是：下定義。

我們現在耳熟能詳的很多概念，比如：密度，質量，力。都是牛頓下的定義。

牛頓的定義不同于一般的定義，他的定義使得這些物理量可以被測量，并且量化度量。

相對于偉大的牛頓力學，牛頓對于物理學開創性的研究方法更是奠定了現代物理學的基礎。數學家Mike Alder曾經在一篇文章裡總結并且提出了：Newton's Flaming Laser Sword.

翻譯過來就是牛頓的激光烈焰劍理論，具體的内容就是：

所有不能進行實驗和觀測的東西都不值得辯論。

所以，對于科學而言，定義和觀測十分重要，更是有國際七大單位制，當然還有其他不在這當中的，不過可以通過七個國際單位推出來。

信息論

因此，信息論要成為一門科學，首先要把信息的定義确立下來，可以量化度量，而且還得有個靠譜的單位才行。

其實道理科學家都懂，但是落到實處真的很難，很多科學家嘗試了很多方法，比如：通過對比信息的重要性，來度量信息，但都失敗了。

直到1948年，一位天才發表了一篇名為《通信的數學原理》的文章，裡面對信息做了非常詳盡的定義，而這篇文章也徹底地奠定了現代信息論的基礎，一直沿用至今。這位天才作者叫做：克勞德·艾爾伍德·香農。

信息的基本單位：比特

那香農是如何解決這個問題的呢？

香農認為：

一個東西的信息量大小在于它克服了多少不确定性。

比方說，我和你有個特别要好的朋友，他平時早上10點到公司，晚上10點回到家。有一天，我跟你說：他今晚11點在家裡。這句話對你來說，其實就是一句廢話，信息量是零。這是因為，你本身就知道這個時刻，他大概率就在家裡。所以，意外或者說不确定性才是信息。

因此，香農把信息的量化度量和不确定性聯系了起來，并給出了信息的基本單位：比特。

我們可以這麼理解比特，如果有抛一枚理想的硬币，正面和反面的概率是一模一樣的。要搞清楚到底是正面還是反面，就需要1比特的信息。

如果這枚硬币并不是理想的硬币，而是正面更重一點，抛硬币有更大的概率是正面朝下，反面朝上。這時，要搞清楚正面還是反面朝上，所需要的信息就要小于1比特了。這是因為你有更大概率能夠猜中結果。

如果再複雜一點，假設你在做選擇題，一共有4個選項。如果你要确定這道題的最終答案，那需要多少比特的信息呢？

可能很多人的第一反應是：4比特。實際上，這并不對。你要知道，你不會傻到一個選項一個選項去問對方（通過信息消除不确定性的過程）。

如果機智一點，會采取二分法，

你可以先問：答案是不是在A和B當中？

對方如果回答：是。

那你就隻需要在A和B當中再問一遍：答案是不是A？

如果對方答：是。

那你就已經确定了結果是A，而整個過程你隻用了2比特的信息。

同理如果，你先問：答案是不是在A和B當中？

對方如果回答：否。

那其實就排除了A和B，答案就在C和D當中，所以你隻需要再問：答案是不是C？

對方如果回答：否。

那你就已經确定了結果是D，而整個過程也還是用2比特信息。

你甚至可以把比特想象成人民币，假設1比特就是一塊錢，每次做選擇時都要花一塊錢，如果要解決抛理想硬币的問題，你隻需要一塊錢就能夠搞定。而四選一，就需要2塊錢。

所以，這下子應該明白了吧？信息其實是用來消除不确定性的。但問題又來了，到底消除什麼的不确定性？

答案是：信息源。

這個信息源其實就是指抛硬币這個事件本身，它本身具有不确定性，可能是正面，也可能是反面。而信息源的不确定性就叫做：信息熵。于是，我們就可以知道，

信息就是用來消除信息熵（不确定性）的。抛硬币如果正反概率都是50%，那就是不确定性最高的之後，信息熵也就最大。反之，如果正面朝上的概率更高，那其實這個系統的不确定性就小了，信息熵也就小了。

所以，信息量其實本身就是信息源的信息熵。

信息熵

因此，我們隻要能夠計算信息熵，那就可以計算信息量具體是多少了？

那具體如何計算呢？其實香農從熱力學中找到了靈感。在熱力學當中，熵用來表示：

一個系統的無序狀态（不确定性）。

舉個最常見的例子，如果你把一點墨水滴到水中，墨水會和水融合在一起，整個杯子的無序狀态數會增加（因為變混亂了嘛），這裡我們可以把這杯子裡的水看成是一個系統。

在物理學中，衡量一個系統的混亂度，其實可以通過統計整個系統的狀态數來确立。

可能性越多，不确定性就越大；在狀态數量保持不變時，如果各個狀态的可能性相同，不确定性就很大；

因此，科學家給出了統計系統狀态數的公式（不看也沒有關系）：

其實信息熵其實也就是表示了一個系統（信息源）的不确定性（信息熵）。

由于熱力學的啟發，香農也給出了類似的計算信息熵（信息量）的公式：

具體咋用呢？我們回到剛才抛硬币的例子來：

抛出一個理想硬币，信息熵為log2(2/1) = 1比特；

抛出兩個理想硬币，信息熵為log2(4/1) = 2比特。

自從信息論被提出來之後，科學家就一直在思考一個問題，這個世界到底是什麼？我們都知道是物質是原子構成，那世界就是原子的？

但我們也要知道，原子的排列構成了世界，而排列本身就是信息，因此原子是通過交換“比特”來實現有序排列的，意思就是說，某種程度上來看，世界又是比特的。

,