什么是不確定性
什么是不確定性?打個比方，老王、老李做一個游戲“猜花生米”。老王出一只拳頭，讓老李猜里面是空的還是抓了一?；ㄉ?。這個事件對老王而言是確定性事件，因?yàn)槔贤踝约河袥]有抓花生米，他心知肚明。這個事件對猜拳的老李來說就是不確定性事件，因?yàn)槔侠顭o法對老王的猜拳決策做出絕對準(zhǔn)確的預(yù)測。
在實(shí)際生活中，不確定性事件廣泛存在。事實(shí)上，人生就是由一系列或大或小的不確定性事件構(gòu)成的?；橐鲞x擇有著極大的不確定性。一對相愛的男女是否應(yīng)該接受對方成為自己的終身伴侶，這是一個重大選擇。這個選擇的后果是什么?是幸福的遠(yuǎn)航，還是痛苦的開始?這有很大的不確定性。為了極小化這種不確定性，青年男女往往需要一場死去活來的戀愛，以便充分暴露雙方的優(yōu)點(diǎn)和缺點(diǎn)，以減少未來婚姻中的不確定性。但是，無論你如何了解，這種不確定性仍然存在。
世界到處都充滿了不確定性，那我們對未來的世界認(rèn)識是不是不可知的?答案是否定的。世界上很多事情是難以用確定的公式或者規(guī)則來表示，但是這種不確定性并不是無規(guī)律可循，這個時候就需要用到統(tǒng)計(jì)學(xué)中的概率模型來描述。在概率論的基礎(chǔ)上，信息論鼻祖香農(nóng)博士建立了一套完整的理論，將世界的不確定性和信息聯(lián)系起來，這就是信息論，用來解釋不確定性的世界。
信息可消除不確定性
什么是信息?在看《暗時間》時(推薦大家看看)，里面討論了一些信息論相關(guān)的內(nèi)容，于是就嘗試搜索信息論和不確定性的關(guān)系，結(jié)果發(fā)現(xiàn)香農(nóng)說了這么一句話：“信息是用來消除不確定性的東西”。信息論的鼻祖果然是鼻祖，一句話解釋了信息。
信息是否可以被度量?如何度量信息?1948年，香農(nóng)提出了“信息熵”這個概念，解決了信息度量的問題。他指出，信息量與不確定性有關(guān)：假如我們需要搞清楚一件非常不確定的事情，或者我們一無所知的事情，就需要收集大量的信息。相反，如果我們對某件事已經(jīng)有了較多的了解，那么不需要太多的信息就能把它搞清楚。從這個角度來看，信息量的度量就是不確定性的多少。
舉例說明，就拿互聯(lián)網(wǎng)廣告來說，在門戶網(wǎng)站上投放展示類的品牌廣告，點(diǎn)擊率是非常低的。因?yàn)閷τ谑鼙娪脩?，廣告投放時幾乎是隨機(jī)猜測用戶的需求，很不準(zhǔn)確。而搜索廣告因?yàn)橛杏脩糨斎氲年P(guān)鍵詞，準(zhǔn)確率會大幅度提高，至于提高多少，取決于關(guān)鍵詞所提供的信息量。這就是搜索廣告所賺到的廣告費(fèi)用要高出展示廣告兩個數(shù)量級。通過這個例子，也能說明，信息時代，誰掌握了更多的信息，誰就掌握了更多財(cái)富的可能性。
大數(shù)據(jù)與信息的關(guān)系
了解大數(shù)據(jù)的人，都可能知道，大數(shù)據(jù)有5V特點(diǎn)，這是IBM提出來的:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實(shí)性)。但從信息論的角度，大數(shù)據(jù)通常是具備三個主要特征，數(shù)據(jù)量大，多樣性和完備性。
1、大數(shù)據(jù)的體量足夠大
大數(shù)據(jù)最明顯的特點(diǎn)就是體量大，這一點(diǎn)無論是內(nèi)行還是外行都認(rèn)可，沒什么異議。我們國家僅僅北京的國家超級大數(shù)據(jù)中心，占地面積就8萬平方米，包含9棟數(shù)據(jù)中心機(jī)房和1棟感知體驗(yàn)中心。
但是，過去由于數(shù)據(jù)量不夠，即使用了數(shù)據(jù)，依然不足以消除不確定性，因此數(shù)據(jù)的作用其實(shí)有限，很多人忽視它的重要性是必然的，數(shù)據(jù)的價值也就被嚴(yán)重低估。在那種情況下，哪個領(lǐng)域先積攢下足夠的數(shù)據(jù)，它的研究進(jìn)展就顯得快一些。語音識別領(lǐng)域，就是因?yàn)樵缙诜e攢了大量的音頻數(shù)據(jù)，才可以捷足先登，第一批嘗到了數(shù)據(jù)驅(qū)動方法的甜頭。
2、大數(shù)據(jù)的多維度足夠多
眾所周知，Google的人工智能已經(jīng)走在了前沿，也是目前全球估值最高的公司。但是，無論是AlpahaGo、無人駕駛還是IT醫(yī)療公司Calico，都是建立在多維度的大數(shù)據(jù)基礎(chǔ)之上的。例如關(guān)于“食物”這個問題，Google會利用用戶輸入的信息，收集所有相關(guān)的信息。不僅涉及到食物的做法、吃法、成分、營養(yǎng)價值、價格、問題來源的地域和時間等維度。
大數(shù)據(jù)的多維度，統(tǒng)計(jì)學(xué)中稱為相關(guān)性，信息論中稱為互信息?；バ畔?，它在信息論中，實(shí)現(xiàn)了對信息相關(guān)性的度量。比如“央行調(diào)整利率”和“股市短期波動”的互信息很大，這就證實(shí)了兩者具備強(qiáng)相關(guān)性。第二個視角，交叉驗(yàn)證。舉例說明，夏天的時候，“空氣濕度高”和“24小時內(nèi)要下雨”之間的互信息比較大。也就是說空氣濕度高，24小時下雨的可能性比較大，但并不能說空氣濕度高就一定會在24小時內(nèi)下雨。還需要結(jié)合氣壓信息，云圖信息等其他緯度的信息，來交叉驗(yàn)證“24小時內(nèi)要下雨”這件事情，那么預(yù)測的準(zhǔn)確性要高的多。
3、大數(shù)據(jù)的完備性
要理解它，需要介紹信息論中的一個重要概念—交叉熵。它可以反映兩個信息源之間的一致性，或者兩種概率模型之間的一致性。當(dāng)兩個數(shù)據(jù)源完全一致的時候，其交叉熵為0，當(dāng)它們相差很大時，它們的交叉熵也很大。因此，所有數(shù)據(jù)驅(qū)動的方法，建立模型使用的數(shù)據(jù)和使用模型的數(shù)據(jù)需要有一致性。
抽樣調(diào)查方式都是采用抽取有限的樣本進(jìn)行統(tǒng)計(jì)，從而得出整體的趨勢。抽樣的核心原則是隨機(jī)性，不隨機(jī)就不能真實(shí)地反應(yīng)整體的趨勢。但是要做到隨機(jī)性是很難的。例如電視收視率調(diào)查，要從不同階層隨機(jī)找被調(diào)查的人，但高學(xué)歷高收入的大忙人們普遍拒絕被調(diào)查，他們根本就不會因?yàn)閹讉€蠅頭小利而浪費(fèi)時間，電視調(diào)查的結(jié)果就可想而知。
所以，在過去，任何使用概率統(tǒng)計(jì)模型都會有很多小概率事件是覆蓋不到的。大數(shù)據(jù)時代以前，這是數(shù)據(jù)驅(qū)動方法的死穴。
在大數(shù)據(jù)時代，在某個領(lǐng)域獲得數(shù)據(jù)的完備性還是有可能的，Google的機(jī)器翻譯系統(tǒng)就能很好的要利用大數(shù)據(jù)的完備性。通過數(shù)據(jù)學(xué)到了不同語言之間很長句子成分的對應(yīng)，然后直接把一種語言翻譯成另一類，前提條件就是使用的數(shù)據(jù)必須是比較全面地覆蓋中文、英文，以及其他各種語言的所有句子，也就是說具備兩種語言之間翻譯的完備性。
當(dāng)數(shù)據(jù)的完備性具備了以后，就相當(dāng)于訓(xùn)練模型的數(shù)據(jù)集合和使用這個模型的測試集合是同一個集合，或者是高度重復(fù)的。這樣的數(shù)據(jù)驅(qū)動方法才是有效的。
由此可見，大數(shù)據(jù)的科學(xué)基礎(chǔ)是信息論，它的本質(zhì)就是利用信息消除不確定性。
——以上內(nèi)容部分是源自于吳軍老師《智能時代》的讀書筆記。
評論