當前,大數據正以一種革命風暴的姿態引發全球關注。阿裏巴巴馬雲指出,“互聯網+”已從IT時代到DT(數字科技)時代,而DT是一個數據更充分流動的時代。而且未來大數據會作為一種資產存在,並將誕生一個萬億級別的交易市場。
有人將大數據比作“原油”,其實大數據挖掘才是大數據的核心。據公開數據顯示,2013 年中國產生的數據總量超過0.8 ZB,相當於裝滿8億個容量為1 TB的移動硬盤。如果不具備挖掘能力,如此海量的數據隻能處於休眠狀態。大數據通過數據挖掘技術,將海量數據進行歸納、建模、分析,找到數據中的關聯關係,從而得出事情發生的可能性。打個比方,大數據會告訴商家客戶喜歡什麽,甚至可以精確到每一位客戶的喜好。同時,大數據挖掘還需要眾多高性能計算機同時承擔數據存儲、數據處理、數據挖掘的工作,這便是雲計算。大數據挖掘必須依托雲計算的分布式處理、分布式數據庫和雲存儲、虛擬化技術,才可以快速實現。
有這樣一個故事。
2003年,奧倫·埃齊奧尼準備乘坐從西雅圖到洛杉磯的飛機去參加弟弟的婚禮。他知道飛機票越早預訂越便宜,於是他在這個大喜日子來臨之前的幾個月,就在網上預訂了一張去洛杉磯的機票。在飛機上,埃齊奧尼好奇地問鄰座的乘客花了多少錢購買機票。當得知雖然那個人的機票比他買得更晚,但是票價卻比他便宜得多時,他感到非常氣憤。於是,他又詢問了另外幾個乘客,結果發現大家買的票居然都比他的便宜。
對大多數人來說,這種被敲竹杠的感覺也許會隨著他們走下飛機而消失。然而,埃齊奧尼是美國最有名的計算機專家之一,從他擔任華盛頓大學人工智能項目的負責人開始,他創立了許多在今天看來非常典型的大數據公司,而那時候還沒有人提出“大數據”這個概念。