2012年10月6日 星期六

Big Data是怎麼一回事


Big Data是怎麼一回事

Big Data是近來十分熱門的科技新名詞,其有3種特性:Volume、Velocity、Variety,技術上已經有諸多變革在發生。 

Big Data,大概是爆紅速度僅次於雲端運算的科技新名詞,過去一年來,雲端運算雖然還是很熱門的話題,但更熱門的是Big Data,情況就像幾年前廠商不約而同在談雲端運算一樣。

當初整個業界大談雲端運算,從上到下幾乎所有公司都能沾得上邊,不免令人質疑是在炒作議題,但事實證明雲端運算至今不只沒有成為泡沫,還有許多更進一步的成果。然而,遇到現今整個IT業界都在追逐Big Data議題,在相同的情境下還是不免要質疑:這是不是也在炒作?

其中最直接的質疑是:Big Data所指的巨量資料分析,已經不是什麼新鮮事了,大量資料的處理與分析應用早就存在,許多企業採用資料倉儲就是為了解決大量資料處理與分析的難題。這種情況就如同當初雲端運算被擴大解釋為網頁電子信箱,搞得大家一頭霧水,不免覺得「原來雲端運算早就存在,不過是舊瓶裝新酒罷了。」但從雲端運算現在的發展狀況來看,這當然是個誤解。

Big Data的誤解,其實從中文翻譯就已經造成了。Big Data真是一個不好翻譯的名詞,很難從中文找到一個適切的譯名,任何一種翻譯方法,都只能表達部分意思,因此勢必就會造成另外一部分的誤解。

Big Data有3種特性:Volume、Velocity、Variety,Volume指的是資料量龐大,而到底資料量要多大才算呢?這其實沒有一定的界限,不過有許多企業已經面臨單日資料量以數十、數百TB的速度增加,而總資料量也達到了PB(Petabyte)等級,這樣的資料量已讓傳統的資料庫難以處理;Velocity是指資料增加的速度越來越快,諸如行動運算、社交網路的風行,使得資料增加的速度比傳統的企業應用程式來得快很多,一旦資料增生速度越快,資料處理、分析的速度也就得跟上;而Variety則是指資料的多樣性,我們現在上網不是只看看資訊,同時我們不斷在產出資料:貼照片、貼影片、這裏按讚、那裏寫個幾句,另一方面,IT深入生活中的各個層面,各式各樣的監控器、感應器也不停地產出機器資訊,資料的型式已不像過去那麼單純了。

這3個資料特性,已經是現在式,而不是未來式。然而該如何解決日漸緊迫的巨量資料處理問題呢?像Facebook、Twitter這樣面臨資料量大爆炸的網路公司,開始用Hadoop、NoSQL等新興技術來解決問題。

Hadoop是分散式處理技術,它立基於叢集架構,因此可以使用大量便宜的伺服器,打造巨大的處理能力,並且可由水平擴充方式來加大處理能力,以應付更大的資料處理需求。

有了Hadoop這樣的開放原始碼技術,讓許多人不需購買大型的資料分析設備,也有辦法來分析大量的數據,例如日本藥廠透過分析Twitter使用者的留言,分析感冒、流鼻水等症狀的字眼,就能了解流行病的趨勢,掌握市場脈動;而在過去,如果你沒有可行的巨量資料分析工具,可能連想都不敢想要分析Twitter這麼一回事。

至於傳統資料分析廠商,也紛紛將資料分析平臺轉換為分散式處理架構,提供水平擴充能力,或是增加處理速度更快的資料庫技術,來應付Big Data的3種特性。這樣的發展也有助於企業因應未來的資料處理挑戰,對於已經採用資料倉儲的用戶,例如銀行業,就能順利移轉。畢竟,Hadoop仍是一個很新的技術,其中的技術門檻亦較高。

所以,Big Data不會是一個空談的議題,在技術上已經有諸多變革在發生了。

轉載自《iThome》

沒有留言:

張貼留言