什麼是大資料，大資料技術有哪些

大資料，是指無法在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合。大資料有譬如Hadoop等開源大資料專案的，程式語言的，以下就大資料底層技術說下。有四方面，其實也代表了部分通用大資料底層技術：Z-Suite具有高效能的大資料分析能力，她完全摒棄了向上升級(Scale-Up)，全面支援橫向擴充套件(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大資料：

操作方法

（01）跨粒度計算(In-DatabaseComputing)Z-Suite支援各種常見的彙總，還支援幾乎全部的專業統計函式。得益於跨粒度計算技術，Z-Suite資料分析引擎將找尋出最優化的計算方案，繼而把所有開銷較大的、昂貴的計算都移動到資料儲存的地方直接計算，我們稱之為庫內計算(In-Database)。這一技術大大減少了資料移動，降低了通訊負擔，保證了高效能資料分析。

（02）平行計算(MPP Computing)Z-Suite是基於MPP架構的商業智慧平臺，她能夠把計算分佈到多個計算節點，再在指定節點將計算結果彙總輸出。Z-Suite能夠充分利用各種計算和儲存資源，不管是伺服器還是普通的PC，她對網路條件也沒有嚴苛的要求。作為橫向擴充套件的大資料平臺，Z-Suite能夠充分發揮各個節點的計算能力，輕鬆實現針對TB/PB級資料分析的秒級響應。

（03）列儲存 (Column-Based)Z-Suite是列儲存的。基於列儲存的資料集市，不讀取無關資料，能降低讀寫開銷，同時提高I/O 的效率，從而大大提高查詢效能。另外，列儲存能夠更好地壓縮資料，一般壓縮比在5 -10倍之間，這樣一來，資料佔有空間降低到傳統儲存的1/5到1/10 。良好的資料壓縮技術，節省了儲存裝置和記憶體的開銷，卻大大了提升計算效能。

（04）記憶體計算得益於列儲存技術和平行計算技術，Z-Suite能夠大大壓縮資料，並同時利用多個節點的計算能力和記憶體容量。一般地，記憶體訪問速度比磁碟訪問速度要快幾百倍甚至上千倍。通過記憶體計算，CPU直接從記憶體而非磁碟上讀取資料並對資料進行計算。記憶體計算是對傳統資料處理方式的一種加速，是實現大資料分析的關鍵應用技術。

特別提示

大資料技術的戰略意義不在於掌握龐大的資料資訊，而在於對這些含有意義的資料進行專業化處理。換言之，如果把大資料比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對資料的“加工能力”，通過“加工”實現資料的“增值”。