數據處理的工具和軟件

根據數據處理的不同階段,有不同的專業工具來對數據進行不同階段的處理。

在數據轉換部分,有專業的ETL工具來幫助完成數據的提取、轉換和加載,相應的工具有Infmatica和開源的Kettle。

在數據存儲和計算部分,指的數據庫和數據倉庫等工具,有Oracle,DB2,MySQL等知名廠商,列式數據庫在大數據的背景下發展也非???。

在數據可視化部分,需要對數據的計算結果進行分析和展現,有BIEE,Microstrategy,Yonghong的Z-Suite等工具。

數據處理的軟件有EXCEL MATLAB Origin等等,當前流行的圖形可視化和數據分析軟件有Matlab,Mathmatica和Maple等。這些軟件功能強大,可滿足科技工作中的許多需要,但使用這些軟件需要一定的計算機編程知識和矩陣知識,并熟悉其中大量的函數和命令。而使用Origin就像使用Excel和Wd那樣簡單,只需點擊鼠標,選擇菜單命令就可以完成大部分工作,獲得滿意的結果。

大數據時代,需要可以解決大量數據、異構數據等多種問題帶來的數據處理難題,Hadoop是一個分布式系統基礎架構,由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統 Hadoop Distributed File System,HDFS。HDFS有著高容錯性的特點,并且設計用來部署在低廉的硬件上。而且它提供高傳輸率來訪問應用程序的數據,適合那些有著超大數據集的應用程序。

您可能感興趣產品