大數據軟體原材料有哪些

❶ 大數據平台的軟體有哪些

一、Phoenix
簡介：這是一個Java中間層，可以讓開發者在Apache HBase上執行SQL查詢。Phoenix完全使用Java編寫，代碼位於GitHub上，並且提供了一個客戶端可嵌入的JDBC驅動。
Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBase scan，並編排執行以生成標準的JDBC結果集。直接使用HBase API、協同處理器與自定義過濾器，對於簡單查詢來說，其性能量級是毫秒，對於百萬級別的行數來說，其性能量級是秒
二、Stinger
簡介：原叫Tez，下一代Hive,Hortonworks主導開發，運行在YARN上的DAG計算框架。
某些測試下，Stinger能提升10倍左右的性能，同時會讓Hive支持更多的SQL，其主要優點包括：
❶讓用戶在Hadoop獲得更多的查詢匹配。其中包括類似OVER的字句分析功能，支持WHERE查詢，讓Hive的樣式系統更符合SQL模型。
❷優化了Hive請求執行計劃，優化後請求時間減少90%。改動了Hive執行引擎，增加單Hive任務的被秒處理記錄數。
❸在Hive社區中引入了新的列式文件格式（如ORC文件），提供一種更現代、高效和高性能的方式來儲存Hive數據。
三、Presto
簡介：Facebook開源的數據查詢引擎Presto ，可對250PB以上的數據進行快速地互動式分析。該項目始於 2012 年秋季開始開發，目前該項目已經在超過 1000 名 Facebook 雇員中使用，運行超過 30000 個查詢，每日數據在 1PB 級別。Facebook 稱 Presto 的性能比諸如 Hive 和 Map*Rece 要好上 10 倍有多。
Presto 當前支持 ANSI SQL 的大多數特效，包括聯合查詢、左右聯接、子查詢以及一些聚合和計算函數；支持近似截然不同的計數(DISTINCT COUNT)等。

❷ 大數據常用的軟體工具有哪些

眾所周知，現如今，大數據越來越受到大家的重視，也逐漸成為各個行業研究的重點。正所謂「工欲善其事必先利其器」，大數據想要搞的好，使用的工具必須合格。而大數據行業因為數據量巨大的特點，傳統的工具已經難以應付，因此就需要我們使用更為先進的現代化工具，那麼大數據常用的軟體工具有哪些呢？
首先，對於傳統分析和商業統計來說，常用的軟體工具有Excel、SPSS和SAS。
Excel是一個電子表格軟體，相信很多人都在工作和學習的過程中，都使用過這款軟體。Excel方便好用，容易操作，並且功能多，為我們提供了很多的函數計算方法，因此被廣泛的使用，但它只適合做簡單的統計，一旦數據量過大，Excel將不能滿足要求。
SPSS和SAS都是商業統計才會用到的軟體，為我們提供了經典的統計分析處理，能讓我們更好的處理商業問題。同時，SPSS更簡單，但功能相對也較少，而SAS的功能就會更加豐富一點。
第二，對於數據挖掘來說，由於數據挖掘在大數據行業中的重要地位，所以使用的軟體工具更加強調機器學習，常用的軟體工具就是SPSS Modeler。
SPSS Modeler主要為商業挖掘提供機器學習的演算法，同時，其數據預處理和結果輔助分析方面也相當方便，這一點尤其適合商業環境下的快速挖掘，但是它的處理能力並不是很強，一旦面對過大的數據規模，它就很難使用。
第三，大數據可視化。在這個領域，最常用目前也是最優秀的軟體莫過於TableAU了。
TableAU的主要優勢就是它支持多種的大數據源，還擁有較多的可視化圖表類型，並且操作簡單，容易上手，非常適合研究員使用。不過它並不提供機器學習演算法的支持，因此不難替代數據挖掘的軟體工具。
第四，關系分析。關系分析是大數據環境下的一個新的分析熱點，其最常用的是一款可視化的輕量工具——Gephi。
Gephi能夠解決網路分析的許多需求，功能強大，並且容易學習，因此很受大家的歡迎。但由於它是由Java編寫的，導致處理性能並不是那麼優秀，在處理大規模數據的時候顯得力不從心，所以也是有著自己的局限性。
上面四種軟體，就是筆者為大家盤點的在大數據行業中常用到的軟體工具了，這些工具的功能都是比較強大的，雖然有著不少的局限性，但由於大數據行業分工比較明確，所以也能使用。希望大家能從筆者的文章中，獲取一些幫助。

❸ 大數據專業需要用到什麼軟體啊

當前大數據應用尚處於初級階段，根據大數據分析預測未來、指導實踐的深層次應用將成為發展重點。各大互聯網公司都在囤積大數據處理人才，從業人員的薪資待遇也很不錯。

這里介紹一下大數據要學習和掌握的知識與技能：

①java：一門面向對象的計算機編程語言，具有功能強大和簡單易用兩個特徵。

②spark：專為大規模數據處理而設計的快速通用的計算引擎。

③SSM：常作為數據源較簡單的web項目的框架。

④Hadoop：分布式計算和存儲的框架，需要有java語言基礎。

⑤spring cloud：一系列框架的有序集合，他巧妙地簡化了分布式系統基礎設施的開發。

⑤python：一個高層次的結合了解釋性、編譯性、互動性和面向對象的腳本語言。

互聯網行業目前還是最熱門的行業之一，學習IT技能之後足夠優秀是有機會進入騰訊、阿里、網易等互聯網大廠高薪就業的，發展前景非常好，普通人也可以學習。

想要系統學習，你可以考察對比一下開設有相關專業的熱門學校，好的學校擁有根據當下企業需求自主研發課程的能力，能夠在校期間取得大專或本科學歷，中博軟體學院、南京課工場、南京北大青鳥等開設相關專業的學校都是不錯的，建議實地考察對比一下。

祝你學有所成，望採納。

❹ 漫談工業大數據9：開源工業大數據軟體簡介（上）

今天真是一個美好的時代，有無數的開源系統可以為我們提供服務，現在有許多開發軟體可以用到工業大數據中，當然很多系統還不成熟，應用到工業中還需要小心，並且需要開發人員對其進行一定的優化和調整。下面就簡單介紹一些開源的大數據工具軟體，看看有哪些能夠應用到工業大數據領域。

下面這張圖是我根據網上流傳的一張開源大數據軟體分類圖整理的：

我們可以把開源大數據軟體分成幾類，有一些可以逐步應用到工業大數據領域，下面就一一介紹一下這些軟體。（以下系統介紹大都來源於網路）

1、數據存儲類

（1）關系資料庫MySQL

這個就不用太多介紹了吧，關系型資料庫領域應用最廣泛的開源軟體，目前屬於 Oracle 旗下產品。

（2）文件資料庫Hadoop

Hadoop是大數據時代的明星產品，它最大的成就在於實現了一個分布式文件系統（Hadoop Distributed FileSystem），簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的硬體上，而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應用程序。

Hadoop可以在工業大數據應用中用來作為底層的基礎資料庫，由於它採用了分布式部署的方式，如果是私有雲部署，適用於大型企業集團。如果是公有雲的話，可以用來存儲文檔、視頻、圖像等資料。

（3）列資料庫Hbase

HBase是一個分布式的、面向列的開源資料庫，HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系資料庫，它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。

基於Hbase開發的OpenTSDB，可以存儲所有的時序（無須采樣）來構建一個分布式、可伸縮的時間序列資料庫。它支持秒級數據採集所有metrics，支持永久存儲，可以做容量規劃，並很容易的接入到現有的報警系統里。

這樣的話，它就可以替代在工業領域用得最多的實時資料庫。

（4）文檔資料庫MongoDB

MongoDB是一個介於關系資料庫和非關系資料庫之間的產品，是非關系資料庫當中功能最豐富，最像關系資料庫的。他支持的數據結構非常鬆散，是類似json的bson格式，因此可以存儲比較復雜的數據類型。Mongo最大的特點是他支持的查詢語言非常強大，其語法有點類似於面向對象的查詢語言，幾乎可以實現類似關系資料庫單表查詢的絕大部分功能，而且還支持對數據建立索引。

MongoDB適合於存儲工業大數據中的各類文檔，包括各類圖紙、文檔等。

（5）圖資料庫Neo4j/OrientDB

圖資料庫不是存放圖片的，是基於圖的形式構建的數據系統。

Neo4j是一個高性能的,NOSQL圖形資料庫，它將結構化數據存儲在網路上而不是表中。它是一個嵌入式的、基於磁碟的、具備完全的事務特性的Java持久化引擎，但是它將結構化數據存儲在網路(從數學角度叫做圖)上而不是表中。Neo4j也可以被看作是一個高性能的圖引擎，該引擎具有成熟資料庫的所有特性。程序員工作在一個面向對象的、靈活的網路結構下而不是嚴格、靜態的表中——但是他們可以享受到具備完全的事務特性、 企業級 的資料庫的所有好處。

OrientDB是兼具文檔資料庫的靈活性和圖形資料庫管理 鏈接 能力的可深層次擴展的文檔-圖形資料庫管理系統。可選無模式、全模式或混合模式下。支持許多高級特性，諸如ACID事務、快速索引，原生和SQL查詢功能。可以JSON格式導入、導出文檔。若不執行昂貴的JOIN操作的話，如同關系資料庫可在幾毫秒內可檢索數以百記的鏈接文檔圖。

這些資料庫都可以用來存儲非結構化數據。

2、數據分析類

（1）批處理MapRece/Spark

MapRece是一種編程模型，用於大規模數據集（大於1TB）的並行運算。概念"Map（映射）"和"Rece（歸約）"，是它們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統上。 當前的軟體實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定並發的Rece（歸約）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

Apache Spark 是專為大規模數據處理而設計的快速通用的計算引擎。Spark 是一種與 Hadoop 相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。盡管創建 Spark 是為了支持分布式數據集上的迭代作業，但是實際上它是對 Hadoop 的補充，可以在 Hadoop 文件系統中並行運行。

這些大數據的明星產品可以用來做工業大數據的處理。

（2）流處理Storm

Storm是一個開源的分布式實時計算系統，可以簡單、可靠的處理大量的數據流。Storm有很多使用場景：如實時分析，在線機器學習，持續計算，分布式RPC，ETL等等。Storm支持水平擴展，具有高容錯性，保證每個消息都會得到處理，而且處理速度很快（在一個小集群中，每個結點每秒可以處理數以百萬計的消息）。Storm的部署和運維都很便捷，而且更為重要的是可以使用任意編程語言來開發應用。

（3）圖處理Giraph

Giraph是什麼？Giraph是Apache基金會開源項目之一，被定義為迭代式圖處理系統。他架構在Hadoop之上，提供了圖處理介面，專門處理大數據的圖問題。

Giraph的存在很有必要，現在的大數據的圖問題又很多，例如表達人與人之間的關系的有社交網路，搜索引擎需要經常計算網頁與網頁之間的關系，而map-rece介面不太適合實現圖演算法。

Giraph主要用於分析用戶或者內容之間的聯系或重要性。

（4）並行計算MPI/OpenCL

OpenCL（全稱Open Computing Language，開放運算語言）是第一個面向 異構系統 通用目的並行編程的開放式、免費標准，也是一個統一的編程環境，便於軟體開發人員為高性能計算 伺服器 、桌面計算系統、手持設備編寫高效輕便的代碼，而且廣泛適用於多核心處理器(CPU)、圖形處理器(GPU)、Cell類型架構以及數字信號處理器(DSP)等其他並行處理器，在 游戲 、 娛樂 、科研、醫療等各種領域都有廣闊的發展前景。

（5）分析框架Hive

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapRece任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapRece統計，不必開發專門的MapRece應用，十分適合數據倉庫的統計分析。

（6）分析框架Pig

Apache Pig 是apache平台下的一個免費開源項目，Pig為大型數據集的處理提供了更高層次的抽象，很多時候數據的處理需要多個MapRece過程才能實現，使得數據處理過程與該模式匹配可能很困難。有了Pig就能夠使用更豐富的數據結構。[2]

Pig LatinPig Latin 是一個相對簡單的語言，一條語句 就是一個操作，與資料庫的表類似，可以在關系資料庫中找到它（其中，元組代錶行，並且每個元組都由欄位組成）。

Pig 擁有大量的數據類型，不僅支持包、元組和映射等高級概念，還支持簡單的數據類型，如 int、long、float、double、chararray 和 bytearray。並且，還有一套完整的比較運算符，包括使用正則表達式的豐富匹配模式。

❺ 大數據專業都需要學習哪些軟體啊

大數據處理分析能力在21世紀至關重要。使用正確的大數據工具是企業提高自身優勢、戰勝競爭對手的必要條件。下面讓我們來了解一下最常用的30種大數據工具，緊跟大數據發展腳步。

第一部分、數據提取工具
Octoparse是一種簡單直觀的網路爬蟲，可以從網站上直接提取數據，不需要編寫代碼。無論你是初學者、大數據專家、還是企業管理層，都能通過其企業級的服務滿足需求。為了方便操作，Octoparse還添加了涵蓋30多個網站的「任務模板 (Task Templates)」，操作簡單易上手。用戶無需任務配置即可提取數據。隨著你對Octoparse的操作更加熟悉，你還可以使用其「向導模式 (Wizard Mode)」來構建爬蟲。除此之外，大數據專家們可以使用「高級模式 (Advanced Mode)」在數分鍾內提取企業批量數據。你還可以設置「自動雲提取 (Scheled Cloud Extraction)」，以便實時獲取動態數據，保持跟蹤記錄。

02

Content Graber

Content Graber是比較進階的網路爬網軟體，具有可用於開發、測試和生產伺服器的編程操作環境。用戶可以使用C#或VB.NET調試或編寫腳本來構建爬蟲。Content Graber還允許你在爬蟲的基礎上添加第三方擴展軟體。憑借全面的功能，Content Grabber對於具有基本技術知識的用戶來說功能極其強大。
Import.io是基於網頁的數據提取工具。Import.io於2016年首次啟動，現已將其業務模式從B2C轉變為B2B。2019年，Import.io並購了Connotate，成為了一個網路數據集成平台 (Web Data Integration Platform)。憑借廣泛的網路數據服務，Import.io成為了商業分析的絕佳選擇。
Parsehub是基於網頁的數據爬蟲。它可以使用AJax，JavaScript等等從網站上提取動態的的數據。Parsehub提供為期一周的免費試用，供用戶體驗其功能。
Mozenda是網路數據抓取軟體，提供企業級數據抓取服務。它既可以從雲端也可以從內部軟體中提取可伸縮的數據。
第二部分、開源數據工具

01Knime

KNIME是一個分析平台，可以幫助你分析企業數據，發現潛在的趨勢價值，在市場中發揮更大潛能。KNIME提供Eclipse平台以及其他用於數據挖掘和機器學習的外部擴展。KNIME為數據分析師提供了2,000多個模塊。

02OpenRefine（過去的Google Refine）是處理雜亂數據的強有力工具，可用於清理、轉換、鏈接數據集。藉助其分組功能，用戶可以輕松地對數據進行規范化。

03R-Programming

R大家都不陌生，是用於統計計算和繪制圖形的免費軟體編程語言和軟體環境。R語言在數據挖掘中很流行，常用於開發統計軟體和數據分析。近年來，由於其使用方便、功能強大，得到了很大普及。

04RapidMiner

與KNIME相似，RapidMiner通過可視化程序進行操作，能夠進行分析、建模等等操作。它通過開源平台、機器學習和模型部署來提高數據分析效率。統一的數據科學平台可加快從數據准備到實施的數據分析流程，極大地提高了效率。
第三部分、數據可視化工具

01

Datawrapper

Microsoft PowerBI既提供本地服務又提供雲服務。它最初是作為Excel附加組件引入的，後來因其強大的功能而廣受歡迎。截至目前，它已被視為數據分析領域的領頭羊，並且可以提供數據可視化和商業智能功能，使用戶能夠以較低的成本輕松創建美觀的報告或BI儀錶板。

02

Solver

Solver專用於企業績效管理 (CPM) 數據可視化。其BI360軟體既可用於雲端又可用於本地部署，該軟體側重於財務報告、預算、儀錶板和數據倉庫的四個關鍵分析領域。

03

Qlik

Qlik是一種自助式數據分析和可視化工具。可視化的儀錶板可幫助公司有效地「理解」其業務績效。
04

Tableau Public



Tableau是一種互動式數據可視化工具。與大多數需要腳本的可視化工具不同，Tableau可幫助新手克服最初的困難並動手實踐。拖放功能使數據分析變得簡單。除此之外，Tableau還提供了入門工具包和豐富的培訓資源來幫助用戶創建報告。

05

Google Fusion Tables

Fusion Table是Google提供的數據管理平台。你可以使用它來收集，可視化和共享數據。Fusion Table與電子表格類似，但功能更強大、更專業。你可以通過添加CSV，KML和電子表格中的數據集與同事進行協作。你還可以發布數據作品並將其嵌入到其他網路媒體資源中。

06

Infogram

Infogram提供了超過35種互動式圖表和500多種地圖，幫助你進行數據可視化。多種多樣的圖表（包括柱形圖，條形圖，餅形圖和文字雲等等）一定會使你的聽眾印象深刻。

第四部分、情感分析工具

01

HubSpot』s ServiceHub

HubSpot具有客戶反饋工具，可以收集客戶反饋和評論，然後使用自然語言處理 (NLP) 分析數據以確定積極意圖或消極意圖，最終通過儀錶板上的圖形和圖表將結果可視化。你還可以將HubSpot』s ServiceHub連接到CRM系統，將調查結果與特定聯系人聯系起來。這樣，你可以識別不滿意的客戶，改善服務，以增加客戶保留率。

02

Semantria

Semantria是一款從各種社交媒體收集帖子、推文和評論的工具。Semantria使用自然語言處理來解析文本並分析客戶的態度。通過Semantria，公司可以了解客戶對於產品或服務的感受，並提出更好的方案來改善產品或服務。

03

Trackur

Trackur的社交媒體監控工具可跟蹤提到某一用戶的不同來源。它會瀏覽大量網頁，包括視頻、博客、論壇和圖像，以搜索相關消息。用戶可以利用這一功能維護公司聲譽，或是了解客戶對品牌和產品的評價。

04

SAS Sentiment Analysis



SAS Sentiment Analysis是一款功能全面的軟體。網頁文本分析中最具挑戰性的部分是拼寫錯誤。SAS可以輕松校對並進行聚類分析。通過基於規則的自然語言處理，SAS可以有效地對消息進行分級和分類。

05

Hootsuit Insight

Hootsuit Insight可以分析評論、帖子、論壇、新聞站點以及超過50種語言的上千萬種其他來源。除此之外，它還可以按性別和位置對數據進行分類，使用戶可以制定針對特定群體的戰略營銷計劃。你還可以訪問實時數據並檢查在線對話。

第五部分、資料庫

01

Oracle



毫無疑問，Oracle是開源資料庫中的佼佼者，功能豐富，支持不同平台的集成，是企業的最佳選擇。並且，Oracle可以在AWS中輕松設置，是關系型資料庫的可靠選擇。除此之外，Oracle集成信用卡等私人數據的高安全性是其他軟體難以匹敵的。

02

PostgreSQL

PostgreSQL超越了Oracle、MySQL和Microsoft SQL Server，成為第四大最受歡迎的資料庫。憑借其堅如磐石的穩定性，它可以處理大量數據。

03

Airtable

Airtable是基於雲端的資料庫軟體，善於捕獲和顯示數據表中的信息。Airtable提供一系列入門模板，例如：潛在客戶管理、錯誤跟蹤和申請人跟蹤等，使用戶可以輕松進行操作。

04

MariaDB

MariaDB是一個免費的開源資料庫，用於數據存儲、插入、修改和檢索。此外，Maria提供強大的社區支持，用戶可以在這里分享信息和知識。

05

Improvado

Improvado是一種供營銷人員使用自動化儀錶板和報告將所有數據實時地顯示在一個地方的工具。作為營銷和分析領導者，如果你希望在一個地方查看所有營銷平台收集的數據，那麼Inprovado對你再合適不過了。你可以選擇在Improvado儀錶板中查看數據，也可以將其通過管道傳輸到你選擇的數據倉庫或可視化工具中，例如Tableau、Looker、Excel等。品牌，代理商和大學往往都喜歡使用Improvado，以大大節省人工報告時間和營銷花費。

❻ 大數據行業常用的軟體工具有哪些

我們都知道，要想讓工作效率提高，有一個好的工具是很有必要的，這就是老祖宗所說的「工欲善其事，必先利其器」。這句話適用於任何工作，當然大數據也不例外，就目前而言，大數據越來越受到大家的重視，也逐漸成為各個行業研究的重點，如果想搞好大數據，那麼就必須好好選擇工具。當然，大數據行業因為數據量巨大的特點，傳統的工具已經難以應付，所以我們要選擇一個合適的工具，那麼大數據常用的軟體工具有哪些呢？下面我們就給大家介紹一下大數據的工具。
我們在進行大數據分析之前，需要數據挖掘，而對於數據挖掘來說，由於數據挖掘在大數據行業中的重要地位，所以使用的軟體工具更加強調機器學習，常用的軟體工具就是SPSS Modeler。SPSS Modeler主要為商業挖掘提供機器學習的演算法，同時，其數據預處理和結果輔助分析方面也相當方便，這一點尤其適合商業環境下的快速挖掘，但是它的處理能力並不是很強，一旦面對過大的數據規模，它就很難使用。
如果對於傳統分析和商業統計來說，常用的軟體工具有Excel、SPSS和SAS。Excel是一個電子表格軟體，相信很多人都在工作和學習的過程中，都使用過這款軟體。Excel方便好用，容易操作，並且功能多，為我們提供了很多的函數計算方法，因此被廣泛的使用，但它只適合做簡單的統計，一旦數據量過大，Excel將不能滿足要求。SPSS和SAS都是商業統計才會用到的軟體，為我們提供了經典的統計分析處理，能讓我們更好的處理商業問題。同時，SPSS更簡單，但功能相對也較少，而SAS的功能就會更加豐富一點。
如果在大數據可視化這個領域中，最常用目前也是最優秀的軟體莫過於TableAU了。TableAU的主要優勢就是它支持多種的大數據源，還擁有較多的可視化圖表類型，並且操作簡單，容易上手，非常適合研究員使用。不過它並不提供機器學習演算法的支持，因此不難替代數據挖掘的軟體工具。關系分析。關系分析是大數據環境下的一個新的分析熱點，其最常用的是一款可視化的輕量工具——Gephi。Gephi能夠解決網路分析的許多需求，功能強大，並且容易學習，因此很受大家的歡迎。但由於它是由Java編寫的，導致處理性能並不是那麼優秀，在處理大規模數據的時候顯得力不從心，所以也是有著自己的局限性。
關於大數據行業常用的軟體工具我們就給大家介紹到這里了，其實文中介紹的這些工具的功能都是比較強大的，雖然有著不少的局限性，但由於大數據行業分工比較明確，所以也能使用。希望這些工具能夠幫助大家提高工作效率。

❼ 大數據開發工具有哪些

大數據研究的出現，為企業、研究機構、政府決策提供了新的行之有效思路和手段，想要做好大數據的管理和分析，一些大數據開發工具 的使用是必不可少的，以下是大數據開發過程中常用的工具：
1. Apache Hive
Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。
2. Apache Spark
Apache Spark是Hadoop開源生態系統的新成員。它提供了一個比Hive更快的查詢引擎，因為它依賴於自己的數據處理框架而不是依靠Hadoop的HDFS服務。同時，它還用於事件流處理、實時查詢和機器學習等方面。
3. Jaspersoft BI 套件
Jaspersoft包是一個通過資料庫列生成報表的開源軟體。行業領導者發現Jaspersoft軟體是一流的, 許多企業已經使用它來將SQL表轉化為pdf,，這使每個人都可以在會議上對其進行審議。另外，JasperReports提供了一個連接配置單元來替代HBase。
4. Keen IO
Keen IO是個強大的移動應用分析工具。開發者只需要簡單到一行代碼， 就可以跟蹤他們想要的關於他們應用的任何信息。開發者接下來只需要做一些Dashboard或者查詢的工作就可以了。
5. Mortar Data
Mortar Data是專為開發者打造的Hadoop開發平台，它用Pig和Python的組合替代了MapRece以便開發者能簡單地編寫Hadoop管道（Pipeline）。
6. Placed Analytics
利用腳本語言以及API， PlacedAnalytics能夠提供針對移動和網路應用的詳細用戶行為分析。包括， 用戶使用時間和地理位置信息。 這些可以幫助開發者的應用更好地吸引廣告商， 也可以幫助開發者對自己的應用進行改善。
7. Ingres Corp
它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分別導致了Actian Vector和Actian Matrix的創建。它有Apache，Cloudera，Hortonworks以及其他發行版本可供選擇。
8. Talend Open Studio
Talend是一個統一的平台，它通過提供一個統一的，跨企業邊界生命周期管理的環境，使數據管理和應用更簡單便捷。這種設計可以幫助企業構建靈活、高性能的企業架構,在次架構下，集成並啟用百分之百開源服務的分布式應用程序變為可能。
9. Cloudera
Cloudera正在努力為開源Hadoop,提供支持，Hadoop可以作為目標數據倉庫，高效的數據平台，或現有數據倉庫的ETL來源。企業規模可以用作集成Hadoop與傳統數據倉庫的基礎。 Cloudera致力於成為數據管理的「重心」。
10. Pentaho Business Analytics
Pentaho的工具可以連接到NoSQL資料庫，有很多內置模塊，可以把它們拖放到一個圖片上, 然後將它們連接起來。
工具的熟練使用可以起到事半功倍的效果，以上僅僅是一些數據開發過程中常用的工具，對於大數據開發人員來說是需要熟練掌握的，當然，大數據開發 過程中也會需要藉助一些其他的工具，這就需要大數據開發人員 具有發現和解決問題的能力，以及養成善於積累的習慣！

❽ 常用的大數據工具有哪些

大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。

首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。

1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。

2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。

3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;

接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。

1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。

2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。

第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;

1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;

2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。

最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。

1、PowerPoint軟體：大部分人都是用PPT寫報告。

2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;

3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash

❾ 大數據來源有哪些

大數據分析的數據來源有很多種，包括公司或者機構的內部來源和外部來源。分為以下幾類：
1)交易數據。包括POS機數據、信用卡刷卡數據、電子商務數據、互聯網點擊數據、「企業資源規劃」(ERP)系統數據、銷售系統數據、客戶關系管理(CRM)系統數據、公司的生產數據、庫存數據、訂單數據、供應鏈數據等。
2)移動通信數據。能夠上網的智能手機等移動設備越來越普遍。移動通信設備記錄的數據量和數據的立體完整度，常常優於各家互聯網公司掌握的數據。移動設備上的軟體能夠追蹤和溝通無數事件，從運用軟體儲存的交易數據(如搜索產品的記錄事件)到個人信息資料或狀態報告事件(如地點變更即報告一個新的地理編碼)等。
3)人為數據。人為數據包括電子郵件、文檔、圖片、音頻、視頻，以及通過微信、博客、推特、維基、臉書、Linkedin等社交媒體產生的數據流。這些數據大多數為非結構性數據，需要用文本分析功能進行分析。
4)機器和感測器數據。來自感應器、量表和其他設施的數據、定位/GPS系統數據等。這包括功能設備會創建或生成的數據，例如智能溫度控制器、智能電表、工廠機器和連接互聯網的家用電器的數據。來自新興的物聯網(Io T)的數據是機器和感測器所產生的數據的例子之一。來自物聯網的數據可以用於構建分析模型，連續監測預測性行為(如當感測器值表示有問題時進行識別)，提供規定的指令(如警示技術人員在真正出問題之前檢查設備)等。
5)互聯網上的「開放數據」來源，如政府機構，非營利組織和企業免費提供的數據。

❿ 常用的大數據分析軟體有哪些

大數據行業因為數據量巨大的特點，傳統的工具已經難以應付，因此就需要我們使用更為先進的現代化工具，以下是幾款常用軟體：

1、思邁特軟體Smartbi大數據分析平台：定位為一站式滿足所有用戶全面需求場景的大數據分析平台。它融合了BI定義的所有階段，對接各種業務資料庫、數據倉庫和大數據分析平台，進行加工處理、分析挖掘和可視化展現；滿足所有用戶的各種數據分析應用需求，如大數據分析、可視化分析、探索式分析、企業報表平台、應用分享等等。

2、HPCC，（高性能計算與通信）的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。

2、Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。

數據分析工具靠不靠譜，來試試Smartbi,思邁特軟體Smartbi經過多年持續自主研發，凝聚大量商業智能最佳實踐經驗，整合了各行業的數據分析和決策支持的功能需求。滿足最終用戶在企業級報表、數據可視化分析、自助探索分析、數據挖掘建模、AI智能分析等大數據分析需求