什麼是大資料分析？

　　視覺化分析：大資料分析的使用者有大資料分析專家，同時還有普通使用者，但是他們二者對於大資料分析最基本的要求就是視覺化分析，因為視覺化分析能夠直觀的呈現大資料特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單。

　　資料探勘演算法：大資料分析的理論核心就是資料探勘演算法，各種資料探勘的演算法基於不同的資料型別和格式才能更加科學的呈現出資料本身具備的特點，也正是因為這些被全世界統計學家所公認的各種 統計方法，才能深入資料內部，挖掘出公道的價值，另外一個方面也是y因為有這些資料探勘的演算法才能更快的處理大資料。

　　預測性分析能力：大資料分析最重要的應用領域之一就是預測性分析，從大資料種挖掘出特點，透過科學的建立模型，之後便可以透過模型帶入新的資料，從而預測未來的資料。

　　語義引擎：大資料分析廣泛應用於網路資料探勘，可從使用者的檢索關鍵詞，標籤關鍵詞或其他輸入語義，分析，判斷使用者需求。從而實現更好的使用者體驗和廣告匹配。

　　資料質量和資料管理：大資料分析離不開資料質量和資料管理，高質量的資料和有效的資料管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。大資料分析的基礎就是以上5個方面。

　　一般的大資料平臺從平臺搭建到資料分析大概包括以下幾個步驟：

　　Linux系統安裝。分散式計算平臺或元件安裝，當前分散式系統的大多使用的是Hadoop系列開源系統。資料匯入。資料分析。一般包括兩個階段：資料預處理和資料建模分析。資料預處理是為後面的建模分析做準備，主要工作時從海量資料中提取可用特徵，建立大寬表。資料建模分析是針對預處理提取的特徵或資料建模，得到想要的結果。結果視覺化及輸出API。視覺化一般式對結果或部分原始資料做展示。一般有兩種情況，行資料展示，和列查詢展示。

　　第一階段：大資料前沿知識及hadoop入門，大資料前言知識的介紹，課程的介紹，Linux和unbuntu系統基礎，hadoop的單機和偽分佈模式的安裝配置。

　　第二階段：hadoop部署進階。Hadoop叢集模式搭建，hadoop分散式檔案系統HDFS深入剖析。使用HDFS提供的api進行HDFS檔案操作。Mapreduce概念及思想。

　　第三階段：大資料匯入與儲存。mysql資料庫基礎知識，hive的基本語法。hive的架構及設計原理。hive部署安裝與案例。sqoop安裝及使用。sqoop元件匯入到hive。

　　第四階段：Hbase理論與實戰。Hbase簡介。安裝與配置。hbase的資料儲存。專案實戰。

　　第五階段：Spaer配置及使用場景。scala基本語法。spark介紹及發展歷史，spark stant a lone模式部署。sparkRDD詳解。

　　第六階段：spark大資料分析原理。spark核心，基本定義，spark任務排程。sparkstreaming實時流計算。sparkmllib機器學習。sparksql查詢。

　　第七階段：hadoop+spark大資料分析。實戰案例深入解析。hadoop+spark的大資料分析之分類。logistic迴歸與主題推薦。