目錄
- 1. Spark 與 Hadoop 比較
- 1.1 Haoop 的缺點
- 1.2 相較于Hadoop MR的優(yōu)點
- 2. Spark 生態(tài)系統(tǒng)
- 2.1 大數據處理的三種類型
- 1. 復雜的批量數據處理
- 2. 基于歷史數據的交互式查詢
- 3. 基于實時數據流的數據處理
- 2.2 BDAS架構
- 2.3 Spark 生態(tài)系統(tǒng)
- 3. 基本概念與架構設計
- 3.1 基本概念
- 3.2 運行架構
- 3.3 各種概念之間的相互關系
- 4. Spark運行基本流程
- 5. Spark的部署和應用方式
- 5.1 Spark的三種部署方式
- 5.1.1 Standalone
- 5.1.2 Spark on Mesos
- 5.1.3 Spark on YARN
- 5.2 從Hadoop+Storm架構轉向Spark架構
- Hadoop+Storm架構
- 用Spark架構滿足批處理和流處理需求
- Spark架構的優(yōu)點：
- 5.3 Hadoop和Spark的統(tǒng)一部署
1. Spark 與 Hadoop 比較
1.1 Haoop 的缺點
- 1. 表達能力有限；
- 2. 磁盤IO開銷大；
- 3. 延遲高；
- 4. 任務之間的銜接涉及IO開銷；
- 5. 在前一個任務執(zhí)行完之前，其他任務就無法開始，難以勝任復雜、多階段的計算任務。
1.2 相較于Hadoop MR的優(yōu)點
- 1. Spark的計算模式也屬于MR，但不局限于Map和Reduce操作，它還提供了多種數據集操作類型，編程模式也比Hadoop MR更靈活；
- 2. Spark提供了內存計算，可將中間結果放到內存中，對于迭代運算效率更高；
- 3. Spark 基于DAG的任務調度執(zhí)行機制，要優(yōu)于Hadoop MR的迭代執(zhí)行機制。
|
Spark |
MapReduce |
| 數據存儲結構 |
使用內存構建彈性分布式數據集RDD，對數據進行運算和cache。 |
磁盤HDFS文件系統(tǒng)的split |
| 編程范式 |
DAG（Transformation+Action） |
Map+Reduce |
| 計算中間結果的存儲 |
在內存中維護，存取速度比磁盤高幾個數量級 |
落到磁盤，IO及序列化、反序列化代價大 |
| Task維護方式 |
線程 |
進程 |
| 時間 |
對于小數據集讀取能夠達到亞秒級的延遲 |
需要數秒時間才能啟動任務 |
2. Spark 生態(tài)系統(tǒng)
2.1 大數據處理的三種類型
1. 復雜的批量數據處理
時間跨度在數十分鐘到數小時
Haoop MapReduce
2. 基于歷史數據的交互式查詢
時間跨度在數十秒到數分鐘
Cloudera、Impala 這兩者實時性均優(yōu)于hive。
3. 基于實時數據流的數據處理
時間跨度在數百毫秒到數秒
Storm
2.2 BDAS架構
2.3 Spark 生態(tài)系統(tǒng)
3. 基本概念與架構設計
3.1 基本概念
3.2 運行架構
Spark采用Executor的優(yōu)點：（相比于Hadoop的MR）
- 1. 利用多線程來執(zhí)行具體的任務，減少任務的啟動開銷；
- 2. Executor中有一個BlockManager存儲模塊，會將內存和磁盤共同作為存儲設備，有效減少IO開銷。
3.3 各種概念之間的相互關系
- 一個Application由一個Driver和若干個Job構成
- 一個Job由多個Stage構成
- 一個Stage由多個沒有shuffle關系的Task組成
當執(zhí)行一個Application時，Driver會向集群管理器申請資源，啟動Executor，
并向Executor發(fā)送應用程序代碼和文件，然后在Executor上執(zhí)行Task，運行結束后，
執(zhí)行結果會返回給Driver，或者寫到HDFS或者其他數據庫中。
4. Spark運行基本流程
4.1 運行流程
1. 為應用構建起基本的運行環(huán)境，即由Driver創(chuàng)建一個SparkContext進行資源的申請、任務的分配和監(jiān)控。
2. 資源管理器為Executor分配資源，并啟動Executor進程。
- 3.1 SparkContext根據RDD的依賴關系構建DAG圖，DAG圖提交給DAGScheduler解析成Stage，然后把一個個TaskSet提交給底層調度器TaskScheduler處理。
- 3.2 Executor向SparkContext申請Task，TaskScheduler將Task發(fā)送給Executor運行并提供應用程序代碼。
4. Task在Executor上運行把執(zhí)行結果反饋給TaskScheduler，然后反饋給DAGScheduler，運行完畢后寫入數據并釋放所有資源。
4.2 運行架構特點
1. 每個Application都有自己專屬的Executor進程，并且該進程在Application運行期間一直駐留。Executor進程以多線程的方式運行Task。
2. Spark運行過程與資源管理器無關，只要能夠獲取Executor進程并保持通信即可。
3. Task采用了數據本地性和推測執(zhí)行等優(yōu)化機制。（計算向數據靠攏。）
5. Spark的部署和應用方式
5.1 Spark的三種部署方式
5.1.1 Standalone
類似于MR1.0，slot為資源分配單位，但性能并不好。
5.1.2 Spark on Mesos
Mesos和Spark有一定的親緣關系。
5.1.3 Spark on YARN
mesos和yarn的聯(lián)系
5.2 從Hadoop+Storm架構轉向Spark架構
Hadoop+Storm架構
這種部署方式較為繁瑣。
用Spark架構滿足批處理和流處理需求
Spark用快速的小批量計算模擬流計算，并非真實的流計算。
無法實現毫秒級的流計算，對于需要毫秒級實時響應的企業(yè)應用而言，仍需采用流計算框架Storm等。
Spark架構的優(yōu)點：
- 1. 實現一鍵式安裝和配置，線程級別的任務監(jiān)控和告警；
- 2. 降低硬件集群、軟件維護、任務監(jiān)控和應用開發(fā)的難度；
- 3. 便于做成統(tǒng)一的硬件、計算平臺資源池。
5.3 Hadoop和Spark的統(tǒng)一部署
不同計算框架統(tǒng)一運行在YARN中
好處如下：
- 1. 計算資源按需伸縮；
- 2. 不用負載應用混搭，集群利用率高；
- 3. 共享底層存儲，避免數據跨集群遷移
現狀：
1. Spark目前還是無法取代Hadoop生態(tài)系統(tǒng)中的一些組件所實現的功能。
2. 現有的Hadoop組件開發(fā)的應用，完全遷移到Spark上需要一定的成本。
到此這篇關于Spark簡介以及與Hadoop對比分析的文章就介紹到這了,更多相關Spark與Hadoop內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
