国产精品天干天干,亚洲毛片在线,日韩gay小鲜肉啪啪18禁,女同Gay自慰喷水

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

鎖屏面試題百日百刷-Spark篇(一)

2023-03-10 22:50 作者:zjlala96  | 我要投稿

鎖屏面試題百日百刷,每個工作日堅持更新面試題。鎖屏面試題app、小程序現(xiàn)已上線,官網(wǎng)地址:https://www.demosoftware.cn。已收錄了每日更新的面試題的所有內(nèi)容,還包含特色的解鎖屏幕復(fù)習(xí)面試題、每日編程題目郵件推送等功能。讓你在面試中先人一步!接下來的是今日的面試題:


1.闡述下對Spark的并行度理解

Spark作業(yè)中,各個stage的task的數(shù)量,代表Spark作業(yè)在各個階段stage的并行度。

分為資源并行度(物理并行度)和數(shù)據(jù)并行度(邏輯并行度)

如何設(shè)置Task數(shù)量:

2.如何設(shè)置Application的并行度

如何根據(jù)數(shù)據(jù)量(Task數(shù)目)配置資源

3.Spark有幾種部署方式?請分別簡要論述

1)Local:運行在一臺機器上,通常是練手或者測試環(huán)境。

2)Standalone:構(gòu)建一個基于Mster+Slaves的資源調(diào)度集群,Spark任務(wù)提交給Master運行。是Spark自身的一個調(diào)度系統(tǒng)。

3)Yarn: Spark客戶端直接連接Yarn,不需要額外構(gòu)建Spark集群。有yarn-client和yarn-cluster兩種模式,主要區(qū)別在于:Driver程序的運行節(jié)點。

4)Mesos:國內(nèi)大環(huán)境比較少用。

4.Spark提交作業(yè)參數(shù)(重點)

1)在提交任務(wù)時的幾個重要參數(shù)

executor-cores?—— 每個executor使用的內(nèi)核數(shù),默認(rèn)為1,官方建議2-5個,我們企業(yè)是4個

num-executors ——?啟動executors的數(shù)量,默認(rèn)為2

executor-memory —— executor內(nèi)存大小,默認(rèn)1G

driver-cores —— driver使用內(nèi)核數(shù),默認(rèn)為1

driver-memory —— driver內(nèi)存大小,默認(rèn)512M

2)邊給一個提交任務(wù)的樣式

spark-submit \

--master local[5] \

--driver-cores 2 \

--driver-memory 8g \

--executor-cores 4 \

--num-executors 10 \

--executor-memory 8g \

--class PackageName.ClassName XXXX.jar \

--name "Spark Job Name" \

InputPath \

OutputPath

5.為什么要用Yarn來部署Spark?

因為 Yarn 支持動態(tài)資源配置。Standalone 模式只支持簡單的固定資源分配策略,每個任務(wù)固定數(shù)量的 core,各Job 按順序依次分配在資源,資源不夠的時候就排隊。這種模式比較適合單用戶的情況,多用戶的情境下,會有可能有些用戶的任務(wù)得不到資源。

Yarn 作為通用的種子資源調(diào)度平臺,除了 Spark 提供調(diào)度服務(wù)之外,還可以為其他系統(tǒng)提供調(diào)度,如 Hadoop?MapReduce, Hive 等。

鎖屏面試題百日百刷-Spark篇(一)的評論 (共 條)

分享到微博請遵守國家法律
福泉市| 固安县| 沙坪坝区| 西乌珠穆沁旗| 香格里拉县| 西藏| 云龙县| 西和县| 哈密市| 海伦市| 金湖县| 漳平市| 江源县| 平塘县| 镇赉县| 绥德县| 仪征市| 庆元县| 方山县| 屏东县| 湟中县| 济宁市| 昌图县| 平罗县| 济南市| 航空| 监利县| 清水河县| 铜川市| 含山县| 九龙城区| 靖安县| 尖扎县| 龙游县| 安多县| 舟山市| 普安县| 肃北| 蒙自县| 定州市| 偃师市|