国产精品天干天干,亚洲毛片在线,日韩gay小鲜肉啪啪18禁,女同Gay自慰喷水

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

SparkSession對象怎么構建?【附詳細代碼】

2023-03-09 16:05 作者:ingemar-  | 我要投稿

在RDD階段,程序的執(zhí)行入口對象是:SparkContext

在Spark 2.0后,推出了SparkSession對象,作為Spark編碼的統(tǒng)一入口對象。

SparkSession對象可以:

- 用于SparkSQL編程作為入口對象

- 用于SparkCore編程,可以通過SparkSession對象中獲取到SparkContext

所以,我們后續(xù)的代碼,執(zhí)行環(huán)境入口對象,統(tǒng)一變更為SparkSession對象

SparkSession:這是一個新入口,取代了原本的SQLContext與HiveContext。對于DataFrame API的用戶來說,Spark常見的混亂源頭來自于使用哪個“context”?,F(xiàn)在使用SparkSession,它作為單個入口可以兼容兩者,注意原本的SQLContext與HiveContext仍然保留,以支持向下兼容。

文檔:

http://spark.apache.org/docs/latest/sql-getting-started.html

1)、SparkSession在SparkSQL模塊中

2)、SparkSession對象實例通過建造者模式構建

SparkSession實現(xiàn)了SQLContext及HiveContext所有功能。SparkSession支持從不同的數(shù)據(jù)源加載數(shù)據(jù),并把數(shù)據(jù)轉(zhuǎn)換成DataFrame,并且支持把DataFrame轉(zhuǎn)換成SQLContext自身中的表,然后使用SQL語句來操作數(shù)據(jù)。SparkSession亦提供了HiveQL以及其他依賴于Hive的功能的支持。

其中①表示導入SparkSession所在的包,②表示建造者模式構建對象和設置屬性

現(xiàn)在,來體驗一下構建執(zhí)行環(huán)境入口對象:SparkSession

構建SparkSession核心代碼

IDEA范例演示:構建SparkSession實例,加載文本數(shù)據(jù),統(tǒng)計條目數(shù)


SparkSession對象怎么構建?【附詳細代碼】的評論 (共 條)

分享到微博請遵守國家法律
甘泉县| 通海县| 英山县| 绥滨县| 曲沃县| 水城县| 焦作市| 庆云县| 辉南县| 安徽省| 银川市| 惠东县| 大石桥市| 江源县| 从化市| 安达市| 尖扎县| 瓮安县| 忻城县| 喀喇沁旗| 科技| 延长县| 巴马| 南部县| 济阳县| 隆德县| 饶平县| 武安市| 兰州市| 蓬安县| 海南省| 通城县| 金川县| 涡阳县| 兴仁县| 扬州市| 沙洋县| 遵义市| 政和县| 昌图县| 黔江区|