校招數(shù)據(jù)開發(fā)必知

今天跟大家分享一下校招數(shù)據(jù)開發(fā)知識體系。很多校招同學(xué)都會有這樣的困惑“大數(shù)據(jù)內(nèi)容太多了，到底應(yīng)該怎么學(xué)習(xí)？”。

我從實際出發(fā)，基于大數(shù)據(jù)相關(guān)崗位要求及面試構(gòu)成來看一看校招數(shù)據(jù)開發(fā)都需要學(xué)習(xí)哪些內(nèi)容，如何高效備戰(zhàn)校招。

1.大數(shù)據(jù)相關(guān)崗位及要求

下圖給出了應(yīng)用領(lǐng)域大數(shù)據(jù)所處的位置及相關(guān)的崗位信息。由于大數(shù)據(jù)涉及到的知識比較廣泛，全部精通是非常具有難度的，因此企業(yè)進行招聘時，往往會細(xì)分大數(shù)據(jù)崗位，對大數(shù)據(jù)相關(guān)崗位有一個整體認(rèn)識，可以幫助我們聚焦大數(shù)據(jù)技術(shù)的中間環(huán)節(jié)，劃定學(xué)習(xí)重點。

數(shù)倉開發(fā)工程師

日常工作以寫SQL為主，搭建離線和實時數(shù)倉。

數(shù)據(jù)倉庫分為離線數(shù)倉和實時數(shù)倉，就目前來說，大多數(shù)企業(yè)還是以離線數(shù)倉為主。不管是離線數(shù)倉還是實時數(shù)倉，SQL都是重中之重。以下是某公司數(shù)倉開發(fā)工程師JD，強調(diào)了coding及SQL能力。

1.離線數(shù)倉重點掌握技能：

—Hadoop：掌握HDFS基本原理、熟悉MapReduce計算流程、掌握Yarn架構(gòu)，熟悉任務(wù)提交流程

—Hive：掌握底層原理，熟練使用HiveQL，并掌握基本調(diào)優(yōu)

—Spark：掌握底層原理，熟練使用

—數(shù)倉理論：掌握基本概念，了解數(shù)倉基本架構(gòu)，掌握數(shù)倉建模方法

2.實時數(shù)倉重點掌握技能：

—Hadoop：大數(shù)據(jù)基礎(chǔ)，實時離線都要掌握；

—Kafka：消息隊列，重點掌握?

—Flink：實時計算框架，重中之重

—HBase：會使用，了解底層原理

—實時數(shù)倉架構(gòu)

大數(shù)據(jù)開發(fā)工程師

大數(shù)據(jù)開發(fā)工程師是大數(shù)據(jù)領(lǐng)域公司招聘最多的崗位*，可以分為兩類：

1.第一類即數(shù)據(jù)開發(fā)，與數(shù)倉開發(fā)工程師職能類似，要求技能基本相同，通常兩個崗位不做明確區(qū)分；

2.第二類進行大數(shù)據(jù)平臺開發(fā)，如開源框架擴展開發(fā)、數(shù)據(jù)中臺開發(fā)等。相較于數(shù)據(jù)開發(fā)，平臺開發(fā)對知識的深度要求更高，需理解組件底層原理并對源碼有一定的了解。

平臺開發(fā)方向重點掌握技能：

—編程語言：重點掌握J(rèn)ava、Scala

—Linux：對Linux有一定的了解，并可以進行簡單shell腳本開發(fā)

—Hadoop：理解底層原理，看懂源碼

—Hive：熟練使用，可以進行二次開發(fā)

—Spark：熟練使用，并了解源碼

—Kafka：熟練使用，理解底層原理

—Flink：熟練使用，并了解源碼

—HBase：熟練使用，理解底層原理

[注*]：后續(xù)章節(jié)將以數(shù)據(jù)開發(fā)工程師崗位為主進行闡述

ETL工程師

ETL即英文單詞抽取、轉(zhuǎn)換、加載的首字母。ETL工程師是對接業(yè)務(wù)和數(shù)據(jù)的交接點，需要處理上下游的關(guān)系，對于上游，需熟悉業(yè)務(wù)系統(tǒng)，對于下游，需要對數(shù)據(jù)進行清洗、整理、融合，交給下游的數(shù)據(jù)開發(fā)人員。

重點掌握技能：

—語言：Java、Python：掌握基本用法，能夠進行開發(fā)????

—Linux：了解Linux系統(tǒng)，掌握基本命令，可以進行shell腳本開發(fā)

—MySQL：熟悉MySQL，具有較強的SQL開發(fā)能力

—Hive：熟悉Hive，具有較強的HiveQL開發(fā)能力

—HDFS：熟悉底層原理，掌握基本操作

數(shù)據(jù)分析工程師

數(shù)據(jù)分析工程師主要工作內(nèi)容是：根據(jù)數(shù)據(jù)和業(yè)務(wù)情況，分析得出結(jié)論、制定業(yè)務(wù)策略或者建立模型，創(chuàng)造新的業(yè)務(wù)價值并支持業(yè)務(wù)高效運轉(zhuǎn)。

重點掌握技能：

—數(shù)學(xué)知識：數(shù)學(xué)知識是數(shù)據(jù)分析師的基礎(chǔ)知識，需要具有統(tǒng)計學(xué)、線性代數(shù)等課程基礎(chǔ)???

—編程語言：掌握Python、R語言

—分析工具：Excel是必須的，還需要掌握Tableau等可視化工具

—數(shù)據(jù)敏感性：對數(shù)據(jù)要有一定的敏感性，看見數(shù)據(jù)就能想到它的用處，能帶來哪些

—SQL能力：大部分公司需要有一定的SQL功底（Mysql、HQL、SparkSQL等）

2.校招面試構(gòu)成

校招技術(shù)面試一般分為以下五個環(huán)節(jié)：

面試的五個環(huán)節(jié)中，至少兩個環(huán)節(jié)圍繞項目或?qū)嵙?xí)展開，首先需要候選人進行項目或?qū)嵙?xí)的整體介紹，面試官根據(jù)簡歷及介紹內(nèi)容進行深挖。針對數(shù)據(jù)開發(fā)崗位，深入項目或?qū)嵙?xí)時，重點內(nèi)容在于：數(shù)倉理論、相關(guān)優(yōu)化及問題解決。

針對數(shù)倉理論，需要重點掌握的內(nèi)容包括：

—掌握數(shù)據(jù)倉庫基本概念、特點，熟悉數(shù)倉中的基本概念

—了解數(shù)倉基本架構(gòu)，掌握數(shù)倉建模方法，理解兩種建模方法的區(qū)別及特點

—理解關(guān)系數(shù)據(jù)模型，掌握三范式（可以舉例說明）

—掌握維度數(shù)據(jù)模型，熟悉建模過程，了解建模特點，掌握星型模型、雪花模型并熟悉各自的特點

—掌握Kimball維度建模，熟悉事實表、維度表設(shè)計，掌握緩慢變化維相關(guān)內(nèi)容

—掌握數(shù)據(jù)質(zhì)量管理

—理解OneData數(shù)據(jù)倉庫方法論，熟悉數(shù)倉分層相關(guān)內(nèi)容（為什么分層、每層主要作用）

—理解數(shù)據(jù)架構(gòu)設(shè)計原則與規(guī)范，理解主題域、數(shù)據(jù)模型設(shè)計原則、了解數(shù)倉開發(fā)規(guī)范（能說出3~5條）

針對優(yōu)化問題，需掌握基本調(diào)優(yōu)、數(shù)據(jù)傾斜問題的處理等，需具備良好的解決問題的能力。

3.重點基礎(chǔ)知識

針對校招，面試的關(guān)注點在于扎實的基礎(chǔ)及良好的學(xué)習(xí)能力。除上述的組件外，還需要掌握計算機基礎(chǔ)知識，并熟練使用至少一門編程語言。

關(guān)于計算機基礎(chǔ)知識，需要重點掌握：計算機網(wǎng)絡(luò)、操作系統(tǒng)、數(shù)據(jù)結(jié)構(gòu)與算法等，如果時間緊迫，也可按照以下重點內(nèi)容進行針對性學(xué)習(xí)：

—計算機網(wǎng)絡(luò)：OSI 七層模型 或 TCP/IP 五層模型 理解每層含義

—數(shù)據(jù)結(jié)構(gòu)：數(shù)組、棧、隊列、鏈表、樹

—算法：各種排序算法、查找算法、動態(tài)規(guī)劃等，多去 LeetCode 刷算法題

—操作系統(tǒng)：進程、線程、IO、調(diào)度、內(nèi)存管理

4.總結(jié)

面對龐大的大數(shù)據(jù)知識體系，如果我們追求廣度，對每個組件都進行學(xué)習(xí)，將會產(chǎn)生大量的時間成本，并且不能保證具有對應(yīng)的應(yīng)用能力。本文通過大數(shù)據(jù)相關(guān)崗位要求、校招面試構(gòu)成介紹了應(yīng)該重點掌握的技能，建議大家根據(jù)需要進行學(xué)習(xí)。

希望可以對大家有所幫助！