簡介

該項目主要分析深圳通刷卡數(shù)據(jù)，通過大數(shù)據(jù)技術(shù)來研究深圳地鐵客運(yùn)能力及探索優(yōu)化服務(wù)的方向

主要講解Flink流處理實時分析部分，離線部分較簡單，暫時略過

項目流程

采用python請求深圳地鐵數(shù)據(jù)API，將數(shù)據(jù)發(fā)送至Kafka和MySQL。

kafka部分用于實時計算，MySQL部分模仿業(yè)務(wù)數(shù)據(jù)，用于離線分析

Flink連接Kafka進(jìn)行實時統(tǒng)計各站收入情況

將統(tǒng)計的結(jié)果Sink到Mysql進(jìn)行可視化展示

離線部分用sqoop將業(yè)務(wù)數(shù)據(jù)導(dǎo)入到hive中進(jìn)行分析，最終將分析完的數(shù)據(jù)導(dǎo)出到MySQL用于可視化展示

整體使用azkaban進(jìn)行調(diào)度

組件版本

python 3.6.6

java 1.8

scala 2.11

kafka_2.11-2.4.1

zookeeper_3.4.6

flink 1.14.0

hadoop 2.7.6

sqoop 1.4.6

hive 1.2.1

azkaban 2.5.0

mysql 5.7

FineReport 11

運(yùn)行截圖