流程

1.Python爬取去哪兒網(wǎng)全站旅游數(shù)據(jù)約10萬+，存入mysql;

2.使用pandas+numpy/hadoop+mapreduce對mysql中旅游數(shù)據(jù)進行數(shù)據(jù)清洗，使用高德API計算地理信息，最終轉(zhuǎn)為.csv文件上傳hdfs;

3.hive建庫建表導入.csv文件作為數(shù)據(jù)集；

4.一半指標使用離線hive_sql分析完成，一半指標使用實時Spark之Scala完成；

5.分析結(jié)果使用sqoop導入mysql;

6.使用Flask+echarts構(gòu)建可視化大屏；

創(chuàng)新點

大屏可視化、Python爬蟲、高德地圖、Spark實時計算、Hadoop+Hive離線計算全部實現(xiàn)

選裝(如果覺得功能太簡單或者工作量不夠)-->推薦系統(tǒng)、預測系統(tǒng)、知識圖譜、后臺管理

實現(xiàn)界面如下：

https://www.bilibili.com/video/BV18m4y1e7Pj/?spm_id_from=333.999.0.0