畢業(yè)設(shè)計(jì) 情感分析的網(wǎng)絡(luò)輿情熱點(diǎn)分析系統(tǒng)
0 前言
?? 這兩年開(kāi)始畢業(yè)設(shè)計(jì)和畢業(yè)答辯的要求和難度不斷提升，傳統(tǒng)的畢設(shè)題目缺少創(chuàng)新和亮點(diǎn)，往往達(dá)不到畢業(yè)答辯的要求，這兩年不斷有學(xué)弟學(xué)妹告訴學(xué)長(zhǎng)自己做的項(xiàng)目系統(tǒng)達(dá)不到老師的要求。
為了大家能夠順利以及最少的精力通過(guò)畢設(shè)，學(xué)長(zhǎng)分享優(yōu)質(zhì)畢業(yè)設(shè)計(jì)項(xiàng)目，今天要分享的是
?? ?基于情感分析的網(wǎng)絡(luò)輿情熱點(diǎn)分析系統(tǒng)
??學(xué)長(zhǎng)這里給一個(gè)題目綜合評(píng)分(每項(xiàng)滿分5分)
難度系數(shù)：3分
創(chuàng)新點(diǎn)：3分
界面美化：5分
畢設(shè)幫助，選題指導(dǎo)，技術(shù)解答，歡迎打擾，見(jiàn)B站個(gè)人主頁(yè)
https://space.bilibili.com/33886978
1 課題背景
精神文明日益發(fā)展的今天, 出行旅游成為人們的主要休閑方式和社會(huì)經(jīng)濟(jì)活動(dòng), 旅游業(yè)不僅能推動(dòng)多個(gè)產(chǎn)業(yè)的發(fā)展, 調(diào)節(jié)產(chǎn)業(yè)結(jié)構(gòu), 同時(shí)也滿足了人們?nèi)找嬖鲩L(zhǎng)的文化需要。其越來(lái)越成為國(guó)民經(jīng)濟(jì)的重要支撐。相關(guān)數(shù)據(jù)顯示, 疫情平穩(wěn)期間的旅游人數(shù)仍然穩(wěn)中有增。而與之相對(duì)應(yīng)的是海量的無(wú)序化旅游數(shù)據(jù)日益激增。針對(duì)有效旅游數(shù)據(jù)進(jìn)行準(zhǔn)確分析、 合理預(yù)測(cè)有助于制定與旅游發(fā)展相關(guān)的規(guī)劃, 同時(shí)能有效地幫助后續(xù)在旅游設(shè)施分配和資源調(diào)度等方面上制定明智的決策, 發(fā)揮旅游信息價(jià)值的最大化。由此可知, 旅游經(jīng)濟(jì)的發(fā)展與對(duì)數(shù)據(jù)的合理分析是密不可分的。
2 數(shù)據(jù)處理
采用Python爬蟲(chóng)技術(shù)對(duì)某大同市旅游景點(diǎn)數(shù)據(jù)進(jìn)行采集，用Python中的Pandas庫(kù)對(duì)采集到的數(shù)據(jù)進(jìn)行整理, 首先將旅游數(shù)據(jù)轉(zhuǎn)化成DataFrame格式, 再?gòu)亩鄠€(gè)維度和角度進(jìn)行處理分析。使用isnull函數(shù)選取查看缺失值占總數(shù)據(jù)百分比大于90%的列名及其數(shù)值, 認(rèn)為它在數(shù)據(jù)分析中提供極其有限信息, 所以直接刪除。對(duì)缺失數(shù)據(jù)采用fillna函數(shù)根據(jù)數(shù)據(jù)的不同類型進(jìn)行了固定值填充, 異常值(也稱為離群值)檢測(cè)是一個(gè)重要的部分, 用duplicated函數(shù)表示重復(fù)行的布爾系列值, 返回缺失總數(shù)后進(jìn)行去重。 采用選擇(loc)、 分組(groupby)、 連接(merge)、 匯總統(tǒng)計(jì)(mean)等方法進(jìn)行數(shù)據(jù)的統(tǒng)計(jì)與處理。處理完后利用其自帶接口將數(shù)據(jù)存入到mysql數(shù)據(jù)庫(kù)中。
3 文本情感分析
3.1 情感分析-詞庫(kù)搭建
通過(guò)對(duì)大量中文文本及人物會(huì)話分析，發(fā)現(xiàn)文本情感的判定基本上通過(guò)對(duì)通篇的情感詞、程度副詞及否定詞的統(tǒng)計(jì)分布來(lái)判別，因此，我們搭建了基于情感分析的情感詞庫(kù)以及其它輔助詞表。如下圖所示
3.2 文本情感分析實(shí)現(xiàn)
情感傾向性將文本分為正面、負(fù)面、中性三種情感屬性，通常由正、負(fù)面，以及強(qiáng)弱程度來(lái)衡量。本文通過(guò)中文分詞處理，基于情感詞典構(gòu)建情感表，為每一個(gè)分詞打分，從而判斷判別情感傾向，文本情感分析的流程如下圖所示。
3.3 建立情感傾向性分析模型
通過(guò)建立以上基礎(chǔ)情感詞庫(kù)作為分析基礎(chǔ)，我們對(duì)采集的微博網(wǎng)友評(píng)論做情感傾向分析，我們將用戶評(píng)論簡(jiǎn)單的分為三類
正面情緒
負(fù)面情緒
中性
4 數(shù)據(jù)可視化工具
4.1 django框架介紹
數(shù)據(jù)可視化是數(shù)據(jù)處理中的重要部分
Django是一個(gè)基于Web的應(yīng)用框架，由python編寫(xiě)。Web開(kāi)發(fā)的基礎(chǔ)是B/S架構(gòu)，它通過(guò)前后端配合，將后臺(tái)服務(wù)器的數(shù)據(jù)在瀏覽器上展現(xiàn)給前臺(tái)用戶的應(yīng)用。Django本身是基于MVC模型，即Model（模型）+View（視圖）+ ?Controller（控制器）設(shè)計(jì)模式，View模塊和Template模塊組成了它的視圖部分，這種結(jié)構(gòu)使動(dòng)態(tài)的邏輯是剝離于靜態(tài)頁(yè)面處理的。 ?Django框架的Model層本質(zhì)上是一套ORM系統(tǒng)，封裝了大量的數(shù)據(jù)庫(kù)操作API，開(kāi)發(fā)人員不需要知道底層的數(shù)據(jù)庫(kù)實(shí)現(xiàn)就可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行增刪改查等操作。Django強(qiáng)大的QuerySet設(shè)計(jì)能夠?qū)崿F(xiàn)非常復(fù)雜的數(shù)據(jù)庫(kù)查詢操作，且性能接近原生SQL語(yǔ)句。Django支持包括PostgreSQL、My Sql、SQLite、Oracle在內(nèi)的多種數(shù)據(jù)庫(kù)。Django的路由層設(shè)計(jì)非常簡(jiǎn)潔，使得將控制層、模型層和頁(yè)面模板獨(dú)立開(kāi)進(jìn)行開(kāi)發(fā)成為可能?；贒jango的Web系統(tǒng)工程結(jié)構(gòu)示意圖如圖所示。
從圖中可以看到，一個(gè)完整的Django工程由數(shù)個(gè)分應(yīng)用程序組成，每個(gè)分應(yīng)用程序包括四個(gè)部分：
(1)urls路由層：決定Web系統(tǒng)路由結(jié)構(gòu)，控制頁(yè)面間的跳轉(zhuǎn)和數(shù)據(jù)請(qǐng)求路徑
(2)views視圖層：業(yè)務(wù)層，主要進(jìn)行邏輯操作和運(yùn)算，是前端頁(yè)面模板和后端數(shù)據(jù)庫(kù)之間的橋梁。Django框架提供了大量的數(shù)據(jù)庫(kù)操作API，開(kāi)發(fā)人員甚至不需要使用SQL語(yǔ)句即可完成大部分的數(shù)據(jù)庫(kù)操作。
(3)models模型層：Web應(yīng)用連接底層數(shù)據(jù)庫(kù)的關(guān)鍵部分，封裝了數(shù)據(jù)庫(kù)表結(jié)構(gòu)和實(shí)現(xiàn)。開(kāi)發(fā)人員可以在Model層按照Django的指令要求進(jìn)行建表，無(wú)須使用SQL語(yǔ)句或者第三方建表工具進(jìn)行建表。建表的過(guò)程類似于定義變量和抽象編程語(yǔ)言中的類，非常方便。
(4)templates模板層：HTML模板文件，后端數(shù)據(jù)會(huì)填充HTML模板，渲染之后返回給前端請(qǐng)求?？紤]到項(xiàng)目周期盡可能小，盡快完成平臺(tái)的搭建，項(xiàng)目決定采用開(kāi)源的Django框架開(kāi)發(fā)整個(gè)系統(tǒng)的Web應(yīng)用層。
4.2 ECharts
ECharts（Enterprise Charts）是百度開(kāi)源的數(shù)據(jù)可視化工具，底層依賴輕量級(jí)Canvas庫(kù)ZRender。兼容了幾乎全部常用瀏覽器的特點(diǎn)，使它可廣泛用于PC客戶端和手機(jī)客戶端。ECharts能輔助開(kāi)發(fā)者整合用戶數(shù)據(jù)，創(chuàng)新性的完成個(gè)性化設(shè)置可視化圖表。支持折線圖（區(qū)域圖）、柱狀圖（條狀圖）、散點(diǎn)圖（氣泡圖）、K線圖、餅圖（環(huán)形圖）等，通過(guò)導(dǎo)入 js 庫(kù)在 Java Web 項(xiàng)目上運(yùn)行。
5 Django使用echarts進(jìn)行可視化展示
5.1 修改setting.py連接mysql數(shù)據(jù)庫(kù)
# settings.py 文件
DATABASES = {
? ?'default': {
? ? ? ?'ENGINE': 'django.db.backends.sqlite3',
? ? ? ?'NAME': BASE_DIR / 'db.sqlite3',
? ?}
}
5.2 導(dǎo)入數(shù)據(jù)
導(dǎo)入.sqlite3文件，也可以使用超級(jí)用戶在 admin 管理頁(yè)面中添加數(shù)據(jù)
import requests
from django.db import models
# Create your models here.
# 熱點(diǎn)文章
class HotArticle(models.Model):
? ?article_bid = models.CharField('文章BID', max_length=100)
? ?article_uid = models.CharField('文章UID', max_length=100)
? ?article_id = models.CharField('文章ID', max_length=100)
? ?screen_name = models.TextField('用戶昵稱')
? ?text = models.TextField('微博正文')
? ?topics = models.TextField('話題')
? ?publish_time = models.DateTimeField('發(fā)布時(shí)間')
? ?location= models.TextField('發(fā)布位置')
? ?comments_count = models.IntegerField('評(píng)論數(shù)')
? ?reposts_count = models.IntegerField('轉(zhuǎn)發(fā)數(shù)')
? ?publish_tool = models.TextField('發(fā)布工具')
? ?class Meta:
? ? ? ?db_table = "hot_article"
? ? ? ?verbose_name = "熱點(diǎn)文章"
? ? ? ?verbose_name_plural = verbose_name
? ? ? ?ordering = ('id',)
# 用戶評(píng)論
class Comment(models.Model):
? ?article_uid = models.CharField('文章UID', max_length=100)
? ?article_id = models.CharField('文章ID', max_length=100)
? ?username = models.CharField('用戶名', max_length=100)
? ?text = models.TextField('評(píng)論內(nèi)容')
? ?publish_time = models.DateTimeField('發(fā)布時(shí)間')
? ?positive = models.BooleanField('是否積極', null=True, editable=False)
? ?prob = models.FloatField('積極估計(jì)概率', null=True, editable=False)
? ?def save(self, *args, **kwargs):
? ? ? ?from tools.nlpapi import sentiment
? ? ? ?if self.prob is None:
? ? ? ? ? ?prob = sentiment(self.text)
? ? ? ? ? ?self.prob = prob
? ? ? ? ? ?self.positive = prob >= 0.5
? ? ? ?super(Comment, self).save(*args, **kwargs)
? ?class Meta:
? ? ? ?db_table = "comment"
? ? ? ?verbose_name = "用戶評(píng)論"
? ? ? ?verbose_name_plural = verbose_name
? ? ? ?# unique_together = (
? ? ? ?# ? ? ('article_uid', 'article_id'),
? ? ? ?# )
? ? ? ?ordering = ('id',)
5.3 使用echarts可視化展示
設(shè)置靜態(tài)文件目錄（即 static 目錄）
# settings.py 文件
STATICFILES_DIRS=(os.path.join(BASE_DIR,'static'),)
創(chuàng)建如下目錄結(jié)構(gòu)：
js 目錄中為 echarts的 js 文件，大家可以在 echarts官網(wǎng)下載自己需要的版本，index.html 文件內(nèi)容如下
#部分代碼，不完整
<!DOCTYPE html>
<html lang="en">
<head>
? ?<meta charset="UTF-8">
? ?<title>基于情感分析的網(wǎng)絡(luò)輿情熱點(diǎn)評(píng)估與分析系統(tǒng)</title>
? ?<link rel="stylesheet" href="/static/plugins/bootstrap-3.3.7-dist/css/bootstrap.css">
? ?<script type="text/javascript" src="/static/js/jquery.js"></script>
? ?{% block mainHead %}
? ?{% endblock %}
</head>
<body>
{% load static %}
?<nav class="navbar navbar-inverse">
? ?<div class="container-fluid">
? ? ?<!-- Brand and toggle get grouped for better mobile display -->
? ? ?<div class="navbar-header">
? ? ? ? <a class="navbar-brand" href="#">
? ? ? ? ?<img src="{% static 'images/logo.ico' %}" alt="logo" width=24 height=24>
? ? ? ?</a>
? ? ? ?<button type="button" class="navbar-toggle collapsed" data-toggle="collapse" data-target="#bs-example-navbar-collapse-1" aria-expanded="false">
? ? ? ? ?<span class="sr-only">Toggle navigation</span>
? ? ? ? ?<span class="icon-bar"></span>
? ? ? ? ?<span class="icon-bar"></span>
? ? ? ? ?<span class="icon-bar"></span>
? ? ? ?</button>
? ? ? ?<a class="navbar-brand" href="#">基于情感分析的網(wǎng)絡(luò)輿情熱點(diǎn)評(píng)估與分析系統(tǒng)</a>
? ? ?</div>
? ? ?<!-- Collect the nav links, forms, and other content for toggling -->
? ? ?<div class="collapse navbar-collapse" id="bs-example-navbar-collapse-1">
? ? ? ?<ul class="nav navbar-nav">
? ? ? ? ?<li class="active"><a href="/">首頁(yè) <span class="sr-only">(current)</span></a></li>
? ? ? ? ?<li><a href="/weibo_hot_article/">微博熱點(diǎn)文章</a></li>
? ? ? ? ?<li><a href="/weibo_comment/">用戶評(píng)論情感分析</a></li>
? ? ? ?</ul>
<!-- ? ? ? ?<form class="navbar-form navbar-left">-->
<!-- ? ? ? ? ?<div>-->
<!-- ? ? ? ? ? ?<input type="text" placeholder="Search">-->
<!-- ? ? ? ? ?</div>-->
<!-- ? ? ? ? ?<button type="submit" class="btn btn-default">搜索</button>-->
<!-- ? ? ? ?</form>-->
? ? ? ?<ul class="nav navbar-nav navbar-right">
? ? ? ? ?<li><a href="/admin/" target="_blank">前往后臺(tái)</a></li>
? ? ? ?</ul>
? ? ?</div><!-- /.navbar-collapse -->
? ?</div><!-- /.container-fluid -->
?</nav>
? ?{% block mainbody %}
? ? ? <p>original</p>
? ?{% endblock %}
</body>
</html>
編寫(xiě) views.py 文件，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)傳到前端頁(yè)面中
import json
from multiprocessing import connection
from sqlite3.dbapi2 import IntegrityError
from django.core import serializers
from django.core.serializers.json import DjangoJSONEncoder
from django.forms import model_to_dict
from django.http import HttpResponse, JsonResponse
from django.shortcuts import render
def index(request):
? ?# print(request.method) ?#獲取請(qǐng)求方式GET或POST
? ?return render(request, 'index.html') ?# 回復(fù)一個(gè)頁(yè)面
6 實(shí)現(xiàn)效果
使用的數(shù)據(jù)是處理好后已生成的.sqlite數(shù)據(jù)文件，現(xiàn)在，我們來(lái)看一下展示效果，運(yùn)行
python manage.py runserver
畢設(shè)幫助，選題指導(dǎo)，技術(shù)解答，歡迎打擾，見(jiàn)B站個(gè)人主頁(yè)
https://space.bilibili.com/33886978
