Blog - Single Post
There are many variations of passages

大数据网络舆情分析模型的构建方法

  • 2020-09-15

伴随着互联网的高速发展,网络信息纷繁复杂、数量庞大难以处理。而传统的以人工分类为基础的处理方式已完全不能够适应如此规模的网络信息处理工作。要做好网络舆情研究与分析这一课题,必须及时面对网络舆情并第一时间对其进行主动控制和疏导。

一、互联网大数据管理平台的模型概括

互联网大数据管理平台根据舆情的前期设定与规划,确定搜索对象,对Web数据进行搜索,对重要信息进行采集,并进行页面分析,对有价值的数据(链接、网页)进行保留,存入事先设定的主题舆情库。通过数据挖掘算法对信息进行分析,最后会得到一定时期内网络所出现的热点信息,并对其进行追踪,得到事件的详细信息。

(一)舆情I/O层面

输入层指互联网搜索、数据源等。随着网络在获取信息方面的便捷性和灵活性的提高,许多信息平台,如论坛、新闻网站爆料平台、博客、微博和政府网站都成为网络舆情的监控源。输出层一般来说指的是前端展示输出,对于互联网大数据管理平台来说,其输出程序主要根据用户需要提供信息,其信息的种类呈现出多样化的特点。

(二)舆情处理层面

1、网络舆情系统信息采集以及预处理方式

网络舆情监控系统需要在了解用户需求的前提下,设定所需主题或目标,并利用人工和自动相结合的信息采集手段完成信息收集的任务。对于已经定位的网络资源,需要知道网络资源是否已进入数据库中,若己保存到数据库,系统需继续进行其他资源的收集。网络舆情信息预处理是网络舆情信息分析系统的准备阶段,能够对网页当中的信息进行数据清洗和分类处理后,形成格式化的数据然后上传到数据库,并进行信息过滤,滤除无关信息,保存重要信息。

2、网络舆情数据存储

舆情数据存储主要包含数据入库、网页快照与附件存储等,舆情数据需要在收集后保存在相应的数据库中,并需要根据不同种类的信息类型,对数据库进行相应的分类。

3、网络舆情语义分析

网络舆情语义分析作为整个系统最重要的模块,能够挖掘出在信息预处理模块中所获得的信息,所运用的技术主要有追踪热点、关联分析与趋势分析等,能够有效实现网络舆情监控和热点追踪的功能。在此过程中,所使用信息分析的方法基于向量空间模型,采用多种组合式的数据挖掘技术和算法,更好地对文本信息分析和处理,保证了整个系统基于用户需求,即使进行策略调整,使整个系统达到运行的最佳状态。

二、网络舆情信息的预处理技术手段

模板配置法、网页的文本结构化信息处理法等方法是主要的网络舆情信息数据的预处理方法,但模板配置法需设定每个信息源的网站模板,使工作量和维护量过大,而网页的文本结构化信息处理法利用页面结构分析与智能节点分析转换的方法,在自动抽取数据后,有效识别与清除网页内的无效内容,所以一般来说,网络舆情系统采用文本结构化处理方法。

Web 网页一般包括关注内容和掺杂内容两部分。关注内容是网页的主要内容,在一个网页当中,其新闻内容、帖子内容等都属于网页的关注内容,而掺杂内容指的是诸如搜索条、广告灯与主体内容无关的信息要素。所以,在信息预处理中,如何快速处理掺杂内容,成为互联网大数据管理平台的重要技术之一。首先利用 HTML 网页标签树实现网页净化,有效地降低网页结构的复杂性,缩减网页空间,从而节省后续分析过程的时间和空间花费。

三、互联网大数据管理平台的语义分析技术

互联网大数据管理平台语义分析技术,主要对各项新闻热点敏感话题等进行分析,是整个网络舆情系统的最关键技术,是影响网络舆情信息分析结果是否准确的重要手段。语义分析技术包含文档特征库、算法库、分析结果库等数据库,并采纳了数据挖掘中的文本分类和文本聚类的算法,对已完成预处理之后的网络舆情信息进行分析和处理,产生相应的分析结果库。而算法库以及算法调度和线程处理是语义分析模块的主要工作

(一)算法库管理

算法库能够有效地为每一处理线程生成一种恰当的算法供算法调度程序进行使用,在接收管理员的设置和查询要求之后,将所设置的特定信息和各种特殊信息要求存储到算法配置信息库中并进行恰当的管理。

(二)算法调度

算法调度主要负责进程的分配以及多线程的管理工作,是整个舆情分析的动力构成。通过各种手段,控制线程的运行。而且系统为每个用户的个人进程进行控制,并可以为一个用户同时处理多个不同的进程。

(三)线程处理

每一个的线程处理,就是一次进行文本分类或文本聚类的过程,其中包括了权值向量的生成、特征选择或特征抽取、文本分类或文本聚类。首先需要通过算法库,确定其中各个部分恰当的算法,每个部分根据其特征,采用一种特定的算法。然后按照事先设定好的时间频度和处理手段,从数据库中抽取相应内容,并进行深层次的分析与处理,最后获得结果后将最终的处理结果存入相应的结果库中,并帮助用户根据自身的特定需要,进行处理结果的查询,并利用恰当的手段和表现方式,将这些分析后的所得结果展现给需要查询的用户。

综合以上的舆情系统介绍分析,北京西盈网络舆情监测系统公司认为本系统的最大优点,便是能够灵活搭配算法和自由处理的架构,真正实现分析和追踪热点的效应,互联网大数据管理平台的核心技术在于舆情的分析和引擎,这些技术手段包括文本分类、文本聚类、观点倾向性辨别等计算机文本信息识别技术,真正实现了热点追踪与分析。