网络大数据采集监测平台 2016-03-24 10:27:18 　来源: 阔拓科技

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。IDC曾预测，全球数据总量很可能在2020年增长为现在的50倍。更为惊人的是，其中的非结构化数据，包括所有的社会媒体数据源以及视频流，将会以每年63%的速度增长。在未来的十年中，非结构化数据将占据全球数据总量的90%。

大数据所涉及的资料量规模巨大到无法通过人工在合理时间内达到撷取、管理、处理、并整理成为有用情报。

在大数据时代下，对问题的研究，不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法。

文献在整个互联网数据中只占到3%，局限于文献研究应对不了当前的实际问题解决。

在这一环境下，给以模拟数据为研究对象的社会科学情报研究方式带来了新的挑战。大数据带来的系列变化不得不引起社会科学情报研究的注意，如何研究开发创新大数据视角下的社会科学情报方法和工具，关系到是否具有与大数据时代同步的情报视野。

民众在网络中的言论及使用行为直观反映了社会生活的各方面，从而形成可研究的基础社会数据，我们将其称为泛公众数据云。这个数据集合是大数据中最大、也是最复杂的数据集合，其利用需要对数据的智能化挖掘和专家研判相结合。针对当前以及将来网络中各类情报多渠道、多类型、更新迅速、内容纷杂、数据海量的特征，满足政府的决策情报支撑、企业竞争情报支撑、学术科研单位科研情报支撑、以及各单位的舆情应对需求，需要不间断的快速收集网络大数据，并进行有序整理、数据分析和跟踪，并在此基础上加入专业人员分析。形成从发现、跟踪、分析到解决的全流程方案。

社科网络大数据采集监测平台发挥科研目标和专长，采用搜索引擎技术、文本挖掘技术，自然语言技术、统计语言学、机器人工智能技术等进行开发，形成友好的人机互动协作平台。使用人工参预和智能信息采集结合的方式，按不用业务需求向Internet全网络发出情报采集要求，全网络覆盖的采集情报并进行跟踪。系统对采集到的情报进行排重、计算、归类、初级判断等，根据网络路径、内容要素进行传播分析和趋势分析，从海量情报预测发现热点。