5.2.1 数据采集的方法和工具 知识点题库

全唐诗一共四万多首，分析采集相关数据的条件：①盛唐时期；②诗人、诗人之间经常称呼对方的别名；③考虑到同名同姓的问题，因此还需要诗人的生卒年的信息。

根据要求，完成答题。

①全唐诗数量较多，一共四万多首，来源分散，存储在互联网不同的服务器与各客户终端。从大数据存储与计算的角度来看，由此可知大数据具有的特征。(单选)

A．精确让位于模糊

B．价值密度低

C．分布式存储

D．变化速度快

②网络上如此海量的关于唐诗的数据，有文字图片、视频、音频等。这些数据种类和格式也不一致，表明各种数据共存于网络中。(多选)

A．结构化

B．半结构化

C．非结构化

D．网状结构

③面对繁杂的数据，学习小组决定研究解密盛唐时期诗人关系，并利用计算机程序从网络中采集诗人别名等相关的文本数据，并以一定的数据结构存储，形成盛唐诗库。存储数据主要有两种方式，一种是，一种是数据云存储。你建议学习小组采用数据存储方式，理由是。

第一步，从互联网中筛选出符合条件的诗人及诗作等文本，整理并形成盛唐诗库；第二步，确定人物关系分析策略，即从唐诗库中搜索、统计诗人或别名的引用次数，确定二人之间的疏密关系，规则是诗的标题和正文中只要提到过对方，那么两者之间的引用关系加1，若一首诗中提到多次对方，只算一次引用；第三步，编写程序并调试验证。

用爬虫程序段(如下图所示)采集数据。根据要求，完成答题。

使用爬虫程序获取文本数据并形成唐诗库文件，所使用的数据采集方法为(选填：系统日志采集法、网络数据采集法、其他数据采集方法)。阅读程序可知，每首诗存放于列表poem[ ]中(以唐诗“春晓”为例，如下表)，采集后的数据保存在poet.txt文件中，该文件是一个(选填：数据库文件、文档文件、图像文件、网页文件)。该数据采集方法可以将非结构化数据从网页中抽取出来，将其存储为统一的数据文件，并以化的方式存储(选填：结构化、半结构化)。

以诗人甲，乙为例，解密二人关系。根据要求，完成答题。

①数据处理过程中要运用一定的分析方法对大量、无序的数据进行整理、分析，挖掘数据内在的结构和规律，从而提取有价值的、有意义的数据。数据分析一般包括特征探索、关联分析、聚类与分类等。让计算机搜索遍历唐诗库中有关甲，乙两位诗人的诗文，统计两位诗，人或别名相互的引用次数，找寻二人之间的关联。这是运用了(选填：特征探索、关联分析、聚类与分类)方法进行数据分析，也是(选填：枚举、二分查找、排序)算法思想去求解这一问题的体现。

②编制计算机程序解决问题的过程中，是编程的核心， 是解决问题的方法和步骤。选用Python程序设计语言编写程序，Python属于(选填：分析问题、设计算法、编写程序、调试运行、机器语言、汇编语言高级语言)。图a示意，使用 (选填：自然语言、流程图、伪代码)进行算法描述，且运用循环控制结构嵌套了控制结构，如果要跳出本次循环体的执行，应使用语句实现跳转。

③阅读程序(图b示意)，程序中以“#”开头的语句，其作用是，程序调试完成，通过“另存为”保存文件，文件后缀名为。

解密盛唐时期诗人关系。根据要求，完成答题。

①数据的可视化以易于理解的方式展示和诠释数据之间的关系、趋势与规律等，使人们更好地理解数据。从常用和实用的维度，数据可视化的呈现类型主要分为探索型和解释型，其中型可以帮助人们发现数据背后的价值，型则把数据简单明了地解释给人们(选填：探索、解释)。数据分析类型不同可视化呈现方式也不同，如关于趋势的分析，可用类型的图表呈现，关于比例的分析，可用类型的图表呈现，关于关系的分析，可用类型的图表呈现。

②学习小组选择用网络关系图呈现盛唐时期诗人社会网络关系(如图所示)。图中，箭头表示诗人之间的引用关系，如李白引用了贺知章，那么就有李白指向贺知章箭头；箭头的粗细程度则表示了诗人之间引用关系的强弱，如李白引用孟浩然的数量达4次，箭头就要粗一些。

③观察图示，从绘制的盛唐的诗人社交关系网络图，尝试推测哪位诗人是盛唐诗人的核心，哪位诗人的影响最大，请简要阐述。(要求100字左右)

④通过对该项目案例的研究学习，请谈谈大数据对学习生活的影响。