传统的数据采集方法包括人工录入、调查问卷、电话随访等方式,大数据时代到来后,一个突出的变化是数据采集的方法有了质的飞跃,下面所介绍的数据采集方式的突破直接改变着大数据应用的场景。
移动互联网的兴起让面向移动设备的数据采集技术有了迅速发展,目前使用最多的常称为Android或iOS的采集SDK(Software Develop Kit),这种技术能帮助统计APP的基础数据,包括用户数、活跃情况、流失比例、使用时长等;用户的位置、安装列表、通讯情况等通过授权也可以采集。网络爬虫是另一类广泛使用的互联网采集技术,常被用于进行大规模全网信息采集、舆情监控、竞品分析等领域。
物联网也和大数据息息相关,因为物联网的关键技术之一是无线射频标签(RFID):当安装有RFID微型标签的读卡器在近距离发出信号时,带有RFID的物品能自动返回其唯一的序列号,这样就能实现自动大批量辨识物品信息的工作。RFID技术解决了物品信息与互联网实现自动连接的问题,结合后续的大数据挖掘工作,能发挥其强大的威力。
在工业制造业里,传感器(Sensor)是另一类常见的大数据采集装置,它能将测量到的信息按一定规律变换为电信号输出,通常用于自动检测和控制等环节。传感器的种类极为丰富:大到机械设备、汽车、飞机、建筑物,小到一部智能手机、一个智能设备,都可以安装很多种传感器,传递温度、压力、位置、位移、光敏、距离、化学感应、生物、磁场等各类信号。未来携带传感器+大数据平台的智能设备将越来越多,基于传感器数据的大数据应用才刚刚起步,如智能医疗,智慧城市等,这方面有着广阔的前景。
凡《网络安全与数据治理》(原《信息技术与网络安全》)录用的文章,如作者没有关于汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权等版权的特殊声明,即视作该文章署名作者同意将该文章的汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权授予本刊,本刊有权授权本刊合作数据库、合作媒体等合作伙伴使用。同时,本刊支付的稿酬已包含上述使用的费用,特此声明。