访谈|关于数据采集:你需要了解这些( 二 )


文章插图
3)物理数据
【 访谈|关于数据采集:你需要了解这些】物理数据指的是用户在物理世界产生的数据,例如用户使用手机时手机的各类传感器(指纹传感器:记录用户指纹用于解锁手机或支付等行为,陀螺仪:通过角动量守恒原理记录角速度用于手机导航等行为)
相较于日常应用,物理数据大量存在于传统制造业中,一般有如下几类数据采集方式:
各类传感器:
正如上面提到的手机中各类传感器,传统制造业中的传感器品类繁多,涵盖光敏,气敏,力敏,磁敏,声敏等不同类别的工业传感器,这部分的数据尽管单条数据内容很少,但是频率非常高。
RFID技术:
RFID(Radio Frequency Identification,射频识别)技术是一种非接触式的自动识别技术,通过射频信号自动识别目标对象并获取相关的数据信息。利用射频方式进行非接触双向通信,达到识别目的并交换数据。
RFID技术可识别高速运动物体并可同时识别多个标签,操作快捷方便。如下图所示,我们用手机的NFC读取的电子标签数据,可以看到ISO/IEC 14443-3(Type A),这个是当前电子标签的协议,目前大部分公交卡,一卡通,门禁卡等都是基于ISO 14443 Type A协议的,下方则是该电子标签的详细信息,如果配合专业的读写器及特定的软件可读性会更好,在这里只是为大家展示一下。
访谈|关于数据采集:你需要了解这些
文章插图
由于各类设备品牌类型繁多,厂家和数据接口各异,有可能一套生产线的设备来自于好几个国家,数据采集一直是传统制造业的痛点。
4)APP数据
我们日常生活中,在各类App,Web端应用,小程序上的操作行为称为事件,例如打开某个电商App→浏览某个商品→查看商品信息,评论→放入购物车→下单→支付→查看物流信息→确认收货→对商品进行评价。当事件被触发时,我们想进行监控,那么只需要研发为事件植入监控代码,这样每当事件触发时,后台就可以采集该事件的相关信息,上传到服务器。
关于数据埋点,是互联网业务中比较重要的一部分,由于篇幅所限,这里简单的介绍一下,这里笔者现挖个坑,后续会专门出一个系列,详细与读者对数据埋点进行探讨与交流。一般来说,埋点类型分为Web埋点和App埋点,其中主要的埋点技术又分为有埋点技术,无埋点技术,可视化埋点等。

  • 有埋点技术:开发手动在程序中写代码实现埋点,通过用户触发某个行为后,程序自动发送数据;
  • 无埋点技术:前端自动采集全部事件,当事件触发时就会调用相关接口上报数据,流量与采集数量教育庞大。
  • 可视化埋点:近年主流的埋点趋势,以前端可视化的方式,通过可视化的界面拖拽配置实现,由于活动控件元素都带有唯一标识。通过埋点配置后台,将元素与要采集事件关联起来,可以自动生成埋点代码嵌入到页面中。
2. 线下采集关于线下采集数据,笔者认为更倾向于主观性数据的采集,因为定量,客观的数据公共场所面对面的线下采集,易使被采集者产生戒备感,非常容易造成数据采集准确程度非常差,影响数据质量,比如:笔者读书时参与过线下的数据采集,某市交通规划部门在火车站,地铁换乘站等交通枢纽随访乘客去填写出行调查问卷,尽管问卷设计的如何规范与精良,在填写完成后进行奖励等方法,乘客填写接受程度依旧很低。
所以后期此种采集方式也在调整改革,例如:定量,客观数据采用线上收集,通过与三大运营商合作,利用手机信令与基站的关系精确获得乘客们的出行记录。