文章图片
文章图片
文章图片
文章图片
今天我们介绍了如何使用pipeline在 Apache Beam 中的文件中读取、写入数据 , 其中“Employees.csv”文件被读取/过滤/写入新文件 。
介绍本文通过适当的pipeline示例解释了如何在Apache Beam中读取和写入文件中的数据 。 从文件中读取数据是通过“ReadFromText”转换完成的 , 写入新文件是通过“WriteToText”转换完成的 。 开始我们解释了如何从文件中读取数据以及如何写入文件 , 在、后半部通过创建一个pipeline , 其中读取“Employees.csv”文件 , 根据年龄过滤 , 提取员工的名字 , 姓氏和年龄pipeline入新文件 。 总体而言 , pipeline如下所示:
从文件中读取【安卓|Apache Beam 处理文件】在本文中 , 我们使用来自数据源的文件 , 我们下载了一个 100 条记录文件并将其命名为“Employees.csv” , 通过“ReadFromText”将从磁盘读取文件 。 下面的代码展示了相同的内容:
输出
写入文件“WriteToText”转换用于将数据写入文件 , 下面的程序从文件中读取数据并写入“out.csv”文件 。
输出
pipelinepipeline代码包含两个函数 , 一个用于过滤员工年龄大于 40 的行 , 第二个用于仅映射员工的名字、姓氏和年龄 。
在这两个函数中 , 我们都基于索引访问记录 。 完整的流程代码如下:
生成文件的内容
概括在文章中 , 我们探讨了如何从文件中读取、写入数据 , 我们还解释了执行过滤、映射数据并将其写入新文件的完整pipeline代码 。
- 小米科技|面对iPad的强势表现,安卓平板也在生产属性上实现着突破?
- 大量安卓 12 新手机受影响,Linux 内核被曝 Dirty Pipe 高危漏洞
- 苹果|安卓厂商痛哭:苹果这次的大招让人难以招架
- 安卓平板|iPad mini 6唯一对手!拯救者Y700平板零点开售:首发2199元起
- 硬盘|华为鸿蒙3.0系统 “脱胎换骨”,将完全脱离安卓,谷歌怕是坐不住了
- 小米科技|安卓手机产品性能排行更新,整体排行变化太大,第一名让人很意外
- 显示器|实话实说,iPhoneSE3发布后,国产安卓机们松了口气
- 苹果|中兴吕钱浩评iPhone SE:某些溢价的安卓手机有压力了
- 安卓|华为迎来转机?中企正式确认消息,5G关键芯片已经供货
- 微软 Win11 安卓子系统 WSA 已支持 H.264 硬件解码