指超过内存 跪求大神交怎样分析超大文件

【指超过内存 跪求大神交怎样分析超大文件】

指超过内存 跪求大神交怎样分析超大文件

文章插图
如何分析超大文件(指超过内存)?导读:各位大神,问个问题求思路 。要求内存中的2G文件A 10G文件B 8G文件是URL列表,每行一个URL 。找出A和B的区别,最后消除重复 。分析处理这种超过内存的大文件 。