Linux培训

快速将Linux 大文件处理小的方法

发布：Linux培训
来源：职场技巧分享
时间：2020-09-24 16:21

今天小编要跟大家分享的文章是关于快速将Linux 大文件处理小的方法。正在从事Linux运维工作的小伙伴们你们了解这个方法吗，来和小编一起看一看吧！

快速将Linux 大文件处理小的方法

1.背景

工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)：

2. 采用的方法

a. 方法1

原本打算使用如下脚本，进行简单验证：

!/bin/bash

count=0

cat oriTest.txt | while read data

count=$(( $count+1 ))

echo $count

dir=echo "$data" | awk -F "\t" '{print $5}'

if [ -e $dir ];then

echo "$data" >> exist.txt

else

echo "$data" >> noexist.txt

done

原始数据格式如下：

name mark id dir

运行时发现处理5000行需要将近4、5分钟的时间(机器为8核)，果断不行啊，随后打算采用多进程的方法来执行，见方法2

b. 方法2

主要是通过将大文件分为小文件，然后对小文件进行后台遍历读取，脚本如下：

!/bin/bash

source ~/.bashrc

判断路径是否存在

readdata(){

cat $1 | while read data

dir=echo "$data" | awk -F "\t" '{print $5}'

if [ -e $dir ];then

echo "$data" >> "exist_$1.txt"

else

echo "$data" >> "noexist_$1.txt"

done

}

大文件切分为小文件，生成文件名为xaa,axb等(可以自己命名文件)

split -l 10000 oriTest.txt

declare -a files # 声明数组

files=($(ls x*)) # 分割后的小文件名保存数组

遍历，并后台执行

for i in ${files[@]};do

echo $i

readdata $i &

done

以上就是小编今天为大家分享的关于快速将Linux 大文件处理小的方法，希望本篇文章能够对正在从事Linux运维工作的小伙伴们有所帮助，想要了解更多Linux相关知识记得关注达内 Linux培训官网，最后祝愿小伙伴们工作顺利，成为一名优秀的Linux运维工程师。

来源：twt社区

整理：大数据肌肉猿

【免责声明：本文图片及文字信息均由小编转载自网络，旨在分享提供阅读，版权归原作者所有，如有侵权请联系我们进行删除。】

预约申请免费试听课

填写下面表单即可预约申请免费试听！怕学不会？助教全程陪读，随时解惑！担心就业？一地学习，可全国推荐就业！

上一篇：Linux运维人员常用的服务器监控工具有哪些

下一篇：送给运维人员的8个编写脚本的建议

相关推荐

: 新能源运维工程师是干什么的

新能源运维工程师是干什么的？新能源运维工程师主要负责新能源发电设施的运行维护工作。这包括但不限于以下几个方面：

: 云计算就业岗位有哪些？

云计算就业岗位有哪些？云计算是当今信息技术领域的一个重要方向，它提供了弹性、高效、可扩展的计算资源和服务。随着企业数字化转型的加速，云计算就业岗位也在不断增长。以下是一些云计算相关的常见就业岗位：

: 学物联网工程好就业吗？

学物联网工程好就业吗？学习物联网工程专业就业前景是广阔的。物联网是信息化和工业化深度融合的重要方向，是新一轮科技革命和产业变革的重要领域，已被我国列为国家战略性新兴产业。随着互联网、大数据、人工智能等技术的不断进步和应用，物联网在生产制造、农业、交通、医疗、家居等多个行业中的应用越来越广泛，因此对物联网专业人才的需求也在不断增加。