Linux培训
达内IT学院
400-996-5531
Linux运维人员你知道Linux中大文件快速处理小的方法有哪些吗?
今天小编要跟大家分享的文章是关于Linux中大文件快速处理小的方法有哪些。相信正在从事Linux相关工作的小伙伴一定都遇到过这种情况，下面就让我们一起来看一看吧!
1.背景
工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)：
2. 采用的方法
a. 方法1
原本打算使用如下脚本，进行简单验证：
!/bin/bash
count=0
cat oriTest.txt | while read data
do
count=$(( $count+1 ))
echo $count
dir=echo "$data" | awk -F "\t" '{print $5}'
if [ -e $dir ];then
echo "$data" >> exist.txt
else
echo "$data" >> noexist.txt
fi
done
原始数据格式如下：
name mark id dir
运行时发现处理5000行需要将近4、5分钟的时间(机器为8核)，果断不行啊，随后打算采用多进程的方法来执行，见方法2
b. 方法2
主要是通过将大文件分为小文件，然后对小文件进行后台遍历读取，脚本如下：
!/bin/bash source ~/.bashrc
判断路径是否存在
readdata(){
cat $1 | while read data
do
dir=echo "$data" | awk -F "\t" '{print $5}'
if [ -e $dir ];then
echo "$data" >> "exist_$1.txt"
else
echo "$data" >> "noexist_$1.txt"
fi
done
}
大文件切分为小文件，生成文件名为xaa,axb等(可以自己命名文件)
split -l 10000 oriTest.txt declare -a files # 声明数组 files=($(ls x*)) # 分割后的小文件名保存数组
遍历，并后台执行
for i in ${files[@]};do
echo $i
readdata $i &
done
以上就是小编今天为大家分享的关于Linux运维人员你知道Linux中大文件快速处理小的方法有哪些吗?的文章，希望本篇文章能够对正在从事Linux相关工作的小伙伴们有所帮助。想要了解更多Linux相关知识记得关注达内Linux培训官网。最后祝愿小伙伴们工作顺利哦!
【免责声明：本文图片及文字信息均由小编转载自网络，旨在分享提供阅读，版权归原作者所有，如有侵权请联系我们进行删除。】
预约申请免费试听课
填写下面表单即可预约申请免费试听！ 怕学不会？助教全程陪读，随时解惑！担心就业？一地学习，可全国推荐就业！
Copyright © Tedu.cn All Rights Reserved 京ICP备08000853号-56 
京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有
选择城市和中心
北京
黑龙江省
吉林省
内蒙古
河北省
陕西省
江苏省
上海
湖北省
四川省
重庆
湖南省
江西省
贵州省
云南省
广西省
广东省
海南省
台湾