更多课程 选择中心

Linux培训
美国上市教育机构

400-111-8989

Linux培训

Linux系统中大文件重定向和管道的效率对比

  • 发布:linux培训
  • 来源:Linux职场
  • 时间:2020-02-09 17:22

今天小编要跟大家分享的文章是关于Linux系统中大文件重定向和管道的效率对比。正在从事Linux相关工作的小伙伴们想要了解更多Linux相关知识来和小编一起看一看文章吧!

Linux系统中大文件重定向和管道的效率对比

# 命令1,管道导入shell> cat huge_dump.sql | mysql -uroot;

# 命令2,重定向导入shell> mysql -uroot < huge_dump.sql;

大家先看一下上面二个命令,假如huge_dump.sql文件很大,然后猜测一下哪种导入方式效率会更高一些?

以下来自@阿里褚霸的分享:

这个问题挺有意思的,我的第一反应是:

没比较过,应该是一样的,一个是cat负责打开文件,一个是bash

这种场景在MySQL运维操作里面应该比较多,所以就花了点时间做了个比较和原理上的分析:

我们先构造场景:

首先准备一个程序b.out来模拟mysql对数据的消耗:

t main(int argc, char *argv[]) while(fread(buf, sizeof(buf), 1, stdin) > 0); return 0;}

$ gcc -o b.out b.c$ ls|./b.out

再来写个systemtap脚本用来方便观察程序的行为。

$ cat test.stpfunction should_log(){ return (execname() == "cat" || execname() == "b.out" || execname() == "bash") ;}probe syscall.open, syscall.close, syscall.read, syscall.write, syscall.pipe, syscall.fork, syscall.execve, syscall.dup, syscall.wait4{ if (!should_log()) next; printf("%s -> %s\n", thread_indent(0), probefunc());} probe kernel.function("pipe_read"), kernel.function("pipe_readv"), kernel.function("pipe_write"), kernel.function("pipe_writev"){ if (!should_log()) next; printf("%s -> %s: file ino %d\n", thread_indent(0), probefunc(), __file_ino($filp));}probe begin { println(":~") }

这个脚本重点观察几个系统调用的顺序和pipe的读写情况,然后再准备个419M的大文件huge_dump.sql,在我们几十G内存的机器很容易在内存里放下:

$ sudo dd if=/dev/urandom of=huge_dump.sql bs=4096 count=102400102400+0 records in102400+0 records out419430400 bytes (419 MB) copied, 63.9886 seconds, 6.6 MB/s

因为这个文件是用bufferio写的,所以它的内容都cache在pagecahce内存里面,不会涉及到磁盘。

好了,场景齐全了,我们接着来比较下二种情况下的速度,第一种管道:

# 第一种管道方式$ time (cat huge_dump.sql|./b.out) real 0m0.596suser 0m0.001ssys 0m0.919s # 第二种重定向方式$ time (./b.out <huge_dump.sql) real 0m0.151suser 0m0.000ssys 0m0.147s

从执行时间数看出来速度有3倍左右的差别了,第二种明显快很多。

是不是有点奇怪?好吧我们来从原来上面分析下,还是继续用数据说话:

这次准备个很小的数据文件,方便观察然后在一个窗口运行stap

$ echo hello > huge_dump.sql$ sudo stap test.stp:~ 0 bash(26570): -> sys_read 0 bash(26570): -> sys_read 0 bash(26570): -> sys_write 0 bash(26570): -> sys_read 0 bash(26570): -> sys_write 0 bash(26570): -> sys_close 0 bash(26570): -> sys_pipe 0 bash(26570): -> sys_pipe 0 bash(26570): -> do_fork 0 bash(26570): -> sys_close 0 bash(26570): -> sys_close 0 bash(26570): -> do_fork 0 bash(13775): -> sys_close 0 bash(13775): -> sys_read 0 bash(13775): -> pipe_read: file ino 20906911 0 bash(13775): -> pipe_readv: file ino 20906911 0 bash(13776): -> sys_close 0 bash(13776): -> sys_close 0 bash(13776): -> sys_close 0 bash(13776): -> do_execve 0 bash(26570): -> sys_close 0 bash(26570): -> sys_close 0 bash(26570): -> sys_close 0 bash(13775): -> sys_close 0 bash(26570): -> sys_wait4 0 bash(13775): -> sys_close 0 bash(13775): -> sys_close 0 b.out(13776): -> sys_close 0 b.out(13776): -> sys_close 0 bash(13775): -> do_execve 0 b.out(13776): -> sys_open 0 b.out(13776): -> sys_close 0 b.out(13776): -> sys_open 0 b.out(13776): -> sys_read 0 b.out(13776): -> sys_close 0 cat(13775): -> sys_close 0 cat(13775): -> sys_close 0 b.out(13776): -> sys_read 0 b.out(13776): -> pipe_read: file ino 20906910 0 b.out(13776): -> pipe_readv: file ino 20906910 0 cat(13775): -> sys_open 0 cat(13775): -> sys_close 0 cat(13775): -> sys_open 0 cat(13775): -> sys_read 0 cat(13775): -> sys_close 0 cat(13775): -> sys_open 0 cat(13775): -> sys_close 0 cat(13775): -> sys_open 0 cat(13775): -> sys_read 0 cat(13775): -> sys_write 0 cat(13775): -> pipe_write: file ino 20906910 0 cat(13775): -> pipe_writev: file ino 20906910 0 cat(13775): -> sys_read 0 b.out(13776): -> sys_read 0 b.out(13776): -> pipe_read: file ino 20906910 0 b.out(13776): -> pipe_readv: file ino 20906910 0 cat(13775): -> sys_close 0 cat(13775): -> sys_close 0 bash(26570): -> sys_wait4 0 bash(26570): -> sys_close 0 bash(26570): -> sys_wait4 0 bash(26570): -> sys_write

stap在收集数据了,我们在另外一个窗口运行管道的情况:

$ cat huge_dump.sql|./b.out

我们从systemtap的日志可以看出:

1. bash fork了2个进程。

2. 然后execve分别运行cat 和 b.out进程, 这二个进程用pipe通信。

3. 数据从由cat从 huge_dump.sql读出,写到pipe,然后b.out从pipe读出处理。

那么再看下命令2重定向的情况:

$ ./b.out < huge_dump.sql stap输出: 0 bash(26570): -> sys_read 0 bash(26570): -> sys_read 0 bash(26570): -> sys_write 0 bash(26570): -> sys_read 0 bash(26570): -> sys_write 0 bash(26570): -> sys_close 0 bash(26570): -> sys_pipe 0 bash(26570): -> do_fork 0 bash(28926): -> sys_close 0 bash(28926): -> sys_read 0 bash(28926): -> pipe_read: file ino 20920902 0 bash(28926): -> pipe_readv: file ino 20920902 0 bash(26570): -> sys_close 0 bash(26570): -> sys_close 0 bash(26570): -> sys_wait4 0 bash(28926): -> sys_close 0 bash(28926): -> sys_open 0 bash(28926): -> sys_close 0 bash(28926): -> do_execve 0 b.out(28926): -> sys_close 0 b.out(28926): -> sys_close 0 b.out(28926): -> sys_open 0 b.out(28926): -> sys_close 0 b.out(28926): -> sys_open 0 b.out(28926): -> sys_read 0 b.out(28926): -> sys_close 0 b.out(28926): -> sys_read 0 b.out(28926): -> sys_read 0 bash(26570): -> sys_wait4 0 bash(26570): -> sys_write 0 bash(26570): -> sys_read

1. bash fork了一个进程,打开数据文件。

2. 然后把文件句柄搞到0句柄上,这个进程execve运行b.out。

3. 然后b.out直接读取数据。

现在就非常清楚为什么二种场景速度有3倍的差别:

命令1,管道方式: 读二次,写一次,外加一个进程上下文切换。

命令2,重定向方式:只读一次。

结论:Linux下大文件重定向效率更高。

以上就是小编今天为大家分享的关于Linux系统中大文件重定向和管道的效率对比的文章,希望本篇文章能够对正在从事Linux相关工作的小伙伴们有所帮助。想要了解更多Linux相关知识记得关注达内Linux培训官网。最后祝愿小伙伴们工作顺利!

【免责声明:本文图片及文字信息均由小编转载自网络,旨在分享提供阅读,版权归原作者所有,如有侵权请联系我们进行删除。】

预约申请免费试听课

填写下面表单即可预约申请免费试听!怕钱不够?可就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可全国推荐就业!

上一篇:Linux系统中的硬件问题及解决办法
下一篇:Linux系统中线程局部存储解析

优秀的Linux运维工程师需要具备哪些能力

Linux运维工程师要掌握的运维管理工具箱

Linux中的常用命令全称及详细讲解(三)

从零开始学Linux运维都要掌握哪些技术

选择城市和中心
黑龙江省

吉林省

河北省

湖南省

贵州省

云南省

广西省

海南省