linux系统调用追踪工具strace

本文目录:

  • strace简介
  • strace的两种启动方式
  • 追踪nginx示例
  • 系统调用返回错误示例
  • 还有哪些系统调用
  • 统计每个系统调用的耗时,调用次数,错误次数
  • 捕获信号
  • 其他

strace简介

strace可用于追踪进程与内核的交互情况,包括系统调用,信号,进程状态等信息。

strace常用于性能分析、问题定位等场景。

strace基于linux内核特性ptrace开发,相当于直接hook了系统调用。这意味着strace可以追踪所有的用户进程,即使没有被追踪程序的源码,或者程序是非debug版本,或者程序日志不完善,都可以通过strace追踪到不少有用信息。

strace的两种启动方式

一种是使用strace启动被追踪的程序,比如:

1
2
# 追踪单次执行的ls命令
$strace ls /etc/nginx/

另一种是追踪已启动的进程,使用-p加上进程号:

1
2
3
$strace -p 14735
strace: Process 14735 attached
...

追踪nginx示例

所有网络IO,文件IO操作,底层都涉及到系统调用,我们用一个nginx示例来演示。

在我的博客服务器上使用strace追踪nginx worker的情况:

1
2
3
4
# 14735是nginx worker的进程号。我的服务器配置比较低,只启动了一个worker进程。
$strace -p 14735
strace: Process 14735 attached
epoll_wait(11,

当没有请求时,strace的打印停留在epoll_wait,等待网络事件。

在我本地向远端服务器发起一个请求:

1
$wget https://pengrl.com/sitemap.xml

strace将打印出一大堆信息,我截取了部分内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
...
# 每个系统调用,都有参数值,返回值

# 可以看到wget客户端的ip和端口,以及该连接对应的文件描述符是5
accept4(8, {sa_family=AF_INET, sin_port=htons(58442), sin_addr=inet_addr("111.196.59.95")}, [16], SOCK_NONBLOCK) = 5
# 使用的是EPOLLET模式
epoll_ctl(11, EPOLL_CTL_ADD, 5, {EPOLLIN|EPOLLRDHUP|EPOLLET, {u32=716806128, u64=93944536471536}}) = 0
# 打开了本地的sitemap.xml文件,并读取了文件内容,共9635字节
open("/data/pengrl.com/sitemap.xml", O_RDONLY|O_NONBLOCK) = 17
pread64(17, "<?xml version=\"1.0\" encoding=\"UT"..., 9635, 0) = 9635
# 向客户端发送了文件内容
write(5, "\27\3\3&\243\372\320\334\241\273\236\241\203\r\221\247\342\350\36\357Q5\276\251/\366\2=\250A\327k"..., 9896) = 9896
# 向日志文件写入了内容
write(3, "111.196.59.95 - - [12/Feb/2020:1"..., 121) = 121
# 使用非阻塞模式
setsockopt(5, SOL_TCP, TCP_NODELAY, [1], 4) = 0
# 关闭了这条连接
close(5) = 0
...

如果想把写入日志的内容全部打印出来,可以使用如下命令:

1
2
# 3是nginx进程写日志的文件描述符
$strace -p 14735 -e write=3

再次wget,得到如下结果:

1
2
3
4
5
6
7
8
9
write(3, "111.196.59.95 - - [12/Feb/2020:1"..., 121) = 121
| 00000 31 31 31 2e 31 39 36 2e 35 39 2e 39 35 20 2d 20 111.196.59.95 - |
| 00010 2d 20 5b 31 32 2f 46 65 62 2f 32 30 32 30 3a 31 - [12/Feb/2020:1 |
| 00020 31 3a 31 35 3a 30 34 20 2b 30 38 30 30 5d 20 22 1:15:04 +0800] " |
| 00030 47 45 54 20 2f 73 69 74 65 6d 61 70 2e 78 6d 6c GET /sitemap.xml |
| 00040 20 48 54 54 50 2f 31 2e 31 22 20 32 30 30 20 39 HTTP/1.1" 200 9 |
| 00050 36 33 35 20 22 2d 22 20 22 57 67 65 74 2f 31 2e 635 "-" "Wget/1. |
| 00060 31 39 2e 31 20 28 64 61 72 77 69 6e 31 35 2e 36 19.1 (darwin15.6 |
| 00070 2e 30 29 22 20 22 2d 22 0a .0)" "-". |

系统调用返回错误示例

比如使用cat命令打开一个不存在的文件:

1
$strace cat /etc/nginx/nginx.conf.notexist

在strace的输出中将看到:

1
2
3
4
5
...
open("/etc/nginx/nginx.conf.notexist", O_RDONLY) = -1 ENOENT (No such file or directory)
...
exit_group(1) = ?
+++ exited with 1 +++

可以看到,open系统调用返回的错误值及对应的错误信息。并且,cat在打开不存在的文件时,exit code是1。如果打开文件成功,exit code则是0。

还有哪些系统调用

strace的-e trace=参数,可以追踪特定系统调用。借由这个参数列表,我们也可以看看还有哪些系统调用:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
-e trace=%desc     Trace all file descriptor related system calls.
%file Trace all system calls which take a file name as an argument.
%fstat Trace fstat and fstatat syscall variants.
%fstatfs Trace fstatfs, fstatfs64, fstatvfs, osf_fstatfs, and osf_fstatfs64 system calls.
%ipc Trace all IPC related system calls.
%lstat Trace lstat syscall variants.
%memory Trace all memory mapping related system calls.
%network Trace all the network related system calls.
%process Trace all system calls which involve process management.
%pure Trace syscalls that always succeed and have no arguments.
%signal Trace all signal related system calls.
%stat Trace stat syscall variants.
%statfs Trace statfs, statfs64, statvfs, osf_statfs, and osf_statfs64 system calls.
%%stat Trace syscalls used for requesting file status.
%%statfs Trace syscalls related to file system statistics.

我们尝试使用一个:

1
2
3
4
5
6
$strace -e trace=memory ls /etc/nginx/

brk(NULL) = 0x11d4000
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f881f8a2000
mmap(NULL, 23250, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7f881f89c000
...

统计每个系统调用的耗时,调用次数,错误次数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
$strace -c ls /etc/nginx/

% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
22.16 0.000082 3 28 mmap
19.19 0.000071 4 18 mprotect
12.70 0.000047 4 11 open
8.65 0.000032 3 10 read
7.57 0.000028 9 3 munmap
6.49 0.000024 12 2 getdents
4.05 0.000015 5 3 write
3.24 0.000012 6 2 2 statfs
2.97 0.000011 1 14 close
2.97 0.000011 1 12 fstat
2.16 0.000008 4 2 1 stat
1.62 0.000006 3 2 ioctl
1.62 0.000006 3 2 1 access
1.35 0.000005 5 1 execve
0.81 0.000003 1 3 brk
0.81 0.000003 3 1 openat
0.54 0.000002 1 2 rt_sigaction
0.27 0.000001 1 1 rt_sigprocmask
0.27 0.000001 1 1 getrlimit
0.27 0.000001 1 1 arch_prctl
0.27 0.000001 1 1 set_tid_address
0.00 0.000000 0 1 set_robust_list
------ ----------- ----------- --------- --------- ----------------
100.00 0.000370 121 4 total

捕获信号

打开一个tcp监听进程:

1
$nc -l 8888

使用strace追踪这个进程:

1
$strace -p $(pidof nc)

kill掉这个进程:

1
$kill -9 $(pidof nc)

strace的输出:

1
2
3
strace: Process 12377 attached
select(5, [3 4], [], NULL, NULL <unfinished ...>
+++ killed by SIGKILL +++

其他

strace还有许多其他的参数,比如常用的-tt可以打印每个系统调用的时间戳,-T可以打印每个系统调用花费的时间。

strace不光能追踪统计系统调用,还能修改系统调用的行为,比如指定某个系统调用返回指定的错误值。

关于更多strace的玩法,可以使用strace -h命令或访问如下两个网站获取更多的信息:

本文完,作者yoko,尊重劳动人民成果,转载请注明原文出处: https://pengrl.com/p/20025/

0%