linux系统调用追踪工具strace

发表于 | 分类于
| 字数统计: 1.6k

本文目录：

  • strace简介
  • strace的两种启动方式
  • 追踪nginx示例
  • 系统调用返回错误示例
  • 还有哪些系统调用
  • 统计每个系统调用的耗时，调用次数，错误次数
  • 捕获信号
  • 其他

strace简介

strace可用于追踪进程与内核的交互情况，包括系统调用，信号，进程状态等信息。

strace常用于性能分析、问题定位等场景。

strace基于linux内核特性ptrace开发，相当于直接hook了系统调用。这意味着strace可以追踪所有的用户进程，即使没有被追踪程序的源码，或者程序是非debug版本，或者程序日志不完善，都可以通过strace追踪到不少有用信息。

strace的两种启动方式

一种是使用strace启动被追踪的程序，比如：

1
2
# 追踪单次执行的ls命令
$strace ls /etc/nginx/

另一种是追踪已启动的进程，使用-p加上进程号：

1
2
3
$strace -p 14735
strace: Process 14735 attached
...

追踪nginx示例

所有网络IO，文件IO操作，底层都涉及到系统调用，我们用一个nginx示例来演示。

在我的博客服务器上使用strace追踪nginx worker的情况：

1
2
3
4
# 14735是nginx worker的进程号。我的服务器配置比较低，只启动了一个worker进程。
$strace -p 14735
strace: Process 14735 attached
epoll_wait(11,

当没有请求时，strace的打印停留在epoll_wait，等待网络事件。

在我本地向远端服务器发起一个请求：

1
$wget https://pengrl.com/sitemap.xml

strace将打印出一大堆信息，我截取了部分内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
...
# 每个系统调用，都有参数值，返回值

# 可以看到wget客户端的ip和端口，以及该连接对应的文件描述符是5
accept4(8, {sa_family=AF_INET, sin_port=htons(58442), sin_addr=inet_addr("111.196.59.95")}, [16], SOCK_NONBLOCK) = 5
# 使用的是EPOLLET模式
epoll_ctl(11, EPOLL_CTL_ADD, 5, {EPOLLIN|EPOLLRDHUP|EPOLLET, {u32=716806128, u64=93944536471536}}) = 0
# 打开了本地的sitemap.xml文件，并读取了文件内容，共9635字节
open("/data/pengrl.com/sitemap.xml", O_RDONLY|O_NONBLOCK) = 17
pread64(17, "<?xml version=\"1.0\" encoding=\"UT"..., 9635, 0) = 9635
# 向客户端发送了文件内容
write(5, "\27\3\3&\243\372\320\334\241\273\236\241\203\r\221\247\342\350\36\357Q5\276\251/\366\2=\250A\327k"..., 9896) = 9896
# 向日志文件写入了内容
write(3, "111.196.59.95 - - [12/Feb/2020:1"..., 121) = 121
# 使用非阻塞模式
setsockopt(5, SOL_TCP, TCP_NODELAY, [1], 4) = 0
# 关闭了这条连接
close(5)                                = 0
...

如果想把写入日志的内容全部打印出来，可以使用如下命令：

1
2
# 3是nginx进程写日志的文件描述符
$strace -p 14735 -e write=3

再次wget，得到如下结果：

1
2
3
4
5
6
7
8
9
write(3, "111.196.59.95 - - [12/Feb/2020:1"..., 121) = 121
 | 00000  31 31 31 2e 31 39 36 2e  35 39 2e 39 35 20 2d 20  111.196.59.95 -  |
 | 00010  2d 20 5b 31 32 2f 46 65  62 2f 32 30 32 30 3a 31  - [12/Feb/2020:1 |
 | 00020  31 3a 31 35 3a 30 34 20  2b 30 38 30 30 5d 20 22  1:15:04 +0800] " |
 | 00030  47 45 54 20 2f 73 69 74  65 6d 61 70 2e 78 6d 6c  GET /sitemap.xml |
 | 00040  20 48 54 54 50 2f 31 2e  31 22 20 32 30 30 20 39   HTTP/1.1" 200 9 |
 | 00050  36 33 35 20 22 2d 22 20  22 57 67 65 74 2f 31 2e  635 "-" "Wget/1. |
 | 00060  31 39 2e 31 20 28 64 61  72 77 69 6e 31 35 2e 36  19.1 (darwin15.6 |
 | 00070  2e 30 29 22 20 22 2d 22  0a                       .0)" "-".        |

系统调用返回错误示例

比如使用cat命令打开一个不存在的文件：

1
$strace cat /etc/nginx/nginx.conf.notexist

在strace的输出中将看到：

1
2
3
4
5
...
open("/etc/nginx/nginx.conf.notexist", O_RDONLY) = -1 ENOENT (No such file or directory)
...
exit_group(1)                           = ?
+++ exited with 1 +++

可以看到，open系统调用返回的错误值及对应的错误信息。并且，cat在打开不存在的文件时，exit code是1。如果打开文件成功，exit code则是0。

还有哪些系统调用

strace的-e trace=参数，可以追踪特定系统调用。借由这个参数列表，我们也可以看看还有哪些系统调用：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
-e trace=%desc     Trace all file descriptor related system calls.
         %file     Trace all system calls which take a file name as an argument.
         %fstat    Trace fstat and fstatat syscall variants.
         %fstatfs  Trace fstatfs, fstatfs64, fstatvfs, osf_fstatfs, and osf_fstatfs64 system calls.
         %ipc      Trace all IPC related system calls.
         %lstat    Trace lstat syscall variants.
         %memory   Trace all memory mapping related system calls.
         %network  Trace all the network related system calls.
         %process  Trace all system calls which involve process management.
         %pure     Trace syscalls that always succeed and have no arguments.
         %signal   Trace all signal related system calls.
         %stat     Trace stat syscall variants.
         %statfs   Trace statfs, statfs64, statvfs, osf_statfs, and osf_statfs64 system calls.
         %%stat    Trace syscalls used for requesting file status.
         %%statfs  Trace syscalls related to file system statistics.

我们尝试使用一个：

1
2
3
4
5
6
$strace -e trace=memory ls /etc/nginx/

brk(NULL)                               = 0x11d4000
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f881f8a2000
mmap(NULL, 23250, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7f881f89c000
...

统计每个系统调用的耗时，调用次数，错误次数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
$strace -c ls /etc/nginx/

% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 22.16    0.000082           3        28           mmap
 19.19    0.000071           4        18           mprotect
 12.70    0.000047           4        11           open
  8.65    0.000032           3        10           read
  7.57    0.000028           9         3           munmap
  6.49    0.000024          12         2           getdents
  4.05    0.000015           5         3           write
  3.24    0.000012           6         2         2 statfs
  2.97    0.000011           1        14           close
  2.97    0.000011           1        12           fstat
  2.16    0.000008           4         2         1 stat
  1.62    0.000006           3         2           ioctl
  1.62    0.000006           3         2         1 access
  1.35    0.000005           5         1           execve
  0.81    0.000003           1         3           brk
  0.81    0.000003           3         1           openat
  0.54    0.000002           1         2           rt_sigaction
  0.27    0.000001           1         1           rt_sigprocmask
  0.27    0.000001           1         1           getrlimit
  0.27    0.000001           1         1           arch_prctl
  0.27    0.000001           1         1           set_tid_address
  0.00    0.000000           0         1           set_robust_list
------ ----------- ----------- --------- --------- ----------------
100.00    0.000370                   121         4 total

捕获信号

打开一个tcp监听进程：

1
$nc -l 8888

使用strace追踪这个进程：

1
$strace -p $(pidof nc)

kill掉这个进程：

1
$kill -9 $(pidof nc)

strace的输出：

1
2
3
strace: Process 12377 attached
select(5, [3 4], [], NULL, NULL <unfinished ...>
+++ killed by SIGKILL +++

其他

strace还有许多其他的参数，比如常用的-tt可以打印每个系统调用的时间戳，-T可以打印每个系统调用花费的时间。

strace不光能追踪统计系统调用，还能修改系统调用的行为，比如指定某个系统调用返回指定的错误值。

关于更多strace的玩法，可以使用strace -h命令或访问如下两个网站获取更多的信息：

本文完，作者yoko，尊重劳动人民成果，转载请注明原文出处： https://pengrl.com/p/20025/

0%