Benny Luo's Blog

Solaris 10 上的性能调优的一些总结

做性能调优首先需要了解系统的现象,一个应用如果出现性能问题,大部分应用都会在操作系统层面表现出问题,比如CPU使用过度, 程序中锁使用过于频繁, 内存泄露等等, 这些都可用Solaris的基本命令看出来, 基本上在性能调优过程, 我们需要通过Solaris 10的一些常用命令比如mpstat, vmstat, iostat等等确定问题所在, 然后再用dtrace进行深入调查.

比方说, 如果是CPU方面使用有问题, 我们通过mpstat, prstat来看. 下面是一个例子, 只是一个范例而已:

# mpstat 2
CPU minf mjf xcal  intr ithr  csw icsw migr smtx  srw syscl  usr sys  wt idl
  0  117   0 1583   883  111 1487  593  150 6104   64 11108    7  92   0   1
  1  106   0  557   842    0 1804  694  150 6553   84 10684    6  93   0   1
  2  112   0  664   901    0 1998  795  143 6622   64 11227    6  93   0   1
  3   95   0  770  1035    0 2232  978  131 6549   59 11769    7  92   0   1

可以看到cpu使用在系统态层面大概平均93%, 用户层大概6%左右, 1%左右是闲置的,而sys call调用是大量而且频繁的, 良好的系统应用应该是大部分的时间花在用户层面, 而少部分时间使用在系统调用层面.

我们使用dtrace往下追踪是什么应用导致这么多的sys call:

# dtrace -n 'syscall:::entry { @[execname] = count(); }'
dtrace: description 'syscall:::entry ' matched 229 probes
^C

  inetd                                                              1
  svc.configd                                                        1
  fmd                                                                2
  snmpdx                                                             2
  utmpd                                                              2

  inetd                                                              1
  svc.configd                                                        1
  fmd                                                                2
  snmpdx                                                             2
  utmpd                                                              2
  svc.startd                                                        13
  sendmail                                                          30
  snmpd                                                             36
  nscd                                                             105
  dtrace                                                          1311
  filebench                                                    3739725

知道了是filebench应用导致了这么多的sys call, 但我们不知道是哪一个具体的sys call, 依然可以通过dtrace来查找:

# dtrace -n 'syscall:::entry /execname == "filebench"/ { @[probefunc] = count(); }'
dtrace: description 'syscall:::entry ' matched 229 probes
^C

  lwp_continue                                                      4
  lwp_create                                                        4
  mmap                                                              4
  schedctl                                                          4
  setcontext                                                        4
  lwp_sigmask                                                       8
  nanosleep                                                        24
  yield                                                           554
  brk                                                            1590
  pwrite                                                        80795
  lwp_park                                                     161019
  read                                                         324159
  pread                                                        898401
  semsys                                                      1791717

我们可以知道semsys sys call调用得最多, 但不知道在应用中是通过应用的哪些函数调用和怎样调用的, 依然可以通过dtrace.

# dtrace -n 'syscall::semsys:entry /execname == "filebench"/ { @[ustack()] = count();}'
dtrace: description 'syscall::semsys:entry ' matched 1 probe
^C
              libc.so.1`_syscall6+0x1c
              filebench`flowop_start+0x408
              libc.so.1`_lwp_start
            10793

              libc.so.1`_syscall6+0x1c
              filebench`flowop_start+0x408
              libc.so.1`_lwp_start
            10942

              libc.so.1`_syscall6+0x1c
              filebench`flowop_start+0x408
              libc.so.1`_lwp_start
            11084

这样我们可以知道filebench的flowop_start函数调用此semsys sys call最多,我们就可以着手去寻找这个flowop_start函数看是否有改进的方法.

Posted at 08:12下午 七月 25, 2007 by Benny Luo in Solaris 10  |  Comments[0]