« попередня гілка наступна гілка »
Сторінки: 1

Автор Гілка: і знову лінукс і його вузькі місця  (Прочитано 2681 раз)

Відсутній Volodymyrko

  • Графоман
  • ****
  • дописів: 370
  • Карма: +0/-0
  • I Like FreeBSD !
і знову лінукс і його вузькі місця
« : 2009-08-26 11:35:07 »
може вже всіх достав, але в кортий раз маю проблему з сервером і непонятним навантаженням ..
Код: [Вибрати]
# top

top - 11:25:53 up 1 day,  7:10,  1 user,  load average: 30.83, 30.57, 27.67
Tasks: 167 total,   2 running, 165 sleeping,   0 stopped,   0 zombie
Cpu0  : 14.0%us, 13.3%sy,  0.0%ni, 72.8%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  : 16.6%us, 17.2%sy,  0.0%ni, 65.6%id,  0.3%wa,  0.0%hi,  0.3%si,  0.0%st
Cpu2  : 10.2%us, 10.5%sy,  0.0%ni, 79.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  : 13.7%us, 12.7%sy,  0.0%ni, 73.6%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu4  :  8.8%us,  8.8%sy,  0.0%ni, 82.4%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu5  : 11.1%us,  9.8%sy,  0.0%ni, 78.7%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st
Cpu6  : 11.6%us, 13.9%sy,  0.0%ni, 74.5%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu7  :  8.4%us,  8.4%sy,  0.0%ni, 83.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16463916k total, 14952984k used,  1510932k free,    38364k buffers
Swap:  2104504k total,    16628k used,  2087876k free, 13488344k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                        
22527 mysql     20   0 3163m 892m 4328 S  193  5.6  51:58.07 mysqld                                                          
    1 root      20   0  3840  556  524 S    0  0.0   0:00.89 init                                                            
    2 root      15  -5     0    0    0 S    0  0.0   0:00.01 kthreadd                                                        
    3 root      RT  -5     0    0    0 S    0  0.0   0:00.00 migration/0                                                    
    4 root      15  -5     0    0    0 S    0  0.0   0:00.51 ksoftirqd/0                                                    
    5 root      RT  -5     0    0    0 S    0  0.0   0:00.08 migration/1                                                    
    6 root      15  -5     0    0    0 S    0  0.0   0:02.10 ksoftirqd/1                                                    
    7 root      RT  -5     0    0    0 S    0  0.0   0:00.08 migration/2                                                    
    8 root      15  -5     0    0    0 S    0  0.0   0:01.67 ksoftirqd/2                                                    
    9 root      RT  -5     0    0    0 S    0  0.0   0:00.05 migration/3                                                    
   10 root      15  -5     0    0    0 S    0  0.0   0:01.37 ksoftirqd/3                                                    
   11 root      RT  -5     0    0    0 S    0  0.0   0:00.02 migration/4                                                    
   12 root      15  -5     0    0    0 S    0  0.0   0:01.09 ksoftirqd/4                                                    
   13 root      RT  -5     0    0    0 S    0  0.0   0:00.02 migration/5                                                    
   14 root      15  -5     0    0    0 S    0  0.0   0:00.92 ksoftirqd/5                                                    
   15 root      RT  -5     0    0    0 S    0  0.0   0:00.02 migration/6                                                    
   16 root      15  -5     0    0    0 S    0  0.0   0:00.80 ksoftirqd/6                                                    
   17 root      RT  -5     0    0    0 S    0  0.0   0:00.02 migration/7        
Код: [Вибрати]
# vmstat 2
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 4  0  16628 2175740  38452 12822196    0    0    64   249    0   28 14 15 70  0
 4  0  16628 1982660  38452 13015500    0    0     0     0 3887 3204 13 13 74  0
 6  0  16628 1830096  38452 13167092    0    0     0     0 3410 2601 11 11 77  0
 2  0  16628 1692376  38476 13304280    0    0     0    61 3503 2374 12 11 77  0
 2  0  16628 1523108  38476 13472820    0    0     0     1 3340 2318 11 12 77  0
 4  0  16628 1406308  38476 13589276    0    0     0     2 3229 2181 11 12 77  0
 2  0  16628 1386480  38484 13609068    0    0     0     6 3640 1869 12 14 74  0
 5  0  16628 1352712  38484 13649364    0    0     0     0 3413 1851 12 13 75  0
 4  0  16628 1404632  38484 13596924    0    0     0    80 3406 1672 12 14 74  0
 4  0  16628 1846052  38484 13176976    0    0     0     0 4845 2383 15 23 62  0
^C

чому тут дуже  не співпадають значення idle  ???

Код: [Вибрати]
# free
             total       used       free     shared    buffers     cached
Mem:      16463916   13798972    2664944          0      38492   12377944
-/+ buffers/cache:    1382536   15081380
Swap:      2104504      16628    2087876

Linux gentoo 2.6.29.1 #1 SMP Wed Apr 15 17:16:00 EEST 2009 x86_64 Intel(R) Xeon(R) CPU E5420 @ 2.50GHz GenuineIntel GNU/Linux



Код: [Вибрати]
# iostat  2
Linux 2.6.29.1 (gentoo)       08/26/09       _x86_64_      (8 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          13.71    0.00   15.45    0.36    0.00   70.48

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               2.14        11.61        40.36    1306297    4539888
sdb               1.41       200.84       581.97   22589777   65456802
sdc               5.65       262.01      3167.55   29469042  356268313
sdd              25.48       573.55       305.07   64509662   34312833

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          16.91    0.00   12.32    0.00    0.00   70.77

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               5.00         0.00        40.00          0         80
sdb               0.00         0.00         0.00          0          0
sdc               1.00         0.00       120.00          0        240
sdd               1.00         4.00         8.00          8         16

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          11.34    0.00   11.28    0.06    0.00   77.31

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               1.00         0.00        16.00          0         32
sdb               0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0
sdd               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          10.99    0.00   11.30    0.43    0.00   77.27

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               3.00         0.00       232.00          0        464
sdb               0.00         0.00         0.00          0          0
sdc               2.00         0.00        27.50          0         55
sdd              76.00         0.00       804.00          0       1608

^C

Код: [Вибрати]
mpstat -P ALL 5
Linux 2.6.29.1 (gentoo)       08/26/09       _x86_64_      (8 CPU)

11:54:18     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
11:54:23     all   11.82    0.00   12.63    0.00    0.02    0.05    0.00    0.00   75.47
11:54:23       0   11.35    0.00   12.15    0.00    0.00    0.20    0.00    0.00   76.29
11:54:23       1   14.40    0.00   17.36    0.00    0.00    0.00    0.00    0.00   68.24
11:54:23       2   17.79    0.00   18.77    0.00    0.00    0.00    0.00    0.00   63.44
11:54:23       3    9.06    0.00    9.25    0.00    0.00    0.00    0.00    0.00   81.69
11:54:23       4   10.06    0.00    9.47    0.00    0.00    0.00    0.00    0.00   80.47
11:54:23       5   12.16    0.00   12.94    0.00    0.00    0.00    0.00    0.00   74.90
11:54:23       6    8.70    0.00    8.50    0.00    0.00    0.00    0.00    0.00   82.81
11:54:23       7   11.29    0.00   12.48    0.00    0.00    0.00    0.00    0.00   76.24

11:54:23     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
11:54:28     all   12.52    0.00   13.78    0.12    0.00    0.02    0.00    0.00   73.55
11:54:28       0   14.71    0.00   13.52    0.80    0.00    0.00    0.00    0.00   70.97
11:54:28       1   12.01    0.00   13.19    0.00    0.00    0.00    0.00    0.00   74.80
11:54:28       2   11.59    0.00   13.95    0.00    0.00    0.00    0.00    0.00   74.46
11:54:28       3   14.00    0.00   15.38    0.00    0.00    0.00    0.00    0.00   70.61
11:54:28       4   13.04    0.00   19.17    0.00    0.00    0.00    0.00    0.00   67.79
11:54:28       5   13.00    0.00   13.20    0.00    0.00    0.00    0.00    0.00   73.80
11:54:28       6   10.38    0.00   11.18    0.00    0.00    0.00    0.00    0.00   78.44
11:54:28       7   11.39    0.00   10.81    0.20    0.00    0.20    0.00    0.00   77.41

11:54:28     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
11:54:33     all   25.53    0.00   25.97    0.02    0.02    0.32    0.00    0.00   48.14
11:54:33       0   24.65    0.00   22.09    0.00    0.00    0.00    0.00    0.00   53.25
11:54:33       1   25.24    0.00   23.29    0.00    0.00    0.39    0.00    0.00   51.08
11:54:33       2   23.58    0.00   28.29    0.00    0.00    0.39    0.00    0.00   47.74
11:54:33       3   23.82    0.00   25.98    0.20    0.00    0.39    0.00    0.00   49.61
11:54:33       4   25.20    0.00   21.06    0.00    0.00    0.20    0.00    0.00   53.54
11:54:33       5   28.76    0.00   28.38    0.00    0.19    0.19    0.00    0.00   42.47
11:54:33       6   26.65    0.00   21.01    0.00    0.00    0.39    0.00    0.00   51.95
11:54:33       7   26.18    0.00   37.60    0.00    0.00    0.39    0.00    0.00   35.83


Код: [Вибрати]
# iostat -x 5
Linux 2.6.29.1 (gentoo)       08/26/09       _x86_64_      (8 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          13.73    0.00   15.45    0.35    0.00   70.47

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               2.44     4.03    0.45    1.69    11.45    40.48    24.27     0.02   10.81   2.23   0.48
sdb               0.34    71.06    0.74    0.65   197.96   573.60   553.96     0.14  102.66   3.35   0.47
sdc               0.43    89.73    0.69    4.88   258.24  3122.19   607.17     1.34  240.01   3.61   2.01
sdd               0.48     7.29   18.99    6.20   565.31   301.52    34.41     0.06    2.53   0.24   0.60

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          11.23    0.00   10.86    0.00    0.00   77.92

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.20    0.00    0.40     0.00     3.40     8.50     0.00    0.00   0.00   0.00
sdd               0.00     0.00    0.00    4.00     0.00    38.40     9.60     0.00    0.15   0.05   0.02

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          12.00    0.00   11.33    0.02    0.00   76.65

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     4.20    0.00    1.80     0.00    52.80    29.33     0.02    9.56   6.67   1.20
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.20     0.00     3.20    16.00     0.00    0.00   0.00   0.00
sdd               0.00     0.00    0.00    2.40     0.00    24.00    10.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          12.33    0.00   10.90    0.00    0.00   76.77

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.40     0.00    17.60    44.00     0.00    1.00   0.50   0.02
sdd               0.00     0.00    0.00    4.60     0.00    46.40    10.09     0.00    0.70   0.04   0.02

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          12.75    0.00   11.44    0.02    0.00   75.78

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     1.80    0.00    4.60     0.00    52.80    11.48     0.02    4.17   0.57   0.26
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd               0.00     0.00    0.00    3.80     0.00    33.60     8.84     0.00    0.05   0.05   0.02

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          14.29    0.00   14.19    0.00    0.00   71.53

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     3.60    0.00   11.20     0.00   118.40    10.57     0.14   12.30   0.63   0.70
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd               0.00     0.00    0.00    0.20     0.00     3.20    16.00     0.00    0.00   0.00   0.00

^C

і взагалі по цим даним сервер нічого не робить... ЦПУ  стоїть.. памяті дофіга.. диск не крутиться.. то чого йому бракує

про mysql, запити, індекси і т.д - не будемо говорити... питання про сервер і яких ресурсів йому бракує  ? (до слова, кількість запитів порівняно з 3 днями раніше впала в 3 рази .. при тому шо тоді не гальмував..)
« Змінено: 2009-08-26 11:58:38 від vova07 »
Записаний

Praporshic

  • Гість
Re: і знову лінукс і його вузькі місця
« Відповідей #1 : 2009-08-26 15:21:51 »
Судячи з дискової активності, апаратний RAID має врятувати батька російської демократії.

Edit:
Цитата
2.6.29.1
І чому мене не дивують ці проблеми....
« Змінено: 2009-08-26 15:39:28 від Praporshic »
Записаний

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3820
  • Карма: +11/-0
  • Програміст
Re: і знову лінукс і його вузькі місця
« Відповідей #2 : 2009-08-26 21:06:45 »
Може я сліпий, але надзвичайно високої дискової активності я не бачу. Процесор дуже багато часу виконує код системи замість юзерського.
Може погано налаштований mysql, який весь час робить запити до дискової системи через маленькі буфери і таблиці з різною інформацією?
Пам’яті йому виділили багато, але як її розподілили - невідомо. Треба було б на статистику майскла глянути спочатку, особливо на різні лічильники.
Записаний
[Fedora Linux]

Praporshic

  • Гість
Re: і знову лінукс і його вузькі місця
« Відповідей #3 : 2009-08-26 22:01:03 »
Цитата: Володимир Лісівка від 2009-08-26 21:06:45
Може я сліпий, але надзвичайно високої дискової активності я не бачу.
Справді. Таки помилився. Пише/читає він не багато, але постійно. До речі, не погано було б додати вивід top з сортуванням за використанням процесора. Ну й iotop не завадить (на нових ядрах працює).
Записаний

Praporshic

  • Гість
Re: і знову лінукс і його вузькі місця
« Відповідей #4 : 2009-08-27 01:04:52 »
Щойно зробив те саме на своєму домашньому комп’ютері, запустивши форматування USB-HDD під ворожий NTFS. Ядерний pdflush намалював мені вже майже сімку LA на два ядра при не дуже великій швидкості запису. Якщо буде вивід iotop - стане зрозуміло.
Записаний

Відсутній Volodymyrko

  • Графоман
  • ****
  • дописів: 370
  • Карма: +0/-0
  • I Like FreeBSD !
Re: і знову лінукс і його вузькі місця
« Відповідей #5 : 2009-08-27 09:31:29 »
Цитата
2.6.29.1
І чому мене не дивують ці проблеми....
а шо саме вас не дивує...  ( чесно скажу  не дуже слідкую шо нового в ядрах і які з них невдалі )

Цитата
До речі, не погано було б додати вивід top з сортуванням за використанням процесора
мені здається що по замовчуванні вн так і виводить

Цитата
Процесор дуже багато часу виконує код системи замість юзерського.
поясніть ..звідки ви таке взяли ? з усіх наданих показників sys 10-20%.. хіба це багато .??? та й idle ну вже дуже високе ..

зараз вже в принципі все стало на свої місця.. серверу стало набагато краще, лише зрідка навантаження на деякий час виростає .... тому не знаю чи є сенс показувати top, itop .... бо вони неправдиві будуть.. бо ж треба при наватаженні дивитися ... якщо таке буде то скину їх.

Цитата
Може погано налаштований mysql, який весь час робить запити до дискової системи через маленькі буфери і таблиці з різною інформацією?
Пам’яті йому виділили багато, але як її розподілили - невідомо.
чесно кажучи час від часу міняю всяків там буфери... але останнім часом використовував tuning-primer.sh для перевірки і підлаштував так щоб було багато max_connection ..
ось останній варіант ...
http://vol-kovtun.narod.ru/unix/mysql_var.txt
http://vol-kovtun.narod.ru/unix/mysql_ext_st.txt

так де правдива статискита top чи vmstat ..і чому так дуже різні idle та wait ??? кому вірити ...
Записаний

Відсутній Volodymyrko

  • Графоман
  • ****
  • дописів: 370
  • Карма: +0/-0
  • I Like FreeBSD !
Re: і знову лінукс і його вузькі місця
« Відповідей #6 : 2009-08-27 09:48:16 »
а в iotop.. там на шо дивитися..
Total DISK READ: і Total DISK WRITE: ???

зараз при відсутності навантаженні
Код: [Вибрати]
Total DISK READ: 27.37 K/s | Total DISK WRITE: 113.87 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND                                                      
 1016 be/3 root        0.00 B/s    3.91 K/s  0.00 %  2.00 % [kjournald2]
 2866 be/3 root        0.00 B/s   50.83 K/s  0.00 %  1.68 % [kjournald2]
 2865 be/3 root        0.00 B/s    5.86 K/s  0.00 %  0.45 % [kjournald2]
27381 be/4 mysql      17.59 K/s    0.00 B/s  0.00 %  0.05 % mysqld --basedir=/usr/local/mysql --datadir=/usr/local/mysql/var
22947 be/4 mysql       5.86 K/s    0.00 B/s  0.00 %  0.02 % mysqld --basedir=/usr/local/mysql --datadir=/usr/local/mysql/var
27362 be/4 mysql    2001.78 B/s    0.00 B/s  0.00 %  0.01 % mysqld --basedir=/usr/local/mysql --datadir=/usr/local/mysql/var
27355 be/4 mysql    2001.78 B/s    0.00 B/s  0.00 %  0.01 % mysqld --basedir=/usr/local/mysql --datadir=/usr/local/mysql/var
26351 be/4 mysql       0.00 B/s    7.82 K/s  0.00 %  0.00 % mysqld --basedir=/usr/local/mysql --datadir=/usr/local/mysql/var
26406 be/4 mysql       0.00 B/s    3.91 K/s  0.00 %  0.00 % mysqld --basedir=/usr/local/mysql --datadir=/usr/local/mysql/var
27136 be/4 mysql       0.00 B/s    0.00 B/s  0.00 %  0.00 % mysqld --basedir=/usr/local/mysql --datadir=/usr/local/mysql/var
    1 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % init [3]
    2 be/3 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [kthreadd]
    3 rt/3 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [migration/0]
    4 be/3 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [ksoftirqd/0]
    5 rt/3 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [migration/1]
    6 be/3 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [ksoftirqd/1]

максумум що но око побачив це  Total DISK WRITE: ~1000.00 K/s
Записаний

Praporshic

  • Гість
Re: і знову лінукс і його вузькі місця
« Відповідей #7 : 2009-08-27 13:08:05 »
Цитата: vova07 від 2009-08-27 09:31:29
Цитата
2.6.29.1
І чому мене не дивують ці проблеми....
а шо саме вас не дивує...  ( чесно скажу  не дуже слідкую шо нового в ядрах і які з них невдалі )
У нових ядрах є баг, що призводить до проблем з швидкодією, при завантаженості дискової підсистеми. Тому RHEL досі на 2.6.18.

Цитата: vova07 від 2009-08-27 09:31:29
Цитата
До речі, не погано було б додати вивід top з сортуванням за використанням процесора
мені здається що по замовчуванні вн так і виводить
Ну, тоді це просто дуже невдало піймали момент.

Цитата: vova07 від 2009-08-27 09:31:29
поясніть ..звідки ви таке взяли ? з усіх наданих показників sys 10-20%.. хіба це багато .??? та й idle ну вже дуже високе ..
Це дуже багато. Зокрема, це може означати, що система багато часу витрачає на перемикання між завданнями. Тоді стає не важливо скільки idle. Система просто гальмує.

Цитата: vova07 від 2009-08-27 09:31:29
так де правдива статискита top чи vmstat ..і чому так дуже різні idle та wait ??? кому вірити ...

wait має відрізнятись від idle, бо це різні речі. У різний час вони можуть сильно відрізнятись.
Записаний

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3820
  • Карма: +11/-0
  • Програміст
Re: і знову лінукс і його вузькі місця
« Відповідей #8 : 2009-08-27 14:43:17 »
Мені важко сказати, що не так з майсклом, але мені не подобається цей рядочок в статистиці:

Цитата
Created_tmp_disk_tables    | 4382

Може вони і гальмують систему?
Записаний
[Fedora Linux]

Відсутній Volodymyrko

  • Графоман
  • ****
  • дописів: 370
  • Карма: +0/-0
  • I Like FreeBSD !
Re: і знову лінукс і його вузькі місця
« Відповідей #9 : 2009-08-27 15:58:07 »
Цитата
"Цитата vova07 о Сьогодні 09:31:29:
Цитата:
До речі, не погано було б додати вивід top з сортуванням за використанням процесора

мені здається що по замовчуванні вн так і виводить

Ну, тоді це просто дуже невдало піймали момент."

може і так.. ось вам трохи піднавантажений сервер

Код: [Вибрати]
top - 16:00:01 up 2 days, 11:44,  3 users,  load average: 8.27, 5.44, 3.85
Tasks: 183 total,   2 running, 179 sleeping,   2 stopped,   0 zombie
Cpu(s):  9.2%us,  6.4%sy,  0.0%ni, 83.8%id,  0.3%wa,  0.0%hi,  0.2%si,  0.0%st
Mem:  16463916k total, 14809968k used,  1653948k free,    47784k buffers
Swap:  2104504k total,    59464k used,  2045040k free, 13231508k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                        
22707 mysql     20   0 5070m 1.2g 3820 S  128  7.5 894:25.37 mysqld                                                          
 3910 root      20   0 16420  672  608 S    0  0.0   0:01.10 cron                                                            
12406 root      20   0     0    0    0 S    0  0.0   0:26.84 pdflush                                                        
    1 root      20   0  3840  556  524 S    0  0.0   0:01.00 init                                                            
    2 root      15  -5     0    0    0 S    0  0.0   0:00.01 kthreadd                                                        
    3 root      RT  -5     0    0    0 S    0  0.0   0:00.00 migration/0                                                    
    4 root      15  -5     0    0    0 S    0  0.0   0:00.88 ksoftirqd/0                                                    
    5 root      RT  -5     0    0    0 S    0  0.0   0:00.13 migration/1                                                    
    6 root      15  -5     0    0    0 S    0  0.0   0:03.14 ksoftirqd/1                                                    
    7 root      RT  -5     0    0    0 S    0  0.0   0:00.11 migration/2                                                    
    8 root      15  -5     0    0    0 S    0  0.0   0:02.53 ksoftirqd/2                                                    
    9 root      RT  -5     0    0    0 S    0  0.0   0:00.08 migration/3                                                    
   10 root      15  -5     0    0    0 S    0  0.0   0:02.13 ksoftirqd/3                                                    
   11 root      RT  -5     0    0    0 S    0  0.0   0:00.04 migration/4                                                    
   12 root      15  -5     0    0    0 S    0  0.0   0:01.77 ksoftirqd/4                                                    
   13 root      RT  -5     0    0    0 S    0  0.0   0:00.04 migration/5                                                    
   14 root      15  -5     0    0    0 S    0  0.0   0:01.41 ksoftirqd/5                                                    
   15 root      RT  -5     0    0    0 S    0  0.0   0:00.05 migration/6                                                    
   16 root      15  -5     0    0    0 S    0  0.0   0:01.26 ksoft

там нічого крім mysql-у не живе ...
шо тут ви сподіваїтесь  побачити ???

Цитата
Зокрема, це може означати, що система багато часу витрачає на перемикання між завданнями. Тоді стає не важливо скільки idle. Система просто гальмує.
може варто  зменшити CONFIG_HZ=1000 ?
чи ядро обновляти ?
до речі який краще планульник.. зараз там deadline ..

Цитата
wait має відрізнятись від idle, бо це різні речі. У різний час вони можуть сильно відрізнятись.
ви не так зрозуміли..
idle в top-і vmstat-і  дуже різні !!! так само wait...
тобто одні й ті самі змінні в різних утилітах !!! порівняйте.. і це не невдало підібрані моменти ... я кілька раз підряд спростерігав...

Цитата
Може вони і гальмують систему?
то шо там є  "гальмівні" запити що виконується по кілька секунд - то безперечно ..
я про то в курсі...
просто більше цікаво - чому вони так виконуються непонятно...
наприклад, якщо проблема в тому шо бачгто тимчасових таблиць - ну мало б бути навантаження на хард... але шось не дуже той хард  "крутиться" ..
і так по будь-якому із ресурсів... !! всьо ніби і є .. але  і нічого не використовується!!!!

чи то вже особливість мускл-у ?
« Змінено: 2009-08-27 16:07:53 від vova07 »
Записаний

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3820
  • Карма: +11/-0
  • Програміст
Re: і знову лінукс і його вузькі місця
« Відповідей #10 : 2009-08-27 16:19:56 »
На сервері 16-ть  гіг пам’яті. Майскл використовує з них 900 метрів. 12 гіг віддано під файловий кеш. Можливо що майскл часто звертається до диску, але операційка віддає всі дані з кешу, не звертаючись до диску.

Можна глянути на конфіг майскла?

(А також пару слів про розмір бази, кількість і розміри таблиць, який двигун таблиць, розміри індексів, версію Майскла, версію Лінукса і дистрибутива, і таке інше.)

Ще можна почитати http://www.mysqlperformanceblog.com/  на предмет типових проблем. Можна пошукати в інеті скрипт, який аналізує вузькі місця майскла (не пам’ятаю назви) або якісь інші діагностичні утиліти: http://www.mysqlperformanceblog.com/tools/ .
Записаний
[Fedora Linux]

Відсутній Volodymyrko

  • Графоман
  • ****
  • дописів: 370
  • Карма: +0/-0
  • I Like FreeBSD !
Re: і знову лінукс і його вузькі місця
« Відповідей #11 : 2009-08-27 17:20:32 »
Цитата
Можна глянути на конфіг майскла?
вже  давав.. ось тут всьо.. думаю самого конфігу my.cnf вже не треба..
http://vol-kovtun.narod.ru/unix/mysql_var.txt
http://vol-kovtun.narod.ru/unix/mysql_ext_st.txt

Розмір БД- 12Гіг ..
розмір найчастіше використовуваної таблоиці 1,5Гіг.. розмір індексів там 260М... а загальний розмір індексів десь 1-1,3Гіг...

таблиць ~200 ..
всі myisam , одна mrg_myisam..яка якраз обєдную ту найчастішу + ше одну...


mysqladmin version
mysqladmin  Ver 8.42 Distrib 5.1.37, for unknown-linux-gnu on x86_64
Copyright 2000-2008 MySQL AB, 2008 Sun Microsystems, Inc.
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL license

Server version          5.1.37-log
Protocol version        10
Connection              Localhost via UNIX socket
UNIX socket             /tmp/mysql.sock
Uptime:                 9 hours 11 min 49 sec

Threads: 14  Questions: 25189173  Slow queries: 64050  Opens: 6350  Flush tables: 1  Open tables: 4068  Queries per second avg: 760.795

сам збирав...

Linux gentoo 2.6.29.1 #1 SMP Wed Apr 15 17:16:00 EEST 2009 x86_64 Intel(R) Xeon(R) CPU E5420 @ 2.50GHz GenuineIntel GNU/Linux

# cat /etc/gentoo-release
Gentoo Base System release 2.0.0
Код: [Вибрати]
emerge --info
Virtual package in package.provided: virtual/mysql-5.1
See portage(5) for correct package.provided usage.
Portage 2.1.6.13 (default/linux/amd64/2008.0/server, gcc-4.3.3, glibc-2.10.1-r0, 2.6.29.1 x86_64)
=================================================================
System uname: Linux-2.6.29.1-x86_64-Intel-R-_Xeon-R-_CPU_E5420_@_2.50GHz-with-gentoo-2.0.0
Timestamp of tree: Thu, 11 Jun 2009 06:30:01 +0000
app-shells/bash:     4.0_p24
dev-lang/python:     2.6.2
sys-apps/baselayout: 2.0.0
sys-apps/openrc:     0.4.3-r2
sys-apps/sandbox:    1.9
sys-devel/autoconf:  2.63-r1
sys-devel/automake:  1.9.6-r2, 1.10.2
sys-devel/binutils:  2.19.1-r1
sys-devel/gcc-config: 1.4.1
sys-devel/libtool:   2.2.6a
virtual/os-headers:  2.6.29
ACCEPT_KEYWORDS="amd64 ~amd64"
CBUILD="x86_64-pc-linux-gnu"
CFLAGS="-march=native -O2 -pipe"
CHOST="x86_64-pc-linux-gnu"
CONFIG_PROTECT="/etc"
CONFIG_PROTECT_MASK="/etc/ca-certificates.conf /etc/env.d /etc/fonts/fonts.conf /etc/gconf /etc/gentoo-release /etc/revdep-rebuild /etc/sandbox.d /etc/terminfo /etc/udev/rules.d"
CXXFLAGS="-march=native -O2 -pipe"
DISTDIR="/usr/portage/distfiles"
FEATURES="distlocks fixpackages parallel-fetch protect-owned sandbox sfperms strict unmerge-orphans userfetch"
GENTOO_MIRRORS="http://distfiles.gentoo.org http://distro.ibiblio.org/pub/linux/distributions/gentoo"
LDFLAGS="-Wl,-O1"
MAKEOPTS="-j9"
PKGDIR="/usr/portage/packages"
PORTAGE_CONFIGROOT="/"
PORTAGE_RSYNC_OPTS="--recursive --links --safe-links --perms --times --compress --force --whole-file --delete --stats --timeout=180 --exclude=/distfiles --exclude=/local --exclude=/packages"
PORTAGE_TMPDIR="/var/tmp"
PORTDIR="/usr/portage"
SYNC="rsync://rsync.gentoo.org/gentoo-portage"
USE="acl amd64 apache2 berkdb bzip2 cli cracklib crypt cups dri fortran gdbm gpm iconv isdnlog mailwrapper midi mmx mudflap multilib mysql ncurses nls nptl nptlonly openmp pam pcre perl pppd python readline reflection session snmp spl sse sse2 sse3 sse4_1 ssl ssse3 sysfs tcpd truetype unicode xml xorg zlib" ALSA_CARDS="ali5451 als4000 atiixp atiixp-modem bt87x ca0106 cmipci emu10k1x ens1370 ens1371 es1938 es1968 fm801 hda-intel intel8x0 intel8x0m maestro3 trident usb-audio via82xx via82xx-modem ymfpci" ALSA_PCM_PLUGINS="adpcm alaw asym copy dmix dshare dsnoop empty extplug file hooks iec958 ioplug ladspa lfloat linear meter mmap_emul mulaw multi null plug rate route share shm softvol" APACHE2_MODULES="actions alias auth_basic authn_alias authn_anon authn_dbm authn_default authn_file authz_dbm authz_default authz_groupfile authz_host authz_owner authz_user autoindex cache dav dav_fs dav_lock deflate dir disk_cache env expires ext_filter file_cache filter headers include info log_config logio mem_cache mime mime_magic negotiation rewrite setenvif speling status unique_id userdir usertrack vhost_alias" ELIBC="glibc" INPUT_DEVICES="keyboard mouse evdev" KERNEL="linux" LCD_DEVICES="bayrad cfontz cfontz633 glk hd44780 lb216 lcdm001 mtxorb ncurses text" USERLAND="GNU" VIDEO_CARDS="fbdev glint i810 intel mach64 mga neomagic nv r128 radeon savage sis tdfx trident vesa vga via vmware voodoo"
Unset:  CPPFLAGS, CTARGET, EMERGE_DEFAULT_OPTS, FFLAGS, INSTALL_MASK, LANG, LC_ALL, LINGUAS, PORTAGE_COMPRESS, PORTAGE_COMPRESS_FLAGS, PORTAGE_RSYNC_EXTRA_OPTS, PORTDIR_OVERLAY

про скрипт знаю - tuning-primer.sh .. але нічого доброго окрім як перейти на innodb він не пропонує ...
« Змінено: 2009-08-27 17:27:04 від vova07 »
Записаний

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3820
  • Карма: +11/-0
  • Програміст
Re: і знову лінукс і його вузькі місця
« Відповідей #12 : 2009-08-27 19:33:02 »
Цитата: vova07 від 2009-08-27 17:20:32
Цитата
Можна глянути на конфіг майскла?
вже  давав.. ось тут всьо.. думаю самого конфігу my.cnf вже не треба..
http://vol-kovtun.narod.ru/unix/mysql_var.txt

Мені ліньки розбиратися в такому файлі. Все що я можу порадити, це ввімкнути myisam_use_mmap, щоб ядро просто перемикало сторінки з кешу в простір майскла, замість того щоб копіювати гігабайти.
Записаний
[Fedora Linux]

Відсутній Volodymyrko

  • Графоман
  • ****
  • дописів: 370
  • Карма: +0/-0
  • I Like FreeBSD !
Re: і знову лінукс і його вузькі місця
« Відповідей #13 : 2009-08-27 23:19:13 »
my.cnf
Код: [Вибрати]
# cat /etc/my.cnf|g -v ^\#
[mysqld]

default-character-set=cp1251
character-set-server=cp1251
collation-server=cp1251_general_ci
init-connect="SET NAMES cp1251"
skip-character-set-client-handshake

slow_query_log_file = /var/log/slow_queries

max_heap_table_size = 1024M

max_connections = 500
tmp_table_size = 1024M
query_cache_size = 32M
query_cache_limit = 1M

back_log = 100
wait_timeout = 30
interactive_timeout = 30

thread_cache_size = 128
join_buffer_size = 4M
read_rnd_buffer_size = 16M

port            = 3306
socket          = /tmp/mysql.sock

skip-locking
key_buffer = 2048M

max_allowed_packet = 1M
table_cache = 8192
sort_buffer_size = 4M
read_buffer_size = 1M
myisam_sort_buffer_size = 128M
thread_concurrency = 16

table_definition_cache = 512

tmpdir = /sdc/tmp
slave_load_tmpdir = /sdc/tmp

ft_min_word_len=3

concurrent_insert = 2

server-id = 1
replicate-do-db   = lotokcom
replicate-do-db   = forumlotok
log-bin =  /sdc/log_bin/master.bin
binlog_format = ROW

log-error = /var/log/mysql.log

[isamchk]
key_buffer = 256M
sort_buffer_size = 256M
read_buffer = 2M
write_buffer = 2M

[myisamchk]
key_buffer = 256M
sort_buffer_size = 256M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout
Записаний
Сторінки: 1
« попередня гілка наступна гілка »