Автор Гілка: ЦПУ us ХАРД .. що тормозить ??? (Прочитано 6550 раз)

Volodymyrko · « : 2008-08-22 13:07:16 »

Допоможіть точно визначити яких ресурсів бракує моєму сервері ..
є openSUSE 10.2 (X86-64) ..
на ньому apache2-2.2.3 php5-5.2.0- mysql-5.0.26-12

Код: [Вибрати]

top - 12:58:41 up 178 days, 20:35,  1 user,  load average: 15.02, 12.17, 11.08
Tasks: 186 total,   3 running, 183 sleeping,   0 stopped,   0 zombie
Cpu(s): 50.8%us, 48.3%sy,  0.0%ni,  0.3%id,  0.0%wa,  0.0%hi,  0.7%si,  0.0%st
Mem:  16425160k total, 11900912k used,  4524248k free,   467680k buffers
Swap:  2104472k total,    38184k used,  2066288k free,  8135712k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
19397 mysql     15   0 3704m 1.6g 4692 S  729 10.2  12816:41 mysqld
 2175 wwwrun    15   0  500m  95m  67m S   17  0.6   0:00.94 httpd2-prefork
 2165 wwwrun    15   0  500m  92m  65m R    7  0.6   0:00.81 httpd2-prefork
 2173 wwwrun    15   0  502m  95m  68m S    5  0.6   0:01.05 httpd2-prefork
 2182 wwwrun    15   0  502m  98m  70m S    5  0.6   0:00.82 httpd2-prefork
 2010 wwwrun    15   0  501m  96m  68m S    4  0.6   0:01.37 httpd2-prefork
 2191 wwwrun    15   0  503m  98m  69m S    4  0.6   0:00.99 httpd2-prefork
 2210 wwwrun    15   0  502m  55m  28m S    4  0.3   0:00.14 httpd2-prefork
 2081 wwwrun    15   0  502m 104m  77m S    3  0.7   0:03.14 httpd2-prefork
 2150 wwwrun    15   0  502m 102m  75m S    3  0.6   0:01.48 httpd

# vmstat  1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
21  0  38184 4531016 467860 8139012    0    0    14   354    0    0 41 23 35  1
26  0  38184 4525580 467872 8139024    0    0   184    40 1058 2259 52 48  0  0
25  0  38184 4523976 467896 8139900    0    0   284   856 1180 2372 52 48  0  0
20  0  38184 4523312 467924 8140352    0    0   504   244 1152 1568 49 51  0  0
23  0  38184 4522828 467952 8141192    0    0   384     0  990 1820 49 51  0  0
21  0  38184 4521032 467952 8141204    0    0     0     0 1366 3436 54 46  0  0
18  0  38184 4521156 467952 8141164    0    0     4     0 1172 2443 53 47  0  0
18  0  38184 4523636 467960 8141188    0    0     0   624  832 2087 51 49  0  0
15  0  38184 4523644 467964 8141280    0    0     0    12  689 1053 50 50  0  0
 7  0  38184 4523652 467972 8141280    0    0     0   228  655 2834 52 47  1  0
 3  0  38184 4518460 467976 8141232    0    0    96     0  804 1551 35 20 45  0
13  0  38184 4534324 467976 8141232    0    0     0     0  678 1403 27 13 61  0

Код: [Вибрати]

# cat /proc/meminfo
MemTotal:     16425160 kB
MemFree:       4165056 kB
Buffers:        468984 kB
Cached:        8135684 kB
SwapCached:       9976 kB
Active:        8363708 kB
Inactive:      2524516 kB
HighTotal:           0 kB
HighFree:            0 kB
LowTotal:     16425160 kB
LowFree:       4165056 kB
SwapTotal:     2104472 kB
SwapFree:      2066288 kB
Dirty:           18132 kB
Writeback:           0 kB
AnonPages:     2275352 kB
Mapped:         147844 kB
Slab:          1242488 kB
PageTables:      91660 kB
NFS_Unstable:        0 kB
Bounce:              0 kB
CommitLimit:  10317052 kB
Committed_AS:  6458008 kB
VmallocTotal: 34359738367 kB
VmallocUsed:    272780 kB
VmallocChunk: 34359464615 kB
HugePages_Total:     0
HugePages_Free:      0
HugePages_Rsvd:      0
Hugepagesize:     2048 kB

# cat /proc/cpuinfo
processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU           E5335  @ 2.00GHz
stepping        : 7
cpu MHz         : 1995.002
cache size      : 4096 KB
physical id     : 0
siblings        : 4
core id         : 0
cpu cores       : 4
fpu             : yes
fpu_exception   : yes
cpuid level     : 10
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx lm constant_tsc pni monitor ds_cpl vmx tm2 cx16 xtpr lahf_lm
bogomips        : 3993.69
clflush size    : 64
cache_alignment : 64
address sizes   : 36 bits physical, 48 bits virtual
power management:
...... і т.д.

два 4-ядерних Intel(R) Xeon(R) CPU E5335 @ 2.00GHz

підозра або ЦПУ або хард.. ( я схиляюся до ЦПУ )
то шо це mysql - це ніби точно .. там багато select i update однієї таблиці.. завжди майже в processlist-і запитів зі статусом Locked ...
Threads: 22 Questions: 91012406 Slow queries: 4967 Opens: 4116 Flush tables: 1 Open tables: 1024 Queries per second avg: 416.645

питання просто визначити ЧОГО БРАКУЄ

щоб занти в яку сторону рухатись ..
(я розумію що більше б дало зміна сайту.. його структури.. але то не зараз )
до речі.. крім vmstat-у як подивитись навантаження на хард

якщо ще якісь треба показники зняти -- кажіть .. подивлюсь і напишу

Сергій Личко · « **Відповідей #1 :** 2008-08-22 14:43:13 »

Якщо багато інсертів/апдейтів - то можливо підгальмовує і хард (навантаження на ньому можна подивитися через iostat), тому що на відміну від селектів дисковий кеш тут використати неможливо, і всі записи проводяться зразу.
Як на мене - найкраще таки було б оптимізувати сайт та всю інфраструктуру навколо нього (apache, mysql, що-Ви-там-ще-використовуєте), бо якщо проект гальмує на такій залізяці - то він або не дуже оптимізований, або дуже великий і гарно оптимізований, але в останньому випадку Ви і без порад просто розносили б його на кілька серверів.

Volodymyrko · « **Відповідей #2 :** 2008-08-22 16:57:03 »

Код: [Вибрати]

# iostat  1
Linux 2.6.18.2-34-default (name)     08/22/08        _x86_64_

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          41.15    0.12   22.83    1.23    0.00   34.67

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              35.09        66.66      1013.47 1031042352 15675870920
sdb              26.10       151.56      4423.32 2344302121 68417756296
sdc               2.49        10.26       244.24  158705880 3777821120

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          66.91    0.00   32.96    0.00    0.00    0.12

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          63.22    0.00   36.78    0.00    0.00    0.00

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          64.10    0.00   35.16    0.00    0.00    0.75

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              25.00       288.00       144.00        288        144
sdb              55.00         0.00       560.00          0        560
sdc               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          61.89    0.00   38.11    0.00    0.00    0.00

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               2.97         0.00        55.45          0         56
sdb               0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          60.85    0.00   39.15    0.00    0.00    0.00

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             122.00         0.00      1944.00          0       1944
sdb               0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          67.25    0.00   31.63    0.00    0.00    1.12

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          68.66    0.00   31.22    0.00    0.00    0.12

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          73.23    0.00   26.03    0.00    0.00    0.75

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              10.00       200.00       128.00        200        128
sdb              64.00         0.00       720.00          0        720
sdc               0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          62.52    0.00   35.49    0.00    0.00    1.99

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               7.92         0.00       166.34          0        168
sdb               0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0


# top

top - 16:55:25 up 179 days, 31 min,  1 user,  load average: 13.25, 9.77, 8.40
Tasks: 169 total,   1 running, 168 sleeping,   0 stopped,   0 zombie
Cpu(s): 41.2%us, 22.5%sy,  0.1%ni, 34.7%id,  1.2%wa,  0.0%hi,  0.3%si,  0.0%st
Mem:  16425160k total, 13267868k used,  3157292k free,   553584k buffers
Swap:  2104472k total,    35436k used,  2069036k free,  9463528k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
19397 mysql     15   0 3704m 1.6g 4700 S  753 10.2  13941:14 mysqld
25852 wwwrun    15   0  500m 112m  86m S   12  0.7   0:02.29 httpd2-prefork
25895 wwwrun    15   0  500m  94m  67m S    8  0.6   0:01.22 httpd2-prefork
25750 wwwrun    16   0  503m 113m  84m S    6  0.7   0:02.93 httpd2-prefork
25845 wwwrun    15   0  503m 109m  80m S    6  0.7   0:01.85 httpd2-prefork
25938 wwwrun    16   0  500m  94m  66m S    4  0.6   0:00.71 httpd2-prefork
25821 wwwrun    15   0  502m 108m  81m S    2  0.7   0:01.66 httpd2-prefork
25848 wwwrun    15   0  502m 110m  83m S    2  0.7   0:02.23 httpd2-prefork
25886 wwwrun    15   0  500m 100m  73m S    2  0.6   0:01.11 httpd2-prefork
25950 root      15   0 16932 1336  904 R    2  0.0   0:00.01 top
    1 root      15   0   804   76   44 S    0  0.0   0:17.25 init
    2 root      RT   0     0    0    0 S    0  0.0   0:05.66 migration/0
    3 root      35  19     0    0    0 S    0  0.0   0:07.83 ksoftirqd/0
    4 root      RT   0     0    0    0 S    0  0.0   0:05.22 migration/1
    5 root      34  19     0    0    0 S    0  0.0   0:03.39 ksoftirqd/1
    6 root      RT   0     0    0    0 S    0  0.0   0:06.34 migration/2
    7 root      34  19     0    0    0 S    0  0.0   0:03.14 ksoftirqd/2
    8 root      RT   0     0    0    0 S    0  0.0   0:05.42 migration/3
    9 root      34  19     0    0    0 S    0  0.0   0:03.66 ksoftirqd/3
   10 root      RT   0     0    0    0 S    0  0.0   0:04.49 migration/4
   11 root      34  19     0    0    0 S    0  0.0   0:02.33 ksoftirqd/4

по цьому шось не дуже схоже на хард.. чия помиляюсь ?

Сергій Личко · « **Відповідей #3 :** 2008-08-22 17:42:14 »

В принципі так, швидкості читання/запису начебто нормальні.
Я тут помітив, що у Вас більше за все mysql проц їсть, так що треба б ще в нього поцікавитися, чим він так зайнятий, подивитися на те, які запити більш за все потребляють проца і якщо не оптимізувати запити, то хоча б перевірити чи є там всі індекси необхідні...

PAL · « **Відповідей #4 :** 2008-08-22 18:02:49 »

Фу-у-ух. Немає слів!
Ну це ж очевидно!!!

Дивимося, у тому же top'і:

Cpu(s): 50.8%us, 48.3%sy, 0.0%ni, 0.3%id, 0.0%wa, 0.0%hi, 0.7%si, 0.0%st

user & system processes з'їдають увесь проц.
Якщо ж тормозить хард, а проц не працює - буде велике навантаженя iowaits

Діагноз - замало процесорної потужності.

А що це за машина хоч? Хостинг? Шукайте, хто навантажує mysql (добряче допоможе у цьому mytop)

Volodymyrko · « **Відповідей #5 :** 2008-08-22 18:30:16 »

Цитата

Ну це ж очевидно!!!

переконатися мушу.. я не на стільки впевнений у своїй правоті.. та ще і виникли вуперечності навколо цього питання тут у себе на роботі ..

так хостинг .. але сервер свій .. ніби нормальний
2 4-ядерних Intel(R) Xeon(R) CPU E5335 @ 2.00GHz
16Г оперативки
3 таких
mptbase: Initiating ioc0 bringup
ioc0: SAS1068: Capabilities={Initiator}
scsi2 : ioc0: LSISAS1068, FwRev=01120000h, Ports=1, MaxQ=511, IRQ=169
Vendor: SEAGATE Model: ST373455SS Rev: 0002
Type: Direct-Access ANSI SCSI revision: 05
SCSI device sda: 143374744 512-byte hdwr sectors (73408 MB)
sda: Write Protect is off
sda: Mode Sense: b3 00 10 08
SCSI device sda: drive cache: write back w/ FUA
opensuse-10.2

добре з цим тоді розібрались ... хто навантажує будем шукати ..

ще може тоді таке маленьке питання :
чи є різниця між тим самим openSuse та "серверними" дистрибутивами.. а то треба інсталювати ще один схожий .. от і думаю чи ставити шось інше чи залишатись на opensuse ??

piktor · « **Відповідей #6 :** 2008-08-22 20:28:11 »

Цитата: vova07 від 2008-08-22 18:30:16

ще може тоді таке маленьке питання :
чи є різниця між тим самим openSuse та "серверними" дистрибутивами.. а то треба інсталювати ще один схожий .. от і думаю чи ставити шось інше чи залишатись на opensuse ??

По перше, є серверна SuSE.
По друге (на мою думку) відрязняється серверний дистрибутив від інших тим, що складається зі стабільних пакунків та має з коробки підтримку специфіки серверного обладнання.
В одну школу разом із комп'ютерним класом приїхав сервер, трохи поскромніший, ніж ви назвали, але залізо серверне. Мій рідний Debian Lenny на нього ставати відмовився, не міг визначити контролер жорстких дисків та мережевої картки. А от RHEL 5 став із задоволенням. Хоча, стала так само і нестабільна його кузина - Федора.

anatolijd · « **Відповідей #7 :** 2008-08-23 13:33:43 »

це все той самий сервак з мускл, питання про оптимізацію якого періодично виникають на протязі останнього року?

Тоді мабуть нема сенсу радити пошукати що який сайт яку базу завантажує - все мабуть давно відомо, і сайт(и) оптимізувати нема можливості, і індекси побудовані вже все давно, хіба сам мускл тюнити.

Відвідуваність сайту(-ів) велика?
Ану покажи, шо там:
# cat /etc/my.cnf
i
# mysqladmin extended-status

Volodymyrko · « **Відповідей #8 :** 2008-08-23 16:40:13 »

та той самий...
але я вже все-таки не питаю про оптимізацю
просто виник спір .. я схилявся до думки що бракує самого ЦПУ для mysql-ю . а керівник каже: що тих ЦПУ що є на сервері не може бракувати ..і що винні харди ..
ось і потрібно 100%-во впевнитись , щоб знати що робити далі.. міняти(нарощувати) ЦПУ чи хард ..
відвідуваність за к-ка останніх місяців упала . в цифрах не скажу зараз , якщодійсно потрібно можу пізніше написати ..

ось тут є деяка і-ція
http://vol-kovtun.narod.ru/my_cnf.html
http://vol-kovtun.narod.ru/my_ext.html
http://vol-kovtun.narod.ru/dmesg.html
http://vol-kovtun.narod.ru/kernel.html
буду вдячний за допомогу !!!

(Зрозуміло що потрібно виносити php на інший ,трохи слабший сервер(він у нас зараз є), але переконаний що це нічого не змінить докорінно .. ну і шось міняти в самому сайті ... програмісти також кажуть.. що там є що міняти.. але на це потрібен час, а якщо замінити вузьке місце то можна зразу досягти певного результату .. )

Для мене зараз важливим вибір дистрибутиву на ще один сервер(цей навіь потужніший має бути ніж теперішній з mysql-ем )

вже з наступного тижня треба інсталювати.. а що поставити - не знаю !!! кажуть ніби що треба серверний дистрибутив, але який ставити ?? (шкода моя улюблена FreeBSD поки не дуже дружить з mysql-ем)

Praporshic · « **Відповідей #9 :** 2008-08-23 17:21:09 »

Цитата: vova07 від 2008-08-23 16:40:13

шкода моя улюблена FreeBSD поки не дуже дружить з mysql-ем

Volodymyrko · « **Відповідей #10 :** 2008-08-23 20:57:08 »

Для prapor, я мав на увазі що по швидкодії вона все-таки поступається ...
як приклад :
на новішому залізу вона в якості mysql-сервера працювала гірше ніж Лункс на трохи старішому !!!
(та й і на тест натрапив в якому при конкурентних запитах читання-запису також FreeBSD програла)

anatolijd · « **Відповідей #11 :** 2008-08-25 16:52:27 »

ну можеш показати цей топік керівнику і сказати що різні незнайомі між собою люди по ввідних даних сказали що бракує саме ресурсів процесора.

Код: [Вибрати]

mysqladmin extended-status | grep Threads
| Threads_cached                    | 41           |
| Threads_connected                 | 1            |
| Threads_created                   | 42           |
| Threads_running                   | 1            |

Стосовно mysql - спробуй перевірити чи thread_cache в тебе достатній, мо поможе:

http://mysqltips.blogspot.com/2007/03/mysql-threads-tunning.html

Satan · « **Відповідей #12 :** 2008-08-30 18:42:25 »

не залежно від того хард це чи проц - допоможе реплікація. Але якщо сайт написаний без урахування реплікації, то звісно буде туго...

miwa · « **Відповідей #13 :** 2008-09-01 11:16:28 »

Не факт, що реплікація допоможе. Далеко не факт. По-перше, з доволі високою ймовірністю можна сказати, що база даних спроектована без особливостей реплікування, а звідси випливає по-друге - треба міняти практично всі нутрощі проекту. А людина ж оно пише, що потрібно _зараз_ хоч якесь рішення на період, поки програмери будусь програмувати.

Volodymyrko · « **Відповідей #14 :** 2008-09-01 11:36:06 »

реплікація вже досить довго використовується.. хоча і сайт спочатку був написаний не враховуючи реплікації, проте вона дуже допомагає в періоди більшого навантаження ... хоча могла б і більше використовуватись ..

Linux.org.ua

Автор Гілка: ЦПУ us ХАРД .. що тормозить ??? (Прочитано 6550 раз)

Volodymyrko

ЦПУ us ХАРД .. що тормозить ???

Сергій Личко

Re: ЦПУ us ХАРД .. що тормозить ???

Volodymyrko

Re: ЦПУ us ХАРД .. що тормозить ???

Сергій Личко

Re: ЦПУ us ХАРД .. що тормозить ???

PAL

Re: ЦПУ us ХАРД .. що тормозить ???

Volodymyrko

Re: ЦПУ us ХАРД .. що тормозить ???

piktor

Re: ЦПУ us ХАРД .. що тормозить ???

anatolijd

Re: ЦПУ us ХАРД .. що тормозить ???

Volodymyrko

Re: ЦПУ us ХАРД .. що тормозить ???

Praporshic

Re: ЦПУ us ХАРД .. що тормозить ???

Volodymyrko

Re: ЦПУ us ХАРД .. що тормозить ???

anatolijd

Re: ЦПУ us ХАРД .. що тормозить ???

Satan

Re: ЦПУ us ХАРД .. що тормозить ???

miwa

Re: ЦПУ us ХАРД .. що тормозить ???

Volodymyrko

Re: ЦПУ us ХАРД .. що тормозить ???