Стислий вміст гілки
Автор: anatolijd
« : 2008-10-09 04:20:45 »
в mysqladmin processlist є значно біьлша ніж звичайно була кількість запитів// але чого вони не виконуються А які значення Command, State, Info ? Можливо, багато часу займає саме створення/знищення тимчасових файлів-таблиць.
Автор: Volodymyrko
« : 2008-10-08 10:20:38 »
хоча : щоб не було чого б тим запитам і не оброблятися ,,,
Автор: Volodymyrko
« : 2008-10-08 10:16:54 »
так є там декілька директорій, які активно використовується апачем (кеш і т.д.), примонтованих по NFS ,
також про то подумав , але перевірив: скопіював їх всі локально ( ті мережні залишлись примонтованими в іншому місці , але вже не викорстовувались) - не помогло, результат такий самий був .
зі швидкість між серверами також немає проблем (одного разу був і такий випадок// декілька днів прийшлось чекати поки там щось поремонтували )
АЛЕ здається трохи проблему вдалось вирішити : взявся дивитись хто лазить по сайтам (може які роботи дістали ) і блокувати . Так щоб стось досив не замітив (але тяжко шукати коли сайтів-партнером вжк більше 100 і в кожного свій лог (робити один лог на всіх також не дуже цікаво -- дуже виликий буде і не розбереш на який сайт ) ) і якось заблокував 2 мережі класу С і одну В .... і сталося диво - навантаження впало до попередніх показників .
залишається спробувати розібратись шо то було
Автор: anatolijd
« : 2008-10-07 22:34:05 »
85.0%id,
бачив схожу проблему на серверах, які працюють з примонтованими по мережі партиціями.
З останніх спогадів - apache писав логи в діру примоновану по nfs, і `freshclam --quiet` апдейтив антивірусну базу яка теж знаходилась в директорії на примонованій партиції. Шось в датацентрі зглюкавило (можливо filer) і в результаті - не сервері average load > 200.0 , CPU %id високий а більшість процесів нічого не роблять.
Відповідно, ні httpd ні freshclam було неможливо кільнути.
В вас нічого подібного немає ?
Автор: Volodymyrko
« : 2008-10-07 13:49:55 »
а ось і продовження
додали до БД кілька індексів// серверу стала набагато краще . завантаженнй був ЛИШЕ десь на половину /
і через тиждень приблизно така ситуація//
top - 13:42:57 up 224 days, 21:19, 2 users, load average: 39.12, 31.83, 26.35
Tasks: 345 total, 3 running, 340 sleeping, 0 stopped, 2 zombie
Cpu0 : 11.9%us, 9.6%sy, 0.0%ni, 77.2%id, 1.0%wa, 0.0%hi, 0.3%si, 0.0%st
Cpu1 : 8.0%us, 7.0%sy, 0.0%ni, 85.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu2 : 6.6%us, 10.0%sy, 0.0%ni, 83.4%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3 : 8.0%us, 7.0%sy, 0.0%ni, 85.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu4 : 10.3%us, 11.9%sy, 0.0%ni, 75.2%id, 2.6%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu5 : 5.6%us, 12.3%sy, 0.0%ni, 82.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu6 : 8.3%us, 12.9%sy, 0.0%ni, 78.8%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu7 : 7.9%us, 12.9%sy, 0.0%ni, 79.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16425160k total, 12132328k used, 4292832k free, 397756k buffers
Swap: 2104472k total, 144856k used, 1959616k free, 8110296k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
13907 mysql 15 0 3367m 1.1g 4464 S 118 6.9 325:38.08 mysqld
29082 wwwrun 15 0 506m 44m 13m S 5 0.3 0:00.41 httpd2-prefork
28752 wwwrun 15 0 503m 47m 17m S 4 0.3 0:00.65 httpd2-prefork
29117 wwwrun 16 0 505m 44m 15m S 3 0.3 0:00.58 httpd2-prefork
29464 wwwrun 16 0 502m 43m 14m S 3 0.3 0:00.21 httpd2-prefork
29031 wwwrun 16 0 505m 46m 16m S 2 0.3 0:00.53 httpd2-prefork
29063 wwwrun 16 0 505m 45m 16m S 2 0.3 0:00.33 httpd2-prefork
29257 wwwrun 16 0 503m 39m 10m S 2 0.2 0:00.22 httpd2-prefork
28986 wwwrun 16 0 505m 46m 16m R 2 0.3 0:00.48 httpd2-prefork
29187 wwwrun 15 0 505m 46m 17m S 2 0.3 0:00.40 httpd2-prefork
29374 wwwrun 16 0 503m 38m 9616 S 2 0.2 0:00.23 httpd2-prefork
28621 wwwrun 15 0 503m 47m 18m S 1 0.3 0:00.80 httpd2-prefork
29293 wwwrun 15 0 503m 44m 15m S 1 0.3 0:00.39 httpd2-prefork
28855 wwwrun 16 0 0 0 0 Z 1 0.0 0:00.48 httpd2-prefork <defunct>
29138 wwwrun 15 0 505m 44m 14m S 1 0.3 0:00.33 httpd2-prefork
29285 root 15 0 17068 1604 984 R 1 0.0 0:00.93 top
28802 wwwrun 16 0 505m 48m 19m S 0 0.3 0:00.82 httpd2-prefork
28974 wwwrun 15 0 505m 48m 18m S 0 0.3 0:00.67 httpd2-prefo
vmstat
top - 13:42:57 up 224 days, 21:19, 2 users, load average: 39.12, 31.83, 26.35
Tasks: 345 total, 3 running, 340 sleeping, 0 stopped, 2 zombie
Cpu0 : 11.9%us, 9.6%sy, 0.0%ni, 77.2%id, 1.0%wa, 0.0%hi, 0.3%si, 0.0%st
Cpu1 : 8.0%us, 7.0%sy, 0.0%ni, 85.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu2 : 6.6%us, 10.0%sy, 0.0%ni, 83.4%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3 : 8.0%us, 7.0%sy, 0.0%ni, 85.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu4 : 10.3%us, 11.9%sy, 0.0%ni, 75.2%id, 2.6%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu5 : 5.6%us, 12.3%sy, 0.0%ni, 82.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu6 : 8.3%us, 12.9%sy, 0.0%ni, 78.8%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu7 : 7.9%us, 12.9%sy, 0.0%ni, 79.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16425160k total, 12132328k used, 4292832k free, 397756k buffers
Swap: 2104472k total, 144856k used, 1959616k free, 8110296k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
13907 mysql 15 0 3367m 1.1g 4464 S 118 6.9 325:38.08 mysqld
29082 wwwrun 15 0 506m 44m 13m S 5 0.3 0:00.41 httpd2-prefork
28752 wwwrun 15 0 503m 47m 17m S 4 0.3 0:00.65 httpd2-prefork
29117 wwwrun 16 0 505m 44m 15m S 3 0.3 0:00.58 httpd2-prefork
29464 wwwrun 16 0 502m 43m 14m S 3 0.3 0:00.21 httpd2-prefork
29031 wwwrun 16 0 505m 46m 16m S 2 0.3 0:00.53 httpd2-prefork
29063 wwwrun 16 0 505m 45m 16m S 2 0.3 0:00.33 httpd2-prefork
29257 wwwrun 16 0 503m 39m 10m S 2 0.2 0:00.22 httpd2-prefork
28986 wwwrun 16 0 505m 46m 16m R 2 0.3 0:00.48 httpd2-prefork
29187 wwwrun 15 0 505m 46m 17m S 2 0.3 0:00.40 httpd2-prefork
29374 wwwrun 16 0 503m 38m 9616 S 2 0.2 0:00.23 httpd2-prefork
28621 wwwrun 15 0 503m 47m 18m S 1 0.3 0:00.80 httpd2-prefork
29293 wwwrun 15 0 503m 44m 15m S 1 0.3 0:00.39 httpd2-prefork
28855 wwwrun 16 0 0 0 0 Z 1 0.0 0:00.48 httpd2-prefork <defunct>
29138 wwwrun 15 0 505m 44m 14m S 1 0.3 0:00.33 httpd2-prefork
29285 root 15 0 17068 1604 984 R 1 0.0 0:00.93 top
28802 wwwrun 16 0 505m 48m 19m S 0 0.3 0:00.82 httpd2-prefork
28974 wwwrun 15 0 505m 48m 18m S 0 0.3 0:00.67 httpd2-prefo
iostat
top - 13:42:57 up 224 days, 21:19, 2 users, load average: 39.12, 31.83, 26.35
Tasks: 345 total, 3 running, 340 sleeping, 0 stopped, 2 zombie
Cpu0 : 11.9%us, 9.6%sy, 0.0%ni, 77.2%id, 1.0%wa, 0.0%hi, 0.3%si, 0.0%st
Cpu1 : 8.0%us, 7.0%sy, 0.0%ni, 85.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu2 : 6.6%us, 10.0%sy, 0.0%ni, 83.4%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3 : 8.0%us, 7.0%sy, 0.0%ni, 85.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu4 : 10.3%us, 11.9%sy, 0.0%ni, 75.2%id, 2.6%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu5 : 5.6%us, 12.3%sy, 0.0%ni, 82.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu6 : 8.3%us, 12.9%sy, 0.0%ni, 78.8%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu7 : 7.9%us, 12.9%sy, 0.0%ni, 79.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16425160k total, 12132328k used, 4292832k free, 397756k buffers
Swap: 2104472k total, 144856k used, 1959616k free, 8110296k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
13907 mysql 15 0 3367m 1.1g 4464 S 118 6.9 325:38.08 mysqld
29082 wwwrun 15 0 506m 44m 13m S 5 0.3 0:00.41 httpd2-prefork
28752 wwwrun 15 0 503m 47m 17m S 4 0.3 0:00.65 httpd2-prefork
29117 wwwrun 16 0 505m 44m 15m S 3 0.3 0:00.58 httpd2-prefork
29464 wwwrun 16 0 502m 43m 14m S 3 0.3 0:00.21 httpd2-prefork
29031 wwwrun 16 0 505m 46m 16m S 2 0.3 0:00.53 httpd2-prefork
29063 wwwrun 16 0 505m 45m 16m S 2 0.3 0:00.33 httpd2-prefork
29257 wwwrun 16 0 503m 39m 10m S 2 0.2 0:00.22 httpd2-prefork
28986 wwwrun 16 0 505m 46m 16m R 2 0.3 0:00.48 httpd2-prefork
29187 wwwrun 15 0 505m 46m 17m S 2 0.3 0:00.40 httpd2-prefork
29374 wwwrun 16 0 503m 38m 9616 S 2 0.2 0:00.23 httpd2-prefork
28621 wwwrun 15 0 503m 47m 18m S 1 0.3 0:00.80 httpd2-prefork
29293 wwwrun 15 0 503m 44m 15m S 1 0.3 0:00.39 httpd2-prefork
28855 wwwrun 16 0 0 0 0 Z 1 0.0 0:00.48 httpd2-prefork <defunct>
29138 wwwrun 15 0 505m 44m 14m S 1 0.3 0:00.33 httpd2-prefork
29285 root 15 0 17068 1604 984 R 1 0.0 0:00.93 top
28802 wwwrun 16 0 505m 48m 19m S 0 0.3 0:00.82 httpd2-prefork
28974 wwwrun 15 0 505m 48m 18m S 0 0.3 0:00.67 httpd2-prefo
free
top - 13:42:57 up 224 days, 21:19, 2 users, load average: 39.12, 31.83, 26.35
Tasks: 345 total, 3 running, 340 sleeping, 0 stopped, 2 zombie
Cpu0 : 11.9%us, 9.6%sy, 0.0%ni, 77.2%id, 1.0%wa, 0.0%hi, 0.3%si, 0.0%st
Cpu1 : 8.0%us, 7.0%sy, 0.0%ni, 85.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu2 : 6.6%us, 10.0%sy, 0.0%ni, 83.4%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3 : 8.0%us, 7.0%sy, 0.0%ni, 85.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu4 : 10.3%us, 11.9%sy, 0.0%ni, 75.2%id, 2.6%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu5 : 5.6%us, 12.3%sy, 0.0%ni, 82.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu6 : 8.3%us, 12.9%sy, 0.0%ni, 78.8%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu7 : 7.9%us, 12.9%sy, 0.0%ni, 79.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16425160k total, 12132328k used, 4292832k free, 397756k buffers
Swap: 2104472k total, 144856k used, 1959616k free, 8110296k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
13907 mysql 15 0 3367m 1.1g 4464 S 118 6.9 325:38.08 mysqld
29082 wwwrun 15 0 506m 44m 13m S 5 0.3 0:00.41 httpd2-prefork
28752 wwwrun 15 0 503m 47m 17m S 4 0.3 0:00.65 httpd2-prefork
29117 wwwrun 16 0 505m 44m 15m S 3 0.3 0:00.58 httpd2-prefork
29464 wwwrun 16 0 502m 43m 14m S 3 0.3 0:00.21 httpd2-prefork
29031 wwwrun 16 0 505m 46m 16m S 2 0.3 0:00.53 httpd2-prefork
29063 wwwrun 16 0 505m 45m 16m S 2 0.3 0:00.33 httpd2-prefork
29257 wwwrun 16 0 503m 39m 10m S 2 0.2 0:00.22 httpd2-prefork
28986 wwwrun 16 0 505m 46m 16m R 2 0.3 0:00.48 httpd2-prefork
29187 wwwrun 15 0 505m 46m 17m S 2 0.3 0:00.40 httpd2-prefork
29374 wwwrun 16 0 503m 38m 9616 S 2 0.2 0:00.23 httpd2-prefork
28621 wwwrun 15 0 503m 47m 18m S 1 0.3 0:00.80 httpd2-prefork
29293 wwwrun 15 0 503m 44m 15m S 1 0.3 0:00.39 httpd2-prefork
28855 wwwrun 16 0 0 0 0 Z 1 0.0 0:00.48 httpd2-prefork <defunct>
29138 wwwrun 15 0 505m 44m 14m S 1 0.3 0:00.33 httpd2-prefork
29285 root 15 0 17068 1604 984 R 1 0.0 0:00.93 top
28802 wwwrun 16 0 505m 48m 19m S 0 0.3 0:00.82 httpd2-prefork
28974 wwwrun 15 0 505m 48m 18m S 0 0.3 0:00.67 httpd2-prefoвже зовсім нічого не розумію, процесор ніби і нічого не робить // решта показників також не великі//
звідки така величезне навантаження
в mysqladmin processlist є значно біьлша ніж звичайно була кількість запитів// але чого вони не виконуються .. ресурси ж є ///
звичайно всі стверджують шо чогось страшного на сайті нічого в коді не міняли, але дивують показники ЦПУ і т.д.
Автор: anatolijd
« : 2008-10-01 15:07:16 »
і буде простір на майбутнє е-е-е..., а простір для чого саме ? крім виносу мускла на окремий бокс, чим ще воно може допомогти? Розкидати UPDATE і SELECT queries на відповідно мастер- і слейв-інстанси, без будь-якої модифікації коду на сайті? Ну так якщо двигун сайту не сумісний з такою схемою (а було сказано що він не сумісний), то й користі від такої можливості не буде. особосто я раніше не ніколи користувався mysqlproxy, якщо в вас є досвід - поділіться, пліз 
Автор: olex
« : 2008-10-01 10:26:13 »
в даному випадку краще буде винести mysql на окремий сервер а на цьому сервері використати mysqlproxy
таким способом вирішите і теперішню проблему і буде простір на майбутнє
Автор: Satan
« : 2008-09-03 09:06:38 »
навіть комерційною версією можна користуватись 1 місяць безкоштовно. тріал-період інтел здається не відміняла )
Автор: anatolijd
« : 2008-09-03 08:57:42 »
Автор: Volodymyrko
« : 2008-09-02 22:55:09 »
vtune ?? це від Інтелу програма-аналізатор .. а хіба вона не платна
(перший раз чую .. і на швидку руку знайшов шо воно комерційне... ще пошукаю)
чи я не так зрозумів попереднє повідомлення ??
Автор: Satan
« : 2008-09-02 17:26:50 »
а мені здається що моніторити латентність пам'яті неможливо... навіть на рівня ядра
доречі було б цікаво побачити результати профалінгу mysql.. впевнений що там можна було б побачити багато цікавого.. ви можете його прогнати на vtune?
Автор: PAL
« : 2008-09-02 16:50:19 »
А взагалі мені дуже не подобається навантаження system CPU, забагато, на мій погляд...
Автор: PAL
« : 2008-09-02 16:47:56 »
iowaits не відноситься до операцій із RAM на відміну від HDD, чи я помиляюсь? Шина бува різна  Наприклад PCI -теж шина Але не в цьому справа. iowaits показує, що процессор чекає, доки йому нададуть дані, бо хтось з пристроїв не встигає це робити. iowait
Amount of time the CPU has been waiting for I/O to complete.
Якщо я не помиляюся, IO тут розуміється взагалі, а не лише HDD
Автор: Satan
« : 2008-09-02 16:33:29 »
iowaits не відноситься до операцій із RAM на відміну від HDD, чи я помиляюсь?
Автор: PAL
« : 2008-09-02 16:20:51 »
схоже ви не розумієте про що я кажу
Розумію. Ви кажете щодо заліза, тобто що процесору не встигають давати дані. Але у цьому випадку або піднялося б iowaits або ми б не бачили повне навантаження усіх процесорів...
|
