обмеження apache

[Volodymyrko]

Є веб-сервер на FreeBSD-6.0 і apache дуже сильно грузить систему , top показує
 load averages:  3.83,  5.24,  4.07 або часами НАБАГАТО  більше ( 7-8 ) ..  (памяті ніби хватає ..)
Як можна жорстко обмежити використання  apache-ем процесора ...
(може якось через login.conf   чи limits  ??7)

[Володимир Лісівка]

LA - це середня кількість процесів які очікують зовнішніх ресурсів для продовження виконання. Зовнішній ресурс - це процесор, пам'ять, ввід/вивід (дисковий, IPC, чи мережний).

Ви впевнені що вам не вистачає саме процесора а не наприклад пам'яті чи I/O?

Обмежувати процесор апачу немає сенсу (та і немає чим) - решту часу процесор буде крутити idle loop замість того щоб працювати. Краще поставити нижчий пріорітет апачу (man nice, man renice).

Я рекомендував би потюнити конфігурацію апача: http://freeunix.unicor.ru/content.php?page=Apache&id=57

[Volodymyrko]

редугувтаи httpd.conf пробував не один раз, великих результатів не принесло...
в середньому httpd-процесів 20-30 (пік 60 але дуже рідко ) ...
попробував запустити httpd так:
nice -19 /usr/local/sbin/httpd -DSSL  (це ніби найнижчий пріритет, чи може навпаки треба)
ось наприклад заголовок top-у

llast pid: 65079;  load averages: 12.24, 12.61, 10.85    up 0+22:40:17  12:08:10
110 processes: 1 starting, 20 running, 89 sleeping
CPU states:  0.2% user, 64.4% nice, 35.1% system,  0.4% interrupt,  0.0% idle
Mem: 274M Active, 10M Inact, 110M Wired, 22M Cache, 60M Buf, 77M Free
Swap: 1536M Total, 20M Used, 1516M Free, 1% Inuse

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
65079 mysql       1 139   14 84908K 11536K RUN    1   0:00 10.00% mysqld
64968 mysql       1 137   14 84908K 11536K RUN    1   0:01  7.24% mysqld
64955 mysql       1 134   14 84908K 11536K RUN    1   0:01  7.02% mysqld
64834 mysql       1 132   14 84908K 11536K RUN    1   0:04  6.79% mysqld
65062 mysql       1 139   14 84908K 11536K RUN    1   0:00  6.44% mysqld
64894 mysql       1 133   14 84908K 11536K RUN    1   0:02  6.36% mysqld
65061 mysql       1 139   14 84908K 11536K RUN    1   0:00  6.11% mysqld
64978 mysql       1 138   14 84908K 11536K RUN    1   0:01  5.65% mysqld
64866 mysql       1 130   14 84908K 11536K RUN    0   0:03  5.62% mysqld
64875 mysql       1 131   14 84908K 11536K RUN    0   0:02  5.56% mysqld
64913 mysql       1 132   14 84908K 11536K RUN    1   0:02  5.28% mysqld
65063 mysql       1 139   14 84908K 11536K RUN    0   0:00  4.70% mysqld
64838 webrun      1   4   19 26144K 17836K sbwait 1   0:02  4.59% httpd
64921 mysql       1 131   14 84908K 11536K CPU0   0   0:01  4.46% mysqld
64965 mysql       1 134   14 84908K 11536K RUN    1   0:01  4.28% mysqld
64869 webrun      1   4   19 27208K 18864K sbwait 1   0:01  3.30% httpd
64912 mysql       1 129   14 84908K 11536K RUN    0   0:01  3.27% mysqld
64964 mysql       1 134   14 84908K 11536K RUN    1   0:01  3.12% mysqld
64851 webrun      1  20   19 21544K 13176K lockf  1   0:01  2.79% httpd
64664 webrun      1   4   19 26236K 17880K sbwait 0   0:02  2.72% httpd
64285 webrun      1   4   19 19856K 11444K sbwait 0   0:05  2.59% httpd


(1.5 Г свапу - це 512 окремим розділом і 1 Г файлом ..)
не схоже на те щоб памяті не хватало, свап дуже мало використовується ...
# ps ax|grep -c htt
60
#
 (в основному нагрузка на така велика load averages: 2-7, але зараз вже 15хв. так тримається )

а як взнати на рахунок  I/O  

через тих 15 хв. вже трохи краще
last pid: 66007;  load averages:  5.88, 10.00, 10.25                                                 up 0+22:44:17  12:12:10
68 processes:  2 running, 66 sleeping
CPU states:  0.2% user, 43.8% nice, 32.8% system,  0.7% interrupt, 22.5% idle
Mem: 136M Active, 20M Inact, 106M Wired, 21M Cache, 60M Buf, 212M Free
Swap: 1536M Total, 20M Used, 1516M Free, 1% Inuse

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
66002 mysql       1 139   14 79124K  8692K CPU0   0   0:02 57.42% mysqld
65912 mysql       1   4   14 79124K  8692K sbwait 0   0:03 23.14% mysqld
65102 webrun      1   4   19 26764K 18392K sbwait 1   0:07  3.61% httpd
65914 webrun      1   4   19 18500K 10068K sbwait 0   0:00  3.57% httpd
64644 webrun      1  20   19 23576K 15216K lockf  1   0:07  2.78% httpd
65993 webrun      1 134   19 19344K 10820K select 1   0:00  2.64% httpd
65872 webrun      1   4   19 21756K 13356K sbwait 1   0:01  2.55% httpd
65887 webrun      1   4   19 19556K 11112K sbwait 0   0:01  2.40% httpd
65890 webrun      1   4   19 19636K 11180K sbwait 0   0:01  2.16% httpd
65639 webrun      1   4   19 21992K 13616K sbwait 0   0:02  2.11% httpd

# ps ax|grep -c htt
26
#

може це mysqld так грузить
cat /var/db/mysql/my.cnf |grep -v ^\#
[mysqld]
default-character-set=cp1251
character-set-server=cp1251
collation-server=cp1251_general_ci
init-connect="SET NAMES cp1251"
skip-character-set-client-handshake

key_buffer = 16M
max_allowed_packet = 1M
table_cache = 64
net_buffer_length = 8K
sort_buffer_size = 512K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M
interactive_timeout = 50
wait_timeout = 30

і тут міняв різні значення (але зовсім не розумію що вони означають), брав з /usr/local/share/mysql/my-*.cnf .... картина не змінювалася ...
може підкажети як правильніше ... ? (Server version          5.0.24, зібраний з потрів з стандартними опціями + WITH_LINUXTHREADS+BUILD_OPTIMIZED )

[Praporshic]

Власне, на всіх серверах вже давно 6.1, але це має великої різниці.
Стосовно мускуля, конфіг для версії 5.0:

cat /etc/my.cnf | grep -v "#"
[client]
port            = 3306
socket          = /tmp/mysql.sock
default-character-set = cp1251

[mysqld]
port            = 3306
socket          = /tmp/mysql.sock
skip-locking
key_buffer = 16K
max_allowed_packet = 1M
table_cache = 4
sort_buffer_size = 64K
read_buffer_size = 256K
read_rnd_buffer_size = 256K
net_buffer_length = 2K
thread_stack = 64K
server-id       = 1
default-character-set = cp1251

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
default-character-set = cp1251

[isamchk]
key_buffer = 8M
sort_buffer_size = 8M

[myisamchk]
key_buffer = 8M
sort_buffer_size = 8M

[mysqlhotcopy]
interactive-timeout

Стосовно апача - трохи складніше - завеликий конфіг та не відомо, у якому вигляді його зібрано (prefork, perchild, worker).
Ще раджу подивитись на systat -v, а саме на навантаження на жорсткий диск.

[235]

виглядає страшнуватенько якось, аж зовсім не подібно на проблеми сервісів.

У мене закрадається підозра, що за тим апачем лежить може якесь творіння моднячого пхп "прогаміста" з малюванням й генеруванням картинок виключно на льоту й дуже модньою БД із виключно текстовими полями й індексами по них. Звучить іронічно, але жорстока правда, з якою зтикався.

[Volodymyrko]

У мене закрадається підозра, що за тим апачем лежить може якесь творіння моднячого пхп "прогаміста" з малюванням й генеруванням картинок виключно на льоту й дуже модньою БД із виключно текстовими полями й індексами по них. Звучить іронічно, але жорстока правда, з якою зтикався.

там дійсно є лише кілька сайтів на ПХП, і дуже багато малюнків .... і почалася ця історія з переносом не сервер одного із  цих сайтів ...  
з програмістами пробував  говорити, але нічого вони не будуть робити ...
тому і хочу просто зменщити навантаження на сервер будь-якою ціною, а то він і зависати почав,  і не понятно від чого: чи від того самого навантаження чи може  залізо підводить  ( вже і старе трохи і є підозри на перегрів) ..

[PAL]

Щось по топу бiльше здається, що це mysqld грузить систему.

[Володимир Лісівка]

Стосовно мускуля, конфіг для версії 5.0:

cat /etc/my.cnf | grep -v "#"
[client]
port            = 3306
socket          = /tmp/mysql.sock
default-character-set = cp1251

[mysqld]
port            = 3306
socket          = /tmp/mysql.sock
skip-locking
key_buffer = 16K
max_allowed_packet = 1M
table_cache = 4
sort_buffer_size = 64K
read_buffer_size = 256K
read_rnd_buffer_size = 256K
net_buffer_length = 2K
thread_stack = 64K
server-id       = 1
default-character-set = cp1251

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
default-character-set = cp1251

[isamchk]
key_buffer = 8M
sort_buffer_size = 8M

[myisamchk]
key_buffer = 8M
sort_buffer_size = 8M

[mysqlhotcopy]
interactive-timeout

А можна задати дурне запитання - чому в MySQL версії 5.0 ви досі використовуєте таблиці MyISAM замість InnoDB? Вам не шкода своїх даних?

[Володимир Лісівка]

редугувтаи httpd.conf пробував не один раз, великих результатів не принесло...
в середньому httpd-процесів 20-30 (пік 60 але дуже рідко ) ...
попробував запустити httpd так:
nice -19 /usr/local/sbin/httpd -DSSL  (це ніби найнижчий пріритет, чи може навпаки треба)

Таки треба навпаки - -19 - це найвищий пріорітет для nice, найнжчий буде при "nice +20".

ось наприклад заголовок top-у

llast pid: 65079;  load averages: 12.24, 12.61, 10.85    up 0+22:40:17  12:08:10
110 processes: 1 starting, 20 running, 89 sleeping
CPU states:  0.2% user, 64.4% nice, 35.1% system,  0.4% interrupt,  0.0% idle
Mem: 274M Active, 10M Inact, 110M Wired, 22M Cache, 60M Buf, 77M Free
Swap: 1536M Total, 20M Used, 1516M Free, 1% Inuse

 PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
65063 mysql      1 139   14 84908K 11536K RUN    0   0:00  4.70% mysqld
64838 webrun   1    4   19 26144K 17836K sbwait 1   0:02  4.59% httpd

У mysql-я ефективний пріоритет - більше 130, а у апача - 4 (наскільки мені відомо, пріорітети від 0 до 3 зарезервовані для процесів ядра).

Судячи з того що 30% часу виконується код системи (35.1% system) а не програми, у вас не вистачає пам'яті або I/O. Скоріше за все в mysql-і виставлені маленькі буфери, які не відповідають розмірам бази, тому mysql змушений дуже часто перечитувати дані з диску, замість того щоб тримати їх в пам'яті.

а як взнати на рахунок  I/O  

Поставте dstat, напр. - там інформація зручно виводиться. Можна і стандартний iostat з пакету sysstat використати. (Я користуюся лінуксом, але це, здається, стандартні утиліти).

може це mysqld так грузить
cat /var/db/mysql/my.cnf |grep -v ^\#
[mysqld]
default-character-set=cp1251
character-set-server=cp1251
collation-server=cp1251_general_ci
init-connect="SET NAMES cp1251"
skip-character-set-client-handshake

key_buffer = 16M
max_allowed_packet = 1M
table_cache = 64
net_buffer_length = 8K
sort_buffer_size = 512K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M
interactive_timeout = 50
wait_timeout = 30

і тут міняв різні значення (але зовсім не розумію що вони означають), брав з /usr/local/share/mysql/my-*.cnf .... картина не змінювалася ...
може підкажети як правильніше ... ? (Server version          5.0.24, зібраний з потрів з стандартними опціями + WITH_LINUXTHREADS+BUILD_OPTIMIZED )

Та напевно що mysql. Спробуйте використати за основу my-huge.cnf. 16Mb під буфер індексів (kebuffer для MyISAM, innodb_buffer_pool_size для InnoDB) - це надзвичайно мало. Я також рекомендую перевести всі таблиці з MyISAM на InnoDB engine (чи через ALTER чи через mysqldump | sed 's/MyISAM/InnoDB/gi'.

Щоб подивитися статистику використайте "SHOW VARIABLES;" або "/usr/libexec/mysqld --verbose --help".
Зверніть увагу на співвідношення Key_read_requests до Key_reads - реальних звертань до диску має бути мінімум в 100 раз менше ніж запитів на читання, а краще - в 1000 раз менше. Якщо це співвідношення менше за 100, збільшуйте розмір буферу. Так само зверніть увагу на розмір кешу таблиць (Opened_tables/Open_tables) і збільшіть table_cache, та інші параметри: http://www.databasejournal.com/features/mysql/article.php/3367871 , http://dev.mysql.com/doc/refman/4.1/en/server-parameters.html .

[Praporshic]

А можна задати дурне запитання - чому в MySQL версії 5.0 ви досі використовуєте таблиці MyISAM замість InnoDB? Вам не шкода своїх даних?

Хм, наскільки я пам'ятаю, то у наступній версії InnoDB взагалі збираються викинути (якщо я не переплутав).
Окрім того, користувач сам може обирати який тип таблиць використати, і багато хто почне волати якщо їм не дати MyISAM.
А взагалі, резервне копіювання робиться щодоби.  

[Володимир Лісівка]

А можна задати дурне запитання - чому в MySQL версії 5.0 ви досі використовуєте таблиці MyISAM замість InnoDB? Вам не шкода своїх даних?

Хм, наскільки я пам'ятаю, то у наступній версії InnoDB взагалі збираються викинути (якщо я не переплутав).

Таки переплутали. Викинули ISAM, як заміну пропонують MyISAM.

Окрім того, користувач сам може обирати який тип таблиць використати, і багато хто почне волати якщо їм не дати MyISAM.

Таких, напевно, небагато знайдеться так як InnoDB в багатьох випатках швидша за MyISAM, а в небагатьох випадках не значно повільніша за MyISAM. MyISAM добрий коли потрібно швидко робити лише прості select-и. Напевно їм буде простіше зробити кластер для тих небагатьох випадків.

[Volodymyrko]

збільшив параметри  my.cnf до :

Код: [Вибрати]

[mysqld]
default-character-set=cp1251
character-set-server=cp1251
collation-server=cp1251_general_ci
init-connect="SET NAMES cp1251"
skip-character-set-client-handshake

interactive_timeout = 50
wait_timeout = 30
skip-locking
key_buffer = 256M
max_allowed_packet = 1M
table_cache = 512
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 4M
myisam_sort_buffer_size = 64M
thread_cache_size = 8
query_cache_size= 16M
thread_concurrency = 8
server-id = 1

Код: [Вибрати]

..........
Open_tables                       | 103       |
| Opened_tables                     | 109       |
...............
 Key_read_requests                 | 112733    |
| Key_reads                         | 748       |
.................................

Таки треба навпаки - -19 - це найвищий пріорітет для nice, найнжчий буде при "nice +20".

в принципі вже запускаю без nice, але знак "+" не обовязково ставити, я є писав -19 а не --19 ... тут процес запускається з пріоритетом 19 (з top-у видно), тобто дуже низьким ... що і треба було.

Судячи з того що 30% часу виконується код системи (35.1% system) а не програми, у вас не вистачає пам'яті або I/O. Скоріше за все в mysql-і виставлені маленькі буфери, які не відповідають розмірам бази, тому mysql змушений дуже часто перечитувати дані з диску, замість того щоб тримати їх в пам'яті.

на рахунок памяті - в top-і завжди вільно 30-100М , і в свап не пишеться більше 100М, (звичайно є винятки, але в основному так...)
а от на рахунок диску дивися але на жаль не розібрався, ось може ви щось підкажите

Код: [Вибрати]

# iostat  -w 1
      tty             ad2             cpu
 tin tout  KB/t tps  MB/s  us ni sy in id
   0   96 31.58  10  0.30  12 30 24  1 33
   0  258  9.00   2  0.02  50 11 36  1  2
   0   86 15.50  12  0.18  47 17 35  1  0
   0   86 26.95  11  0.29  53 17 28  1  0
   0   86 16.00   1  0.02  61 12 25  2  0

    1 users    Load  4.83  4.46  3.98                  Sep 28 17:41

Mem:KB    REAL            VIRTUAL                     VN PAGER  SWAP PAGER
        Tot   Share      Tot    Share    Free         in  out     in  out
Act  228780    6540   733816    18192  136068 count
All  383184    8712 15864804    28628         pages
                                                                 Interrupts
Proc:r  p  d  s  w    Csw  Trp  Sys  Int  Sof  Flt    168 cow    4073 total
     4       93      3918 311118762 1529  397 2891 114344 wire        1: atkb
                                                   204124 act         6: fdc0
28.0%Sys   1.9%Intr 62.1%User  8.1%Nice  0.0%Idl    51192 inact       10: ohc
|    |    |    |    |    |    |    |    |    |      15452 cache       13: npx
==============+>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>--   120616 free        14: ata
                                                          daefr     1 15: ata
Namei         Name-cache    Dir-cache                 895 prcfr       20: fxp
    Calls     hits    %     hits    %                     react    72 21: fxp
   159688   159685  100                                   pdwak  2000 cpu0: time
                                     1923 zfod            pdpgs  2000 cpu1: time
Disks   ad2                          1907 ofod            intrn
KB/t  25.60                            99 %slo-z    61472 buf
tps       1                          2453 tfree       103 dirtybuf
MB/s   0.02                                         35667 desiredvnodes
% busy    1                                          9509 numvnodes
                                                     7322 freevnodes


[Praporshic]

Власне ось:

Disks   ad2      
 KB/t  25.60    
 tps       1        
 MB/s   0.02    
 % busy    1    

[Volodymyrko]

Disks ad2
KB/t 25.60
tps 1
MB/s 0.02
% busy 1

я ніби поняв що воно тут, але що значать ці параматри і які вони мають бути: дорі,нормальні і погані

[Володимир Лісівка]

збільшив параметри  my.cnf до :

Код: [Вибрати]

[mysqld]
collation-server=cp1251_general_ci
init-connect="SET NAMES cp1251"
skip-character-set-client-handshake


Цього я не знав - я завжди виставляв кодування в клієнта (цікаво, як воно працюватиме з UTF-8).

Код: [Вибрати]

..........
Open_tables                       | 103       |
| Opened_tables                     | 109       |
...............
 Key_read_requests                 | 112733    |
| Key_reads                         | 748       |
.................................

Тут все ок.

Таки треба навпаки - -19 - це найвищий пріорітет для nice, найнжчий буде при "nice +20".

в принципі вже запускаю без nice, але знак "+" не обовязково ставити, я є писав -19 а не --19 ... тут процес запускається з пріоритетом 19 (з top-у видно), тобто дуже низьким ... що і треба було.

Цитую доку:

Nicenesses range from -20 (most favorable scheduling) to 19 (least favorable).

-20 - це найвищий пріорітет, а +19 - найнижчий. Плюс чи мінус ставити обов'язково, інакше nice сприйме число як команду а не як ключик.

З top-у видно що у апача ефективний пріорітет був 4 - а це дуже високий пріорітет.

Судячи з того що 30% часу виконується код системи (35.1% system) а не програми, у вас не вистачає пам'яті або I/O. Скоріше за все в mysql-і виставлені маленькі буфери, які не відповідають розмірам бази, тому mysql змушений дуже часто перечитувати дані з диску, замість того щоб тримати їх в пам'яті.

на рахунок памяті - в top-і завжди вільно 30-100М , і в свап не пишеться більше 100М, (звичайно є винятки, але в основному так...)
а от на рахунок диску дивися але на жаль не розібрався, ось може ви щось підкажите

Код: [Вибрати]

# iostat  -w 1
      tty             ad2             cpu
 tin tout  KB/t tps  MB/s  us ni sy in id
   0   96 31.58  10  0.30  12 30 24  1 33
   0  258  9.00   2  0.02  50 11 36  1  2
   0   86 15.50  12  0.18  47 17 35  1  0
   0   86 26.95  11  0.29  53 17 28  1  0
   0   86 16.00   1  0.02  61 12 25  2  0

    1 users    Load  4.83  4.46  3.98                  Sep 28 17:41

Mem:KB    REAL            VIRTUAL                     VN PAGER  SWAP PAGER
        Tot   Share      Tot    Share    Free         in  out     in  out
Act  228780    6540   733816    18192  136068 count
All  383184    8712 15864804    28628         pages
                                                                 Interrupts
Proc:r  p  d  s  w    Csw  Trp  Sys  Int  Sof  Flt    168 cow    4073 total
     4       93      3918 311118762 1529  397 2891 114344 wire        1: atkb
                                                   204124 act         6: fdc0
28.0%Sys   1.9%Intr 62.1%User  8.1%Nice  0.0%Idl    51192 inact       10: ohc
|    |    |    |    |    |    |    |    |    |      15452 cache       13: npx
==============+>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>--   120616 free        14: ata
                                                          daefr     1 15: ata
Namei         Name-cache    Dir-cache                 895 prcfr       20: fxp
    Calls     hits    %     hits    %                     react    72 21: fxp
   159688   159685  100                                   pdwak  2000 cpu0: time
                                     1923 zfod            pdpgs  2000 cpu1: time
Disks   ad2                          1907 ofod            intrn
KB/t  25.60                            99 %slo-z    61472 buf
tps       1                          2453 tfree       103 dirtybuf
MB/s   0.02                                         35667 desiredvnodes
% busy    1                                          9509 numvnodes
                                                     7322 freevnodes


З iostat видно, що код системи виконується 28.0% часу. Але вінчестер зайнятий лише на 1%. :-/

В мене Linux і вивід мого iostat значно відрізняється від вашого - мені важко порівнювати.

Я рекомендую звернути увагу на це рядок:

Код: [Вибрати]

Proc:r  p  d  s  w    Csw  Trp  Sys  Int  Sof  Flt    168 cow    4073 total
     4       93      3918 311118762 1529  397 2891 114344 wire        1: atkb


Below the memory display is a list of the average number of processes (over the last refresh interval) that are runnable (`r'), in page wait (`p'), in disk wait other than paging (`d'), sleeping (`s'), and swapped out but desiring to run (`w'). The row also shows the average number of context switches (`Csw'), traps (`Trp'; includes page faults), system calls (`Sys'), interrupts (`Int'), network software interrupts (`Sof'), and page faults (`Flt').

Здається що число під  w дуже велике. Це означає що 93 процеси витіснені в swap і чекають там свого часу на виконання. Я не знаю, чи це нормально для FreeBSD (здається вона любить максимізувати вільну пам'ять витісняючи все що можна у swap).