Насправді це не таке просте питання.
Дехто радить переходити на nginx+php-fastCGI і я в тому числі. Але якщо апач це ваше все, тоді треба знати налаштування апача, mpm чи prefork чи що там у вас відповідає за керуванням чергою.
Плюс запам’ятайте цю фразу - стандартні налаштування не працюють. Ніколи.
Тут ще така ситуація. Щоб віддати картинку вагою 1кб апач робить свою копію(десь 45мб), в той час як nginx просто віддає картинку і все. Так що дуже раджу. Та ж ситуація з усією статикою.
Кількість модулів і Virtuemart більше впливають на кількість sql і навантаження на БД.
Плюс до всього
peinguin@debian:~$ free -h
total used free shared buffers cached
Mem: 3,8G 3,1G 727M 0B 81M 1,5G
-/+ buffers/cache: 1,5G 2,3G
Swap: 8,8G 0B 8,8G
Бачите в мене free 727M, але треба подивитися, що cache 2,3G. І якщо апачу не вистачатиме він візьме з кешу.
Це була довга відповідь.
Коротка - скоріш за все так.