Насправді це не таке просте питання.
Дехто радить переходити на nginx+php-fastCGI і я в тому числі. Але якщо апач це ваше все, тоді треба знати налаштування апача, mpm чи prefork чи що там у вас відповідає за керуванням чергою.
Плюс запам’ятайте цю фразу - стандартні налаштування не працюють. Ніколи.
Тут ще така ситуація. Щоб віддати картинку вагою 1кб апач робить свою копію(десь 45мб), в той час як nginx просто віддає картинку і все. Так що дуже раджу. Та ж ситуація з усією статикою.
Кількість модулів і Virtuemart більше впливають на кількість sql і навантаження на БД.
Плюс до всього
peinguin@debian:~$ free -h                                                                                                                   
             total       used       free     shared    buffers     cached
Mem:          3,8G       3,1G       727M         0B        81M       1,5G
-/+ buffers/cache:       1,5G       2,3G
Swap:         8,8G         0B       8,8G
Бачите в мене free 727M, але треба подивитися, що cache 2,3G. І якщо апачу не вистачатиме він візьме з кешу.
Це була довга відповідь. 
Коротка - скоріш за все так.