Спробуйте погратися зі способами виводу звуку в XMMS - спробуйте вивід через aRts.
Взнати, яка сама програма зайняла пристрій, можна командою /sbin/fuser в терміналі.
Наприклад:
/sbin/fuser /dev/dsp0
Вона видасть PID-и процесу(-ів), які використовують пристрій, можливо з додатковими буквами після цифр. Взнати назву процесу можна командою ps:
ps 123