Перечитайте добре README від Nvidia, якщо є час. У вас саме ця картка з оригінальним драйвером від Nvidia, я так розумію. Подивіться, чи не потрібно вилучити/додати деякі модулі X у XF86Config/xorg.conf (як от -dri +glx), спробуйте перемкнути від Лінусівського agpgart (повинен бути комплільваним як модуль ядра) до nvagp:
Section "Device"
Option "NvAGP" 1 ## 1, напевне, не пам'ятаю точно, подивіться у README##
Identifier "Card0"
Driver "nvidia"
VendorName "NVidia"
BoardName "0x0171"
BusID "PCI:1:0:0"
EndSection
Може конфліктувати з тим, що у вас компльовано у ядро. Стандартні ядра від Debian досить важкі, як і у більшості дистрибутивів. Можливо, має сенс завантажити /boot/config-* у make menuconfig ядра і подивитись, чи не потрібно перезібрати ядро, звільнивши його від зайвих речей.
Як альтернатива, можна спробувати встановити старшу версію драйверів від Nvidia з їхнього архіву. Часом допомагає.