Ну, найпростіше - в консолі набрати xorgconfig і, відповідаючи на поставлені запитання (дружимо з англійською), зконфігурувати Х-сервер з "рідними" драйверами. А потім, через той-же yum видалити капосний пакет з драйверами.
А щоб поставити наново - треба більш детальнішу інформацію про помилку Х, модель відеокарти і т. д. Бо помилка повториться знову.