Ich denke, dass es weder an xorg noch an gdm selber liegt.
Der GDM läuft als Dämon beim Start. Wenn ich ihn von Hand aus der Konsole starte geht alles problemlos. Es liegt also irgendwie an der Kombi rc.conf/gdm. In /var/log ist auch nirgends was zu finden.
Vielleicht irgendein udev-Problem.
Auf Kerneltrap hab ich noch was gefunden, was vielleicht helfen könnte. Probier ich die Tage mal aus:
http://kerneltrap.org/node/4024
Grüße,
Moritz