X11 portátil para Linux (Debian Wheezy)

Question

Necesito un servidor X11 portátil. Es decir, todo debe estar en un directorio: configuraciones, bibliotecas compartidas, archivos binarios, etc. ¿Cómo debo lograr esto? La idea es poner X11 en mi initrd. Estoy usando Debian Wheezy.