La versión de Xvfb incluida en Xquartz en MacOS no es compatible con GLX:
$ Xvfb +extension GLX
[mi] Extension "GLX" is not recognized
[mi] Only the following extensions can be run-time enabled:
[mi] Generic Events
[mi] Composite
...
¿Es factible habilitarlo? ¿Qué está involucrado?
Editado para agregar: Intenté ejecutar Xvfb con la extensión GLX en una máquina virtual Linux. Funciona bien, pero en realidad no reproduce los gráficos OpenGL. Quizás usé la configuración incorrecta para la pantalla. solía
Xvfb :1 -screen 0 1024x768x24 +extension GLX +render -noreset -fbdir temp >xsession.log 2>&1 &
o quizás Xvfb simplemente no procesa OpenGL.