A versão do Xvfb incluída no Xquartz no MacOS não suporta GLX:
$ Xvfb +extension GLX
[mi] Extension "GLX" is not recognized
[mi] Only the following extensions can be run-time enabled:
[mi] Generic Events
[mi] Composite
...
É viável habilitá-lo? O que está envolvido?
Editado para adicionar: tentei executar o Xvfb com a extensão GLX em uma VM Linux. Ele funciona bem, mas na verdade não renderiza os gráficos OpenGL. Talvez eu tenha usado a configuração errada para a exibição. eu usei
Xvfb :1 -screen 0 1024x768x24 +extension GLX +render -noreset -fbdir temp >xsession.log 2>&1 &
ou talvez o Xvfb simplesmente não renderize OpenGL.