MacOS 上の Xquartz に含まれる Xvfb のバージョンは GLX をサポートしていません。
$ Xvfb +extension GLX
[mi] Extension "GLX" is not recognized
[mi] Only the following extensions can be run-time enabled:
[mi] Generic Events
[mi] Composite
...
それを有効にすることは可能ですか? 何が必要ですか?
追記: Linux VMでGLX拡張機能付きのXvfbを実行してみました。問題なく動作しますが、OpenGLグラフィックスはレンダリングされません。おそらくディスプレイの設定を間違えたのでしょう。
Xvfb :1 -screen 0 1024x768x24 +extension GLX +render -noreset -fbdir temp >xsession.log 2>&1 &
あるいは、Xvfb が OpenGL をレンダリングしないだけかもしれません。