ここからQuartzパッケージをダウンロードしてインストールしました
http://xquartz.macosforge.org/landing/
また、vnc2flv Pythonパッケージをここからダウンロード、インストール、セットアップしました。
http://www.unixuser.org/~euske/python/vnc2flv/index.html#インストール
flvrec.py を実行するには、まず X11 サーバーを起動する必要があると思いますが、OSX ターミナルから起動する方法がわかりません。
答え1
通常、XサーバはFinderから起動します。X11.appとしてインストールされているはずです。ターミナルから起動する必要がある場合は、open以下のコマンドを使用します。http://osxdaily.com/2007/02/01/how-to-launch-gui-applications-from-the-terminal/