
答え1
\cal{R}
LaTeX の最初から構文は間違っていました。
昔、書道の「R」を正しく書く方法は
{\cal R}
しかし約30年前に新しい構文
\mathcal{R}
新しいものが提案され、古いものは非推奨になりました。
\documentclass{article}
\usepackage{amsmath}
\usepackage{amsthm}
\theoremstyle{definition}
\swapnumbers
\newtheorem{definition}{Definition}
\newcommand{\cR}{\mathcal{R}}
\newcommand{\cH}{\mathcal{H}}
\newcommand{\id}{\mathit{id}}
\begin{document}
\begin{definition}
A quasitriangular Hopf algebra is a pair $(H,\cR)$ where $H$
is a Hopf algebra and $\cR\in\cH\otimes\cH$ and obeys
\begin{gather*}
(\Delta\otimes \id)\cR=\cR_{13}\cR_{23}, \quad
(\id\otimes \Delta)\cR=\cR_{13}\cR_{12},\\
\tau\circ \Delta h=\cR(\Delta h)\cR^{-1}, \forall h \in H
\end{gather*}
\end{definition}
\end{document}