
решение1
Синтаксис \cal{R}
был неправильным с самого первого дня существования LaTeX.
В старые времена правильный способ получить каллиграфическую букву «R» был таким:
{\cal R}
но около 30 лет назад новый синтаксис
\mathcal{R}
был предложен, а старый вариант был признан устаревшим.
\documentclass{article}
\usepackage{amsmath}
\usepackage{amsthm}
\theoremstyle{definition}
\swapnumbers
\newtheorem{definition}{Definition}
\newcommand{\cR}{\mathcal{R}}
\newcommand{\cH}{\mathcal{H}}
\newcommand{\id}{\mathit{id}}
\begin{document}
\begin{definition}
A quasitriangular Hopf algebra is a pair $(H,\cR)$ where $H$
is a Hopf algebra and $\cR\in\cH\otimes\cH$ and obeys
\begin{gather*}
(\Delta\otimes \id)\cR=\cR_{13}\cR_{23}, \quad
(\id\otimes \Delta)\cR=\cR_{13}\cR_{12},\\
\tau\circ \Delta h=\cR(\Delta h)\cR^{-1}, \forall h \in H
\end{gather*}
\end{definition}
\end{document}