É possível usar \addfontfeature para caracteres específicos? Algo como este MWE para obter cada e do documento com tamanho duplo:
\usepackage{fontspec}
\usepackage{hyperref}
\setmainfont{Latin Modern}
\setmainfont{Latin Modern}[Scale=2.0, range = {e}]
\begin{document}
Test
\end{document}
Responder1
No ConTeXt você pode usar omecanismo de reserva.
\definefallbackfamily [mixedfont] [rm] [Latin Modern Roman] [scale=2,range=0x65,force=yes]
\definefontfamily [mixedfont] [rm] [Latin Modern Roman]
\setupbodyfont[mixedfont]
\starttext
Test
\stoptext
