решение1
решение2
Кажется, это немного странная просьба, но, изменяя пример egreg, поскольку вы его не предоставили...
\documentclass{article}
\usepackage{amsmath}
\begin{document}
\[
F(x)=\begin{pmatrix} x/2 & 0 \\ 0 & x^2 \end{pmatrix}
=\mbox{\tiny$\left(\mbox{\normalsize$\begin{matrix} x/2 & 0 \\ 0 & x^2 \end{matrix}$}\right)$}
\]
\end{document}