조금 이상한 요청처럼 보이지만 egreg의 예를 수정하면 요청을 제공하지 않았기 때문에 ...
\documentclass{article}
\usepackage{amsmath}
\begin{document}
\[
F(x)=\begin{pmatrix} x/2 & 0 \\ 0 & x^2 \end{pmatrix}
=\mbox{\tiny$\left(\mbox{\normalsize$\begin{matrix} x/2 & 0 \\ 0 & x^2 \end{matrix}$}\right)$}
\]
\end{document}