Existe alguma maneira de obter o token de caractere real a partir de sua representação de código de caractere? Em particular, eu gostaria de ter uma macro \prepend#1#2que pegasse uma lista de tokens #1e acrescentasse a ela o token de caractere correspondente ao código do caractere #2.
Aqui está uma breve demonstração do resultado desejado:
\newtoks\test
\test={bc}
\prepend\test{97}
\showthe\test % should print abc
Responder1
Você pode usar \char_generate:nn { <charcode> } { <catcode> }:
\input expl3-generic
\ExplSyntaxOn
\cs_new_eq:NN \toks_use:N \tex_the:D
\cs_new_protected:Npn \prepend #1 #2
{
\if:w \exp_not:N #1 #1
\use:x { #1 = { \char_generate:nn {#2} { 12 } \toks_use:N #1 } }
\else:
\tl_put_left:Nx #1 { \char_generate:nn {#2} { 12 } }
\fi:
}
\ExplSyntaxOff
\newtoks\test
\test={bc}
\prepend\test{97}
\showthe\test % should print abc
\def\test{bc}
\prepend\test{97}
\show\test % should print abc
\bye
A saída do terminal será:
> abc.
l.16 \showthe\test
% should print abc
?
> \test=macro:
->abc.
l.21 \show\test
% should print abc again
?
A forma como \char_generate:nnos caracteres são gerados depende de qual mecanismo está em uso. No LuaTeX usa tex.cprint(<catcode>, utf8_char(<charcode>)), de forma semelhante à resposta de Henri, mas com uma <catcode>configuração possível. No XeTeX ele usa \Ucharcat <charcode> <catcode>.
Nos outros motores suportados por expl3( pdftex, ε-pTeX, e ε-upTeX) não há como realmentegerarcaracteres em contextos somente de expansão (um recurso importante do \char_generate:nn), então expl3pré-gera esses caracteres usando a mesma abordagem da resposta do egreg e, em seguida, \char_generate:nnapenas usa os caracteres quando solicitado.
Como na resposta do egreg, você não pode gerar caracteres de alguns catcodes - ou seja, 0, 5, 9, 14 e 15 - porque eles não produzem tokens (eles desaparecem quando o TeX está escaneando a entrada, então eles não existem ao nível da macro-expansão). Além disso, a expl3implementação não permite a geração de caracteres de espaço para consistência entre motores, porque a versão Lua não permite isso. No entanto, como você deseja uma versão do Knuth TeX, caracteres de espaço também são permitidos.
O código abaixo é uma adaptação do expl3código \char_generate:nnmodificado para funcionar no Knuth TeX. O código é basicamente o mesmo, exceto que mais algumas complicações são necessárias principalmente devido à falta de \unexpanded, que permite que você tenha tokens de parâmetro único em uma macro e permite anexar facilmente coisas a uma macro sem a necessidade de um toks registro. Fora isso, é a mesma coisa.
O código primeiro define um registro toks temporário que contém o caractere nulo ( ^^@) com os diferentes catcodes possíveis, separados por \or:
\or ^^@% 1
\or ^^@% 2
\or ^^@% 3
\or ^^@% 4
\or % 5 Invalid
\or ^^@^^@% 6 Has to be doubled for a later `\def`
\or ^^@% 7
\or ^^@% 8
\or % 9 Invalid
\or ^^@% 10
\or ^^@% 11
\or ^^@% 12
\or ^^@% 13
em seguida, ele percorre todos 256os códigos de caracteres e define \lccodeo caractere nulo como #1e, em seguida, usa o \lowercasetruque na resposta do egreg:
\begingroup
\lccode0=#1
\lccode32=#1
\edef\x{\endgroup
\gdef\expandafter\noexpand
\csname c__char_\romannumeral#1_tl\endcsname{\the\tmptoks}}%
\lowercase\expandafter{\x}
que para um código de caracteres, digamos 97, resulta em:
\gdef\c__char_xcvii_tl{\or a\or a\or a\or a\or \or aa\or a\or a\or \or a\or a\or a\or a}
então, dado um código de caractere, <charcode>você pode acessar essa lista de tokens com \csname c__char_\romannumeral<charcode>_tl\endcsnamee, em seguida, com `\ifcase\fi você tem o caractere solicitado.
A \chargeneratemacro primeiro verifica (in \generateaux) se os argumentos estão em um intervalo válido (catcode entre 1 e 13, exceto 5 e 9, e charcode entre 0 e 255, embora com Knuth TeX você possa precisar alterar isso para 127) e então chama \generateauxicom os argumentos, que então usa o \ifcaseteste acima (com mais alguns bits para controle de expansão) para deixar o caractere solicitado.
Executando o código abaixo texobtenho:
% Auxiliaries
\long\def\gobbletoqstop#1\qstop{}
\long\def\firstofone#1{#1}
\chardef\expend=0
% Expandable error message
\begingroup
\long\xdef\expandableerror#1{%
\noexpand\expandafter\noexpand\expandafter\noexpand\expandafter
\noexpand\gobbletoqstop\noexpand\firstofone
{\csname Error! \endcsname#1}\noexpand\qstop}
\endgroup
% Append stuff to a toks register
\def\toksputright#1{%
\begingroup
\def\toksputtoks{#1}%
\afterassignment\toksputrightaux
\toks0=}
\def\toksputrightaux{%
\edef\x{\endgroup
\toksputtoks={\the\toksputtoks\the\toks0}}%
\x}
% Set up constant token lists
\newtoks\tmptoks
\begingroup
\tmptoks{ \noexpand\or}%
\catcode0=1
\toksputright\tmptoks{^^@\iffalse}}%
\catcode0=2
\toksputright\tmptoks{{\fi\noexpand\or^^@}%
\begingroup
\def\noop{}%
\edef\x{\expandafter\noop\the\tmptoks}%
\expandafter\endgroup
\expandafter\tmptoks\expandafter{\x}%
\catcode0=3 \toksputright\tmptoks{\or^^@}%
\catcode0=4 \toksputright\tmptoks{\or^^@}%
\catcode0=5 \toksputright\tmptoks{\or}%
\catcode0=6 \toksputright\tmptoks{\or^^@^^@}%
\catcode0=7 \toksputright\tmptoks{\or^^@}%
\catcode0=8 \toksputright\tmptoks{\or^^@}%
\catcode0=9 \toksputright\tmptoks{\or}%
\catcode0=10 \toksputright\tmptoks\expandafter{\firstofone{\or}^^@}%
\catcode0=11 \toksputright\tmptoks{\or ^^@}%
\catcode0=12 \toksputright\tmptoks{\or^^@}%
\catcode0=13 \toksputright\tmptoks{\or^^@}%
\def\chartmp#1;{%
\begingroup
\lccode0=#1
\lccode32=#1
\edef\x{\endgroup
\gdef\expandafter\noexpand
\csname c__chargen_\romannumeral#1_tl\endcsname{\the\tmptoks}}%
\lowercase\expandafter{\x}}%
\let^^L\relax
\catcode`^^L=12
\count0=0
\loop
\expandafter\chartmp\number\count0;
\advance\count0 by 1
\ifnum\count0<256 \repeat
\endgroup
% Main definition
\def\chargenerate#1#2{%
\romannumeral\expandafter\generateaux
\number#1\expandafter;\number#2;}
% Check for invalid input
\def\generateaux#1;#2;{%
\ifnum0%
\ifnum#1=0 1\fi
\ifnum#2=10 1\fi
=11
\expandableerror{Cannot generate null char as a space.}%
\else
\ifodd0%
\ifnum#2< 1 1\fi
\ifnum#2= 5 1\fi
\ifnum#2= 9 1\fi
\ifnum#2>13 1\fi\space
\expandableerror{Invalid catcode for char generation.}%
\else
\ifodd0%
\ifnum#1< 0 1\fi
\ifnum#1>"FF 1\fi\space
\expandableerror{Charcode requested out of engine range.}%
\else
\generateauxi{#1}{#2}%
\fi
\fi
\fi
\expend}
% Actual char generation
\def\generateauxi#1#2#3\expend{%
#3%
\iffalse{\fi
\expandafter\expandafter
\expandafter\expend
\expandafter\expandafter
\ifcase#2%
\csname c__chargen_\romannumeral#1_tl\endcsname
\or}
\fi}
% Testing
\def\empty{}
\begingroup
\lccode`\~=`a
\lowercase{\endgroup
\gdef ~{\ active character a}%
}
\def\test#1{%
\edef\x{%
\ifnum#1=2 {\iffalse}\fi\space\noexpand\meaning\fi % add { if a is a }
\chargenerate{97}{#1}%
\ifnum#1=6 \chargenerate{97}{#1}\fi% add another # if a is a #
\ifnum#1=1 \iffalse{\fi\space\noexpand\meaning}\fi % if a is a {, add a }
}%
\ifx\x\empty
#1: ERROR
\else
#1: \expandafter\meaning\x
\fi\par}
\tt\scrollmode
\count2=0
\loop
\test{\the\count2 }%
\advance\count2 by 1
\ifnum\count2<16
\repeat
\bye
Responder2
\lowercaseé uma boa maneira de fazer isso, com qualquer TeX.
\def\prepend#1#2{% toks, charcode
\begingroup
\lccode`9=#2\relax
\lowercase{%
\edef\0{\endgroup
#1={9\the#1}}%
\0}}
Supõe que o registro toks não seja \0.
Responder3
\newtoks\test
\def\prepend#1#2{%
\ifcase\catcode#2\relax
% 0, do nothing
\or
% 1, do nothing
\or
% 2, do nothing
\or
\prependaux#1{#2}{$}% 3
\or
\prependaux#1{#2}{&}% 4
\or
% 5, do nothing
\or
\prependaux#1{#2}{##}% 6
\or
\prependaux#1{#2}{^}% 7
\or
\prependaux#1{#2}{_}% 8
\or
% 9, do nothing
\or
\prependaux#1{#2}{ }% 10
\or
\prependaux#1{#2}{a}% 11
\or
\prependaux#1{#2}{?}% 12
\or
\prependaux#1{#2}{~}% 13
% 14 or 15, do nothing
\fi
}
\def\prependaux#1#2#3{%
\begingroup\lccode`#3=#2\relax
\lowercase{\endgroup\toks0={#3}}%
#1\expandafter{\the\toks\expandafter0\the#1}%
}
\test={bc}
\prepend\test{97}
\message{\number`?}
\catcode`?=3
\prepend\test{63}
\the\test$
\prepend\test{`\#}
\showthe\test
\bye
Não é possível adicionar caracteres com códigos de categoria 0, 1, 2, 5, 9, 14 ou 15.
Como você pode ver, acrescentei um caractere de código de categoria 3 “estranho” e o código \the\test$imprime uma fórmula matemática.
Restrição: #1não pode ser \toks0.
Responder4
Você pode usar LuaTeX e a string.charfunção para converter um código ASCII no caractere correspondente.
\newtoks\test
\test={bc}
\tokspre\test\expandafter{\directlua{tex.sprint(string.char(97))}}
\showthe\test
\bye