任意のトークン シーケンスを、数値またはカテゴリ 12 の明示的な文字トークンの文字列に拡張可能かつ明確にマッピングできますか?

任意のトークン シーケンスを、数値またはカテゴリ 12 の明示的な文字トークンの文字列に拡張可能かつ明確にマッピングできますか?

外側トークン以外の任意の中括弧バランスシーケンスをマッピングする方法拡張可能かつ明確に可能であれば、Knuthian-TeX で実装できるマクロ/ものを使用して、数値またはカテゴリ 12 の明示的な文字トークンのみで構成される文字列に変換しますか?

最初は、ループ内のすべてのトークンを文字列化してから、何らかの明確なチェックサムを計算することを考えましたが、文字列化ではカテゴリに関する情報が失われるため、このようなアプローチではすべての可能なトークン シーケンスを区別することはできません。

この問題にどう取り組むべきかの概要を教えていただければ幸いです。そうすれば、具体的な実装の詳細を自分で考えることができます。

しかし、私は疑問を抱いています。

これを100%信頼できる方法で実行できれば、例えば次のような区別をするための拡張可能な方法として使用できます。

  • アクティブな文字トークンは、そのペンダントからの非アクティブなペンダントと等しくなります。
  • \relax-primitiveから凍結されました\relax
  • 名前が である制御シーケンスからの、名前のない制御シーケンス (\csname\endcsnameまたは を介し​​て生成可能、ただし は\endlinechar負の値) 。これらの制御シーケンスは同じ非外部意味を持ち、名前が である制御シーケンスcsname⟨escapechar⟩endcsname( を介して生成可能\csname csname\string\endcsname\endcsname) から生成されます。
  • \escapechar文字コードが制御シーケンスの名前を形成する文字に対応し、値が負の場合、1 文字の制御シーケンスからの明示的な (外側ではない) 文字トークンはその明示的な文字トークンと等しくなります。
  • \the元のフォント コマンドからフォント コマンドに適用することによって取得された固定フォント制御シーケンス。
  • ...

Knuthian-TeX によって提供される手段に制限された拡張可能なアプローチは、100% 信頼性が高く実用的な方法では不可能であると結論付けてよいでしょうか。

拡張性や Knuthian-TeX への準拠が問題にならない場合、この問題にどのように対処すればよいでしょうか?

関連情報