megatron.tokenizer.tokenizer.build\_tokenizer
=============================================

.. currentmodule:: megatron.tokenizer.tokenizer

.. autofunction:: build_tokenizer