megatron.tokenizer.tokenizer.build_tokenizer

megatron.tokenizer.tokenizer.build_tokenizer(args)

Initialize tokenizer.