megatron.data.gpt_dataset.GPTDataset

class megatron.data.gpt_dataset.GPTDataset(name, data_prefix, documents, indexed_dataset, num_samples, seq_length, seed)

Bases: Dataset