megatron.data.indexed_dataset.IndexedDataset#

class megatron.data.indexed_dataset.IndexedDataset(path)#

Bases: Dataset

Loader for IndexedDataset