megatron.model.glu_activations.ReGLU#

class megatron.model.glu_activations.ReGLU#

Bases: _GLUBaseModule