megatron.model.fused\_softmax
=============================

.. rubric:: Description

.. automodule:: megatron.model.fused_softmax

.. currentmodule:: megatron.model.fused_softmax


.. rubric:: Classes

.. autosummary::
    :toctree: .
    
    FusedScaleMaskSoftmax
    
    ScaledMaskedSoftmax
    
    ScaledSoftmax
    
    ScaledUpperTriangMaskedSoftmax