Ця стаття представляє SMMT, розріджену мультимодальну архітектуру трансформера, щоб вирішити проблему високих обчислювальних та енергетичних витрат щільної самоуваги в інтелектуальних системах. SMMT включає розріджену увагу на основі кластерів для майже лінійної обчислювальної складності та маскування за модальностями для стійкості до неповних вхідних даних, зокрема, оцінюючи її ефективність у класифікації хвороби Альцгеймера на наборі даних ADNI.