Архитектура Transformer

Уровень 0 · материалов: 2

В кластер входят документы, посвященные специфике работы и применению архитектуры Transformer, и не входят документы об общей истории глубокого обучения или широком применении нейросетей в разных областях.

Общие признаки: нейронные сети, механизм self-attention, переход от NLP к компьютерному зрению, сравнение с CNN и рекуррентными сетями

Группа выше: Архитектуры нейронных сетей

Материалы

• #17883 — The Rise of Transformers in Computer Vision — Представитель этого кластера

  Тихая революция и новый дикий запад в ComputerVision — ZlodeiBaal

  Смысл: The main idea is that Transformer architectures are sparking a 'quiet revolution' in Computer Vision, moving from NLP into diverse visual tasks and challenging the long-standing dominance of CNNs through superior handling of global context and sequences.

  The article analyzes the rapid integration of Transformer neural networks into Computer Vision, detailing key models like ViT and DETR and their impact across diverse visual tasks.

• #20790 — Illustrated Guide to the Transformer Model

  Transformer в картинках — Kouki_RUS

  Смысл: The main idea of the text is to provide an intuitive, visually-supported explanation of the Transformer neural network architecture, emphasizing its reliance on self-attention instead of recurrence to achieve better parallelization and performance in NLP tasks.

  A detailed educational guide explaining the inner workings of the Transformer model, focusing on the self-attention mechanism, encoder-decoder structure, and the mathematical flow of tensors.