Оптимизация и открытое ПО для машинного обучения

Уровень 0 · материалов: 3

В кластер входят документы об оптимизации работы нейросетей и LLM через открытый код, но не входят документы об общих библиотеках градиентного бустинга.

Общие признаки: open-source инструменты, повышение производительности моделей, снижение вычислительных затрат, оптимизация обучения и инференса

Группа выше: Инструменты и библиотеки машинного обучения

Материалы

• #5424 — The Natasha Project: Russian NLP Toolset — Представитель этого кластера

  Проект Natasha. Набор качественных открытых инструментов для обработки естественного русского языка (NLP) — alexanderkuk

  Смысл: The main idea is to present Project Natasha as a high-performance, compact, and open-source alternative for Russian NLP, proving that through model distillation and quantization, one can achieve near-SOTA quality with significantly lower computational requirements.

  Project Natasha is a comprehensive suite of open-source Python tools providing efficient, compact, and high-quality NLP capabilities for the Russian language.

• #22627 — Yandex Releases YaFSDP for LLM Training Acceleration

  Яндекс разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPU — MichaelEk

  Смысл: The main idea is to introduce YaFSDP, an open-source optimization for LLM training that outperforms FSDP by using static memory buffers and advanced CUDA stream management to minimize GPU memory overhead and eliminate communication bottlenecks.

  Yandex open-sourced YaFSDP, a tool that optimizes GPU memory and communication streams to speed up LLM training by over 20% compared to PyTorch FSDP.

• #7142 — Accelerating Qwen3.6 Generation with Multi-Token Prediction in llama.cpp

  Qwen3.6 27B MTP весит на +0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s без потерь. Что такое MTP — Shannon

  Смысл: The text explains how to use Multi-Token Prediction (MTP) in llama.cpp to significantly accelerate the generation speed of Qwen3.6 models. It details the technical mechanisms of MTP, Eagle-3, and DFlash, provides a formula for calculating theoretical speed limits, and proves through code analysis that these methods maintain original output quality.

  Using MTP in llama.cpp can double Qwen3.6 generation speeds without losing quality by predicting multiple tokens per pass.