Wiki
База знаний LLM Crew: от «что изменилось в новой модели» и работающих воркфлоу до конфигов и бенчмарков. То, что хочется сохранить, проверить и использовать в следующем проекте.
Я сделал экран для мониторинга моих квот LLM провайдеров
Настольный монитор лимитов подписок Claude, Codex, Grok и Kimi: Windows-приложение на Rust, ESP32 с экраном и энкодером и адаптивный dashboard. Железо, прошивка, формат данных и всё, что пошло не так.
Читать ↗Влияние транспорта KV‑переноса на производительность PD‑disaggregation на примере инференса MiniMax‑M3
Привет! Проводил тестирование на рабочих стендах и хочу поделиться своими результатами с Habr. В работе исследуется влияние транспорта KV‑кэша на производительность и...
Читать ↗Механизмы внимания в современных LLM
Прежде чем разбирать оптимизации, зафиксируем базовые понятия: Токен - минимальный фрагмент последовательности, с которым работает модель. Из hidden state каждого токена attention...
Читать ↗Влияние транспорта KV-переноса на производительность PD-disaggregation на примере инференса MiniMax-M3
268 прогонов сравнивают RDMA/InfiniBand с GPUDirect и TCP/Ethernet: TTFT, throughput, надёжность PD-disaggregation и 13 интерактивных графиков.
Читать ↗Механизмы внимания в современных LLM
Как устроен attention в современных LLM: MHA, GQA, MLA, разрежённые и линейные схемы, цена KV cache и что реально ускоряет инференс.
Читать ↗DeepSeek Harness: почему это гораздо больше, чем ещё один AI-агент
DeepSeek выпустил не новый чат, не IDE и даже не просто coding agent. DeepSeek Harness - это открытая платформа, которая превращает модель в полноценного агента и позволяет пересобирать почти любую часть его runtime как плагин.
Читать ↗Нейросетевой эквалайзер на PlutoSDR: от синтетики к железу
Зачем вообще трогать LMS Любой реальный радиоканал «размазывает» символы во времени: соседние отсчёты накладываются друг на друга, и приёмник видит межсимвольную интерференцию (ISI). Классический...
Читать ↗Что такое нейросеть: от токенов и весов до GPU и CUDA
Цельная картина от токенов и слоёв трансформера до GPU, CUDA и библиотек, которые запускают вычисления.
Читать ↗Как выбрать и запустить LLM на своём железе: квантование, GGUF, LoRA и QLoRA
Выбор модели под VRAM, методы квантования, формат GGUF, fine-tuning и метрики деградации.
Читать ↗Полезности LLM Crew
Анонсы, новые материалы и инженерные находки сообщества - в Telegram-канале LLM Crew.
Открыть Telegram ↗