# Блочно-разреженное внимание модели

Узел **Block Sparse Attention** изменяет модель так, чтобы её слои внимания сосредотачивались только на наиболее релевантных частях входа, а не на всём сразу, что снижает объём вычислений, необходимых для длинных последовательностей. Экономия растёт с длиной последовательности, поскольку короткие последовательности обычно обрабатываются быстрее с обычным (плотным) вниманием.

## Входы

### Общие входы

| Параметр | Описание | Тип данных | Обязательный | Диапазон |
|-----------|-------------|-----------|----------|-------|
| `model` | Модель, к которой применяется патч. | MODEL | Да | N/A |
| `selection` | Метод, используемый для выбора блоков ключей для полного внимания на уровне токенов (отображается как `method`). <br>`sol-attn`: Sparsifying Online Attention использует адаптивный порог без обучения для каждой головы внимания и блока запросов.<br>`sla`: Sparse-Linear Attention сохраняет фиксированный процент блоков ключей с наивысшими оценками; используйте только с весами модели, обученными для этого паттерна.<br>`vsa`: Video Sparse Attention (FastVideo) использует 3D-разбиение на видеокубы и обученную ветвь грубого внимания; требуются веса модели FastH3. | DYNAMIC_COMBO | Да | `"sol-attn"`<br>`"sla"`<br>`"vsa"` |
| `start_percent` | Процентная точка, когда начинается разреженное внимание. До этой точки внимание остаётся плотным. По умолчанию: 0.2. | FLOAT | Нет | мин: 0.0, макс: 1.0, шаг: 0.01 |
| `end_percent` | Процентная точка, когда разреженное внимание заканчивается. После этой точки внимание возвращается к плотному. По умолчанию: 1.0. | FLOAT | Нет | мин: 0.0, макс: 1.0, шаг: 0.01 |
| `dense_blocks` | Блоки трансформера, которые всегда работают в плотном режиме, например '0, 1, 47-49'. По умолчанию: "" (пусто). Дополнительный вход. | STRING | Нет | По умолчанию: "" |
| `min_tokens` | Последовательности короче этого значения остаются плотными. По умолчанию: 12288. Дополнительный вход. | INT | Нет | мин: 0, макс: 1048576, шаг: 512 |
| `extra_tokens` | Дополнительные токены с наивысшими оценками, которые каждый блок запросов учитывает помимо выбранных блоков. Чем ближе к плотному, тем больше времени на внимание; рекомендуется 256, 0 отключает. Игнорируется для VSA. По умолчанию: 256. Дополнительный вход. | INT | Нет | мин: 0, макс: 256, шаг: 64 |
| `sink_conditioning` | Только для MiniMax-H3. `exact_kv`: каждый запрос точно учитывает упакованные строки текста/аудио/референса (около 3% затрат). `exact_kv_and_rows`: дополнительно запускает строки запросов целевого аудио в плотном режиме (сохраняет сгенерированное аудио неизменным). `off` отключает это поведение. По умолчанию: "exact_kv_and_rows". Дополнительный вход. | COMBO | Нет | `"exact_kv"`<br>`"exact_kv_and_rows"`<br>`"off"` |
| `verbose` | Записывает в журнал, использовала ли каждая форма внимания разреженное внимание или почему она осталась плотной. По умолчанию: False. Дополнительный вход. | BOOLEAN | Нет | По умолчанию: False |

### Входы sol-attn

| Параметр | Описание | Тип данных | Обязательный | Диапазон |
|-----------|-------------|-----------|----------|-------|
| `tau` | Порог в сигмах распределения оценок. Чем выше, тем разреженнее: 1.0 сохраняет около 16% блоков ключей точными, 1.5 — около 7%, 2.0 — около 2.7%. По умолчанию: 1.3. | FLOAT | Нет | мин: 0.0, макс: 4.0, шаг: 0.05 |

### Входы sla

| Параметр | Описание | Тип данных | Обязательный | Диапазон |
|-----------|-------------|-----------|----------|-------|
| `keep_percent` | Процент блоков ключей, которые каждый блок запросов сохраняет точно (sink-токены и диагональ добавляются сверху). Это выбор, под который дистиллированы LoRA в стиле SLA; без такой LoRA более высокое значение ближе к плотному. По умолчанию: 10.0. | FLOAT | Нет | мин: 0.5, макс: 95.0, шаг: 0.5 |

### Входы vsa

| Параметр | Описание | Тип данных | Обязательный | Диапазон |
|-----------|-------------|-----------|----------|-------|
| `keep_percent` | Процент видеокубов, которые каждый куб запросов сохраняет; контрольные точки FastH3-VSA обучены при 10. Использует слои `to_gate_compress` модели для грубой ветви, когда они присутствуют. По умолчанию: 10.0. | FLOAT | Нет | мин: 0.5, макс: 95.0, шаг: 0.5 |

**Примечание:** В интерфейсе отображаются только параметры, относящиеся к выбранному в данный момент методу.

## Выходы

| Имя выхода | Описание | Тип данных |
|-------------|-------------|-----------|
| `model` | Модель с применённым блочно-разреженным вниманием. | MODEL |

## Ограничения и пределы

- Последовательности короче `min_tokens`, блоки, перечисленные в `dense_blocks`, и шаги сэмплирования за пределами окна от `start_percent` до `end_percent` переключаются обратно на плотный бэкенд внимания модели, выбранный узлом Model Attention Backend.
- `extra_tokens` игнорируется, когда выбран метод `vsa`. В журнал записывается сообщение, поскольку веса VSA были обучены с учётом их разреженного паттерна.
- Метод `vsa` требует модель MiniMax-H3; любая другая модель вызывает ошибку. Если в модели отсутствуют слои `to_gate_compress`, этап точной обработки выполняется без грубой ветви, и в журнал записывается предупреждение.
- `dense_blocks` игнорируется для моделей, которые не сообщают индексы блоков; это отмечается в журнале, когда включён `verbose`.
- `sink_conditioning` применяется только к моделям MiniMax-H3, которые сообщают раскладку, совпадающую с текущей длиной последовательности.

> Эта документация была создана с помощью ИИ. Если вы обнаружите ошибки или у вас есть предложения по улучшению, пожалуйста, внесите свой вклад! [Редактировать на GitHub](https://github.com/Comfy-Org/embedded-docs/blob/main/comfyui_embedded_docs/docs/BlockSparseAttention/ru.md)

---
**Source fingerprint (SHA-256):** `0c34876b49a04db0ab265526e2bb5f784e150591aab631713ad2ab420a3327c4`
