# توجه تنک مدل

گره **Block Sparse Attention** یک مدل را تغییر می‌دهد تا لایه‌های توجه آن فقط روی مرتبط‌ترین بخش‌های ورودی تمرکز کنند، نه اینکه همه‌چیز را هم‌زمان پردازش کنند؛ این کار محاسبات موردنیاز برای دنباله‌های طولانی را کاهش می‌دهد. صرفه‌جویی با طول دنباله رشد می‌کند، چون دنباله‌های کوتاه معمولاً با توجه معمولی (dense) سریع‌تر هستند.

## ورودی‌ها

### ورودی‌های مشترک

| پارامتر | توضیحات | نوع داده | الزامی | بازه |
|-----------|-------------|-----------|----------|-------|
| `model` | مدلی که باید وصله شود. | MODEL | بله | N/A |
| `selection` | روشی که برای انتخاب بلوک‌های کلیدی جهت توجه کامل در سطح توکن استفاده می‌شود (به‌صورت `method` نمایش داده می‌شود). <br>`sol-attn`: توجه آنلاین پراکنده‌ساز (Sparsifying Online Attention) از یک آستانه انطباقی بدون‌آموزش برای هر سر توجه و بلوک پرس‌وجو استفاده می‌کند.<br>`sla`: توجه پراکنده-خطی (Sparse-Linear Attention) درصد ثابتی از بلوک‌های کلیدی با بالاترین امتیاز را نگه می‌دارد؛ فقط با وزن‌های مدلی که برای این الگو آموزش دیده‌اند استفاده کنید.<br>`vsa`: توجه پراکنده ویدیویی (Video Sparse Attention) (FastVideo) از کاشی‌بندی سه‌بعدی مکعب ویدیویی و یک شاخه توجه درشتِ آموزش‌دیده استفاده می‌کند؛ به وزن‌های مدل FastH3 نیاز دارد. | DYNAMIC_COMBO | بله | `"sol-attn"`<br>`"sla"`<br>`"vsa"` |
| `start_percent` | نقطه درصدی که توجه پراکنده از آن آغاز می‌شود. پیش از این نقطه، توجه متراکم می‌ماند. پیش‌فرض: 0.2. | FLOAT | خیر | حداقل: 0.0، حداکثر: 1.0، گام: 0.01 |
| `end_percent` | نقطه درصدی که توجه پراکنده در آن پایان می‌یابد. پس از این نقطه، توجه به حالت متراکم بازمی‌گردد. پیش‌فرض: 1.0. | FLOAT | خیر | حداقل: 0.0، حداکثر: 1.0، گام: 0.01 |
| `dense_blocks` | بلوک‌های Transformer که همیشه متراکم اجرا می‌شوند، مثلاً '0, 1, 47-49'. پیش‌فرض: "" (خالی). ورودی پیشرفته. | STRING | خیر | پیش‌فرض: "" |
| `min_tokens` | دنباله‌های کوتاه‌تر از این مقدار متراکم می‌مانند. پیش‌فرض: 12288. ورودی پیشرفته. | INT | خیر | حداقل: 0، حداکثر: 1048576، گام: 512 |
| `extra_tokens` | توکن‌های با بالاترین امتیاز اضافی که هر بلوک پرس‌وجو علاوه بر بلوک‌های انتخاب‌شده خود به آن‌ها توجه می‌کند. هرچه به توجه متراکم نزدیک‌تر باشد، زمان توجه بیشتری مصرف می‌کند؛ 256 توصیه می‌شود، 0 آن را غیرفعال می‌کند. برای VSA نادیده گرفته می‌شود. پیش‌فرض: 256. ورودی پیشرفته. | INT | خیر | حداقل: 0، حداکثر: 256، گام: 64 |
| `sink_conditioning` | فقط برای MiniMax-H3. `exact_kv`: هر پرس‌وجو دقیقاً به ردیف‌های بسته‌بندی‌شده متن/صدا/مرجع توجه می‌کند (حدود 3% هزینه). `exact_kv_and_rows`: علاوه بر آن، ردیف‌های پرس‌وجوی صدای هدف را نیز متراکم اجرا می‌کند (صدای تولیدشده را دست‌نخورده نگه می‌دارد). `off` این رفتار را غیرفعال می‌کند. پیش‌فرض: "exact_kv_and_rows". ورودی پیشرفته. | COMBO | خیر | `"exact_kv"`<br>`"exact_kv_and_rows"`<br>`"off"` |
| `verbose` | ثبت می‌کند که هر شکل توجه از توجه پراکنده استفاده کرده است یا چرا متراکم مانده است. پیش‌فرض: False. ورودی پیشرفته. | BOOLEAN | خیر | پیش‌فرض: False |

### ورودی‌های sol-attn

| پارامتر | توضیحات | نوع داده | الزامی | بازه |
|-----------|-------------|-----------|----------|-------|
| `tau` | آستانه برحسب سیگماهای توزیع امتیاز. مقدار بالاتر پراکنده‌تر است: 1.0 حدود 16% از بلوک‌های کلیدی را دقیق نگه می‌دارد، 1.5 حدود 7%، 2.0 حدود 2.7%. پیش‌فرض: 1.3. | FLOAT | خیر | حداقل: 0.0، حداکثر: 4.0، گام: 0.05 |

### ورودی‌های sla

| پارامتر | توضیحات | نوع داده | الزامی | بازه |
|-----------|-------------|-----------|----------|-------|
| `keep_percent` | درصدی از بلوک‌های کلیدی که هر بلوک پرس‌وجو دقیقاً نگه می‌دارد (sinkها و قطر نیز روی آن اضافه می‌شوند). LoRAهای به سبک SLA در برابر همین انتخاب تقطیر شده‌اند؛ بدون چنین LoRAای، مقدار بالاتر به توجه متراکم نزدیک‌تر است. پیش‌فرض: 10.0. | FLOAT | خیر | حداقل: 0.5، حداکثر: 95.0، گام: 0.5 |

### ورودی‌های vsa

| پارامتر | توضیحات | نوع داده | الزامی | بازه |
|-----------|-------------|-----------|----------|-------|
| `keep_percent` | درصدی از مکعب‌های ویدیویی که هر مکعب پرس‌وجو نگه می‌دارد؛ چک‌پوینت‌های FastH3-VSA با مقدار 10 آموزش دیده‌اند. در صورت وجود، از لایه‌های `to_gate_compress` مدل برای شاخه درشت استفاده می‌کند. پیش‌فرض: 10.0. | FLOAT | خیر | حداقل: 0.5، حداکثر: 95.0، گام: 0.5 |

**توجه:** فقط پارامترهای متعلق به روش انتخاب‌شده فعلی در رابط کاربری نمایش داده می‌شوند.

## خروجی‌ها

| نام خروجی | توضیحات | نوع داده |
|-------------|-------------|-----------|
| `model` | مدلی که توجه پراکنده‌بلوکی روی آن اعمال شده است. | MODEL |

## محدودیت‌ها و قیدها

- دنباله‌های کوتاه‌تر از `min_tokens`، بلوک‌های فهرست‌شده در `dense_blocks`، و گام‌های نمونه‌گیری خارج از بازه `start_percent` تا `end_percent` به بک‌اند توجه متراکم مدل که توسط گره Model Attention Backend انتخاب شده است، بازمی‌گردند.
- وقتی روش `vsa` انتخاب شده باشد، `extra_tokens` نادیده گرفته می‌شود. پیامی ثبت می‌شود زیرا وزن‌های VSA بر اساس الگوی پراکنده خودشان آموزش دیده‌اند.
- روش `vsa` به یک مدل MiniMax-H3 نیاز دارد؛ هر مدل دیگری خطا ایجاد می‌کند. اگر مدل فاقد لایه‌های `to_gate_compress` باشد، مرحله ریز بدون شاخه درشت اجرا می‌شود و یک هشدار در لاگ ثبت می‌گردد.
- برای مدل‌هایی که ایندکس‌های بلوک را گزارش نمی‌کنند، `dense_blocks` نادیده گرفته می‌شود؛ زمانی که `verbose` فعال باشد، این موضوع در لاگ ذکر می‌شود.
- `sink_conditioning` فقط برای مدل‌های MiniMax-H3 اعمال می‌شود که چیدمانی منطبق با طول دنباله فعلی گزارش کنند.

> این مستند با هوش مصنوعی تهیه شده است. اگر خطایی دیدید یا پیشنهادی برای بهبود دارید، خوشحال می‌شویم مشارکت کنید! [ویرایش در GitHub](https://github.com/Comfy-Org/embedded-docs/blob/main/comfyui_embedded_docs/docs/BlockSparseAttention/fa.md)

---
**Source fingerprint (SHA-256):** `0c34876b49a04db0ab265526e2bb5f784e150591aab631713ad2ab420a3327c4`
