# קשב דליל-בלוקים למודל

הצומת **Block Sparse Attention** משנה מודל כך ששכבות הקשב שלו מתמקדות רק בחלקים הרלוונטיים ביותר של הקלט במקום בכול בבת אחת, דבר שמפחית את עומס החישוב הנדרש לרצפים ארוכים. החיסכון גדל עם אורך הרצף, משום שרצפים קצרים בדרך כלל מהירים יותר עם קשב רגיל (צפוף).

## קלטים

### קלטים משותפים

| פרמטר | תיאור | סוג נתונים | נדרש | טווח |
|-----------|-------------|-----------|----------|-------|
| `model` | המודל שעליו יש לבצע Patch. | MODEL | כן | N/A |
| `selection` | השיטה המשמשת לבחירת בלוקי מפתח עבור קשב מלא ברמת טוקנים (מוצג בתור `method`). <br>`sol-attn`: Sparsifying Online Attention משתמש בסף אדפטיבי ללא אימון עבור כל ראש קשב ובלוק שאילתה.<br>`sla`: Sparse-Linear Attention שומר אחוז קבוע מבלוקי המפתח בעלי הניקוד הגבוה ביותר; יש להשתמש רק עם משקולות מודל שאומנו עבור דפוס זה.<br>`vsa`: Video Sparse Attention (FastVideo) משתמש בחלוקה לאריחים של קוביות וידאו תלת-ממדיות ובענף קשב גס נלמד; דורש משקולות מודל FastH3. | DYNAMIC_COMBO | כן | `"sol-attn"`<br>`"sla"`<br>`"vsa"` |
| `start_percent` | נקודת האחוז שבה מתחיל הקשב הדליל. לפני נקודה זו, הקשב נשאר צפוף. ברירת מחדל: 0.2. | FLOAT | לא | מינימום: 0.0, מקסימום: 1.0, צעד: 0.01 |
| `end_percent` | נקודת האחוז שבה מסתיים הקשב הדליל. לאחר נקודה זו, הקשב חוזר להיות צפוף. ברירת מחדל: 1.0. | FLOAT | לא | מינימום: 0.0, מקסימום: 1.0, צעד: 0.01 |
| `dense_blocks` | בלוקי Transformer שפועלים תמיד במצב צפוף, למשל '0, 1, 47-49'. ברירת מחדל: "" (ריק). קלט מתקדם. | STRING | לא | ברירת מחדל: "" |
| `min_tokens` | רצפים קצרים מזה נשארים צפופים. ברירת מחדל: 12288. קלט מתקדם. | INT | לא | מינימום: 0, מקסימום: 1048576, צעד: 512 |
| `extra_tokens` | טוקנים נוספים בעלי הניקוד הגבוה ביותר שכל בלוק שאילתה מבצע עליהם קשב מעבר לבלוקים שנבחרו עבורו. קרוב יותר למצב צפוף תמורת יותר זמן קשב; מומלץ 256, ו-0 משבית. מתעלמים ממנו ב-VSA. ברירת מחדל: 256. קלט מתקדם. | INT | לא | מינימום: 0, מקסימום: 256, צעד: 64 |
| `sink_conditioning` | עבור MiniMax-H3 בלבד. `exact_kv`: כל שאילתה מבצעת קשב מדויק לשורות הטקסט/אודיו/ההפניה הארוזות (בעלות של כ-3%). `exact_kv_and_rows`: בנוסף מריץ את שורות השאילתה של אודיו היעד במצב צפוף (שומר על האודיו שנוצר ללא פגע). `off` משבית התנהגות זו. ברירת מחדל: "exact_kv_and_rows". קלט מתקדם. | COMBO | לא | `"exact_kv"`<br>`"exact_kv_and_rows"`<br>`"off"` |
| `verbose` | רושם ביומן אם כל צורת קשב השתמשה בקשב דליל או מדוע היא נשארה צפופה. ברירת מחדל: False. קלט מתקדם. | BOOLEAN | לא | ברירת מחדל: False |

### קלטים של sol-attn

| פרמטר | תיאור | סוג נתונים | נדרש | טווח |
|-----------|-------------|-----------|----------|-------|
| `tau` | סף בסטיות תקן של התפלגות הציונים. ערך גבוה יותר = דליל יותר: 1.0 שומר כ-16% מבלוקי המפתח במדויק, 1.5 כ-7%, 2.0 כ-2.7%. ברירת מחדל: 1.3. | FLOAT | לא | מינימום: 0.0, מקסימום: 4.0, צעד: 0.05 |

### קלטים של sla

| פרמטר | תיאור | סוג נתונים | נדרש | טווח |
|-----------|-------------|-----------|----------|-------|
| `keep_percent` | אחוז בלוקי המפתח שכל בלוק שאילתה שומר במדויק (sinks והאלכסון מתווספים על גבי זה). ה-LoRAs בסגנון SLA עוברים דיסטילציה כנגד בחירה זו; ללא LoRA כזה, ערך גבוה יותר קרוב יותר למצב צפוף. ברירת מחדל: 10.0. | FLOAT | לא | מינימום: 0.5, מקסימום: 95.0, צעד: 0.5 |

### קלטים של vsa

| פרמטר | תיאור | סוג נתונים | נדרש | טווח |
|-----------|-------------|-----------|----------|-------|
| `keep_percent` | אחוז קוביות הווידאו שכל קוביית שאילתה שומרת; נקודות ביקורת של FastH3-VSA מאומנות על 10. משתמש בשכבות `to_gate_compress` של המודל עבור הענף הגס כאשר הן קיימות. ברירת מחדל: 10.0. | FLOAT | לא | מינימום: 0.5, מקסימום: 95.0, צעד: 0.5 |

**הערה:** רק הפרמטרים השייכים לשיטה הנבחרת מוצגים בממשק.

## פלטים

| שם פלט | תיאור | סוג נתונים |
|-------------|-------------|-----------|
| `model` | המודל שעליו הוחל קשב דליל בלוקים. | MODEL |

## אילוצים ומגבלות

- רצפים קצרים מ-`min_tokens`, בלוקים הרשומים ב-`dense_blocks`, ושלבי דגימה מחוץ לחלון שבין `start_percent` ל-`end_percent` נופלים בחזרה למנוע קשב המודל הצפוף שנבחר על ידי הצומת Model Attention Backend.
- `extra_tokens` מתעלמים ממנו כאשר נבחרת השיטה `vsa`. נרשמת הודעה ביומן משום שמשקולות VSA אומנו כנגד דפוס דליל שלהן.
- השיטה `vsa` דורשת מודל MiniMax-H3; כל מודל אחר מעורר שגיאה. אם למודל חסרות שכבות `to_gate_compress`, השלב העדין פועל ללא הענף הגס ונרשמת אזהרה ביומן.
- `dense_blocks` מתעלמים ממנו במודלים שאינם מדווחים על אינדקסים של בלוקים, דבר שנרשם ביומן כאשר `verbose` מופעל.
- `sink_conditioning` חל רק על מודלים MiniMax-H3 שמדווחים על פריסה התואמת לאורך הרצף הנוכחי.

> מסמך זה נוצר על ידי בינה מלאכותית. אם מצאתם שגיאות או שיש לכם הצעות לשיפור, אתם מוזמנים לתרום! [עריכה ב-GitHub](https://github.com/Comfy-Org/embedded-docs/blob/main/comfyui_embedded_docs/docs/BlockSparseAttention/he.md)

---
**Source fingerprint (SHA-256):** `0c34876b49a04db0ab265526e2bb5f784e150591aab631713ad2ab420a3327c4`
