# אימון LoRA

הצומת TrainLoraNode יוצר ומאמן מודל LoRA (Low-Rank Adaptation) על מודל דיפוזיה באמצעות latents ונתוני conditioning שסופקו. הוא מאפשר כוונון עדין של מודל עם פרמטרי אימון, אופטימיזרים ופונקציות loss מותאמים אישית. הצומת מפיק את משקולות LoRA המאומנות, מפת היסטוריית loss, ואת סך צעדי האימון שהושלמו.

## קלטים

| פרמטר | תיאור | סוג נתונים | נדרש | טווח |
|-----------|-------------|-----------|----------|-------|
| `model` | המודל שעליו לאמן את ה-LoRA. | MODEL | כן | - |
| `latents` | ה-latents לשימוש באימון; משמשים כמערך נתונים/קלט של המודל. | LATENT | כן | - |
| `positive` | ה-conditioning החיובי לשימוש באימון. | CONDITIONING | כן | - |
| `batch_size` | גודל הבאץ' לשימוש באימון (ברירת מחדל: 1). | INT | כן | 1-10000 |
| `grad_accumulation_steps` | מספר צעדי צבירת הגרדיאנטים לשימוש באימון (ברירת מחדל: 1). | INT | כן | 1-1024 |
| `steps` | מספר הצעדים לאימון ה-LoRA (ברירת מחדל: 16). | INT | כן | 1-100000 |
| `learning_rate` | קצב הלמידה לשימוש באימון (ברירת מחדל: 0.0005). | FLOAT | כן | 0.0000001-1.0 |
| `rank` | הדרגה (rank) של שכבות ה-LoRA (ברירת מחדל: 8). | INT | כן | 1-128 |
| `optimizer` | האופטימיזר לשימוש באימון (ברירת מחדל: "AdamW"). | COMBO | כן | "AdamW"<br>"Adam"<br>"SGD"<br>"RMSprop" |
| `loss_function` | פונקציית ה-loss לשימוש באימון (ברירת מחדל: "MSE"). | COMBO | כן | "MSE"<br>"L1"<br>"Huber"<br>"SmoothL1" |
| `seed` | ה-seed לשימוש באימון (משמש במחולל לאתחול משקולות LoRA ודגימת רעש) (ברירת מחדל: 0). | INT | כן | 0-18446744073709551615 |
| `training_dtype` | ה-dtype לשימוש באימון. 'none' משמר את dtype החישוב המקורי של המודל במקום לעקוף אותו. עבור מודלים מסוג fp16, GradScaler מופעל אוטומטית (ברירת מחדל: "bf16"). | COMBO | כן | "bf16"<br>"fp32"<br>"none" |
| `lora_dtype` | ה-dtype עבור lora (ברירת מחדל: "bf16"). | COMBO | כן | "bf16"<br>"fp32" |
| `quantized_backward` | כאשר משתמשים ב-training_dtype 'none' ומאמנים על מודל מכומת, מתבצע backward עם כפל מטריצות מכומת כאשר מופעל (ברירת מחדל: False). | BOOLEAN | כן | - |
| `algorithm` | האלגוריתם לשימוש באימון. | COMBO | כן | אפשרויות מרובות זמינות |
| `gradient_checkpointing` | שימוש ב-gradient checkpointing לאימון (ברירת מחדל: True). | BOOLEAN | כן | - |
| `checkpoint_depth` | רמת העומק עבור gradient checkpointing (ברירת מחדל: 1). | INT | כן | 1-5 |
| `offloading` | העברת משקולות המודל ל-CPU במהלך האימון כדי לחסוך בזיכרון GPU (ברירת מחדל: False). | BOOLEAN | כן | - |
| `existing_lora` | ה-LoRA הקיים שאליו לצרף. יש להגדיר ל-None עבור LoRA חדש (ברירת מחדל: "[None]"). | COMBO | כן | אפשרויות מרובות זמינות |
| `bucket_mode` | הפעלת מצב סלי רזולוציה. כאשר מופעל, מצפה ל-latents שחולקו מראש לסלים מצומת ResolutionBucket (ברירת מחדל: False). | BOOLEAN | כן | - |
| `bypass_mode` | הפעלת מצב עקיפה (bypass) לאימון. כאשר מופעל, מתאמים (adapters) מיושמים באמצעות forward hooks במקום שינוי המשקולות. שימושי במיוחד עבור מודלים מכומתים שבהם לא ניתן לשנות משקולות ישירות (ברירת מחדל: False). | BOOLEAN | כן | - |

**הערה:** מספר קלטי ה-conditioning החיוביים חייב להתאים למספר תמונות ה-latent. אם מסופק conditioning חיובי אחד בלבד עם מספר תמונות, הוא יחזור על עצמו אוטומטית עבור כל התמונות.

**הערה לגבי `training_dtype`:** כאשר מוגדר ל-"none", ה-dtype החישוב המקורי של המודל נשמר. עבור מודלים מסוג fp16, GradScaler מופעל אוטומטית כדי למנוע תת-זרימה במהלך חישוב הגרדיאנט. אם `fp16_accumulation` מופעל גם כן (באמצעות דגלי `--fast`), שילוב זה עשוי להיות בלתי יציב מספרית ועלול לגרום לערכי NaN.

**הערה לגבי `quantized_backward`:** פרמטר זה רלוונטי רק כאשר `training_dtype` מוגדר ל-"none" והמודל הוא מודל מכומת. הוא מפעיל כפל מטריצות מכומת במהלך המעבר האחורי.

**הערה לגבי `bypass_mode`:** כאשר מופעל, מתאמים (adapters) מיושמים באמצעות forward hooks במקום שינוי משקולות המודל ישירות. זה שימושי במיוחד עבור מודלים מכומתים שבהם לא ניתן לשנות משקולות ישירות.

## פלטים

| שם פלט | תיאור | סוג נתונים |
|-------------|-------------|-----------|
| `lora` | משקולות LoRA המאומנות שניתן לשמור או להחיל על מודלים אחרים. | LORA_MODEL |
| `loss_map` | מילון המכיל את ערכי ה-loss של האימון לאורך זמן. | LOSS_MAP |
| `steps` | סך כל צעדי האימון שהושלמו (כולל צעדים קודמים כלשהם מ-LoRA קיים). | INT |

> מסמך זה נוצר על ידי בינה מלאכותית. אם מצאתם שגיאות או שיש לכם הצעות לשיפור, אתם מוזמנים לתרום! [עריכה ב-GitHub](https://github.com/Comfy-Org/embedded-docs/blob/main/comfyui_embedded_docs/docs/TrainLoraNode/he.md)

---
**Source fingerprint (SHA-256):** `39e88045270d36855442024b62d6a225a58b34842f45ac04fbc6c1ade6768a76`
