+
    „°ñj
  ã                   óò   € ^ RI Ht ^ RIHtHt R t ! R R]P                  4      t ! R R]P                  4      t ! R R	]P                  4      t	 ! R
 R]P                  4      t
 ! R R]4      tR R ltR# )é    )Úoverride)ÚComfyExtensionÚioc                 ój  € VP                  4       pVP                  4       pV EF‹  pVP                  R P                  V 4      4      '       g'   VP                  RP                  V 4      4      '       d   VP	                  VR	/RV4       VP                  RP                  V 4      4      '       g'   VP                  RP                  V 4      4      '       d   VP	                  VR	/RV4       VP                  RP                  V 4      4      '       g'   VP                  RP                  V 4      4      '       d   VP	                  VR	/RV4       VP                  RP                  V 4      4      '       g*   VP                  RP                  V 4      4      '       g   EKv  VP	                  VR	/RV4       EKŽ  	  V# )
z{}.to_q.biasz{}.to_q.weightç        z{}.to_k.biasz{}.to_k.weightz{}.to_v.biasz{}.to_v.weightz{}.to_out.0.biasz{}.to_out.0.weight©N)ÚcloneÚmodel_state_dictÚendswithÚformatÚadd_patches)	ÚattnÚmodelÚqÚkÚvÚoutÚmÚsdÚkeys	   &&&&&&   ÚIC:\Ai_Coding\apps\studio\ComfyUI\comfy_extras\nodes_attention_multiply.pyÚattention_multiplyr      sQ  € Ø�‰‹€AØ	×	Ñ	Ó	!€BäˆØ�<‰<˜×-Ñ-¨dÓ3×4Ò4¸¿¹ÐEU×E\ÑE\Ð]aÓEb×8cÒ8cØ�M‰M˜3 ˜.¨#¨qÔ1Ø�<‰<˜×-Ñ-¨dÓ3×4Ò4¸¿¹ÐEU×E\ÑE\Ð]aÓEb×8cÒ8cØ�M‰M˜3 ˜.¨#¨qÔ1Ø�<‰<˜×-Ñ-¨dÓ3×4Ò4¸¿¹ÐEU×E\ÑE\Ð]aÓEb×8cÒ8cØ�M‰M˜3 ˜.¨#¨qÔ1Ø�<‰<Ð*×1Ñ1°$Ó7×8Ò8¸C¿L¹LÐI]×IdÑIdÐeiÓIj×<kÕ<kØ�M‰M˜3 ˜.¨#¨s×3ñ ð €Hó    c                   óX   a € ] tR t^t o ]V 3R lR l4       t]V 3R lR l4       tRtV tR# )ÚUNetSelfAttentionMultiplyc                ó4   <€ V ^8„  d   QhRS[ P                  /# ©é   Úreturn©r   ÚSchema)r   Ú__classdict__s   "€r   Ú__annotate__Ú&UNetSelfAttentionMultiply.__annotate__   ó   ø€ ÷ 
ñ 
™bŸi™iñ 
r   c                óÎ  € \         P                  ! R R\         P                  P                  R4      \         P                  P                  RRRRRRR	7      \         P                  P                  R
RRRRRR	7      \         P                  P                  RRRRRRR	7      \         P                  P                  RRRRRRR	7      .\         P                  P                  4       .RR7      # )r   ú"experimental/attention_experimentsr   r   ç      ð?r   ç      $@ç{®Gáz„?T©ÚdefaultÚminÚmaxÚstepÚadvancedr   r   r   ©Únode_idÚcategoryÚinputsÚoutputsÚis_experimental©r   r!   ÚModelÚInputÚFloatÚOutput©Úclss   &r   Údefine_schemaÚ'UNetSelfAttentionMultiply.define_schema   s¸   € ä�yŠyØ/Ø9ä—‘—‘˜wÓ'Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜u¨c°sÀÈ4ÐZ^�Ó_ðô —X‘X—_‘_Ó&Ð'Ø ô
ð 	
r   c                ó4   <€ V ^8„  d   QhRS[ P                  /# r   ©r   Ú
NodeOutput)r   r"   s   "€r   r#   r$   )   ó   ø€ ÷  ñ  ©R¯]©]ñ  r   c                óJ   € \        R WW4V4      p\        P                  ! V4      # )Úattn1©r   r   rB   ©r=   r   r   r   r   r   r   s   &&&&&& r   ÚexecuteÚ!UNetSelfAttentionMultiply.execute(   ó!   € ä˜w¨°!¸Ó<ˆÜ�}Š}˜QÓÐr   © N©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__Úclassmethodr>   rH   Ú__static_attributes__Ú__classdictcell__©r"   s   @r   r   r      ó+   ø‡ € Ø÷
ó ð
ð ÷ ó ö r   r   c                   óX   a € ] tR t^.t o ]V 3R lR l4       t]V 3R lR l4       tRtV tR# )ÚUNetCrossAttentionMultiplyc                ó4   <€ V ^8„  d   QhRS[ P                  /# r   r    )r   r"   s   "€r   r#   Ú'UNetCrossAttentionMultiply.__annotate__0   r%   r   c                óÎ  € \         P                  ! R R\         P                  P                  R4      \         P                  P                  RRRRRRR	7      \         P                  P                  R
RRRRRR	7      \         P                  P                  RRRRRRR	7      \         P                  P                  RRRRRRR	7      .\         P                  P                  4       .RR7      # )rW   r'   r   r   r(   r   r)   r*   Tr+   r   r   r   r1   r7   r<   s   &r   r>   Ú(UNetCrossAttentionMultiply.define_schema/   s¸   € ä�yŠyØ0Ø9ä—‘—‘˜wÓ'Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜u¨c°sÀÈ4ÐZ^�Ó_ðô —X‘X—_‘_Ó&Ð'Ø ô
ð 	
r   c                ó4   <€ V ^8„  d   QhRS[ P                  /# r   rA   )r   r"   s   "€r   r#   rY   @   rC   r   c                óJ   € \        R WW4V4      p\        P                  ! V4      # )Úattn2rF   rG   s   &&&&&& r   rH   Ú"UNetCrossAttentionMultiply.execute?   rJ   r   rK   NrL   rT   s   @r   rW   rW   .   rU   r   rW   c                   óX   a € ] tR t^Et o ]V 3R lR l4       t]V 3R lR l4       tRtV tR# )ÚCLIPAttentionMultiplyc                ó4   <€ V ^8„  d   QhRS[ P                  /# r   r    )r   r"   s   "€r   r#   Ú"CLIPAttentionMultiply.__annotate__G   s   ø€ ÷ 
ñ 
™bŸi™iñ 
r   c                óÔ  € \         P                  ! R RR.R\         P                  P                  R4      \         P                  P                  RRRRR	R
R7      \         P                  P                  RRRRR	R
R7      \         P                  P                  RRRRR	R
R7      \         P                  P                  RRRRR	R
R7      .\         P                  P                  4       .R
R7      # )ra   zclip attention scaleztext encoder attentionr'   Úclipr   r(   r   r)   r*   Tr+   r   r   r   )r2   Úsearch_aliasesr3   r4   r5   r6   )r   r!   ÚClipr9   r:   r;   r<   s   &r   r>   Ú#CLIPAttentionMultiply.define_schemaF   sÁ   € ä�yŠyØ+Ø2Ð4LÐMØ9ä—‘—‘˜fÓ%Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜s¨C°S¸dÈÐX\�Ó]Ü—‘—‘˜u¨c°sÀÈ4ÐZ^�Ó_ðô —W‘W—^‘^Ó%Ð&Ø ô
ð 	
r   c                ó4   <€ V ^8„  d   QhRS[ P                  /# r   rA   )r   r"   s   "€r   r#   rc   X   s   ø€ ÷  ñ  ©B¯M©Mñ  r   c                ó´  € VP                  4       pVP                  P                  4       pV EF  pVP                  R 4      '       g   VP                  R4      '       d   VP	                  VR	/RV4       VP                  R4      '       g   VP                  R4      '       d   VP	                  VR	/RV4       VP                  R4      '       g   VP                  R4      '       d   VP	                  VR	/RV4       VP                  R4      '       g   VP                  R4      '       g   Ký  VP	                  VR	/RV4       EK  	  \
        P                  ! V4      # )
zself_attn.q_proj.weightzself_attn.q_proj.biasr   zself_attn.k_proj.weightzself_attn.k_proj.biaszself_attn.v_proj.weightzself_attn.v_proj.biaszself_attn.out_proj.weightzself_attn.out_proj.biasr   )r	   Úpatcherr
   r   r   r   rB   )	r=   re   r   r   r   r   r   r   r   s	   &&&&&&   r   rH   ÚCLIPAttentionMultiply.executeW   s  € à�J‰J‹LˆØ�Y‰Y×'Ñ'Ó)ˆäˆCØ�|‰|Ð5×6Ò6¸#¿,¹,ÐG^×:_Ò:_Ø—‘˜s G˜n¨c°1Ô5Ø�|‰|Ð5×6Ò6¸#¿,¹,ÐG^×:_Ò:_Ø—‘˜s G˜n¨c°1Ô5Ø�|‰|Ð5×6Ò6¸#¿,¹,ÐG^×:_Ò:_Ø—‘˜s G˜n¨c°1Ô5Ø�|‰|Ð7×8Ò8¸C¿L¹LÐIb×<cÔ<cØ—‘˜s G˜n¨c°3×7ñ ô �}Š}˜QÓÐr   rK   NrL   rT   s   @r   ra   ra   E   s+   ø‡ € Ø÷
ó ð
ð  ÷ ó ö r   ra   c                   óX   a € ] tR t^ht o ]V 3R lR l4       t]V 3R lR l4       tRtV tR# )ÚUNetTemporalAttentionMultiplyc                ó4   <€ V ^8„  d   QhRS[ P                  /# r   r    )r   r"   s   "€r   r#   Ú*UNetTemporalAttentionMultiply.__annotate__j   r%   r   c                óÎ  € \         P                  ! R R\         P                  P                  R4      \         P                  P                  RRRRRRR	7      \         P                  P                  R
RRRRRR	7      \         P                  P                  RRRRRRR	7      \         P                  P                  RRRRRRR	7      .\         P                  P                  4       .RR7      # )rn   r'   r   Úself_structuralr(   r   r)   r*   Tr+   Úself_temporalÚcross_structuralÚcross_temporalr1   r7   r<   s   &r   r>   Ú+UNetTemporalAttentionMultiply.define_schemai   s¿   € ä�yŠyØ3Ø9ä—‘—‘˜wÓ'Ü—‘—‘Ð0¸#À3ÈDÐW[Ðfj�ÓkÜ—‘—‘˜¸ÀÈ$ÐUYÐdh�ÓiÜ—‘—‘Ð1¸3ÀCÈTÐX\Ðgk�ÓlÜ—‘—‘Ð/¸À#È4ÐVZÐei�Ójðô —X‘X—_‘_Ó&Ð'Ø ô
ð 	
r   c                ó4   <€ V ^8„  d   QhRS[ P                  /# r   rA   )r   r"   s   "€r   r#   rp   z   s   ø€ ÷  ñ  Ñac×anÑanñ  r   c                ó  € VP                  4       pVP                  4       pV FÉ  pVP                  R 4      '       g   VP                  R4      '       d6   RV9   d   VP                  VR/RV4       KO  VP                  VR/RV4       Kf  VP                  R4      '       g   VP                  R4      '       g   K–  RV9   d   VP                  VR/RV4       K´  VP                  VR/RV4       KË  	  \        P
                  ! V4      # )zattn1.to_out.0.biaszattn1.to_out.0.weightz.time_stack.r   zattn2.to_out.0.biaszattn2.to_out.0.weightr   )r	   r
   r   r   r   rB   )	r=   r   rr   rs   rt   ru   r   r   r   s	   &&&&&&   r   rH   Ú%UNetTemporalAttentionMultiply.executey   sÕ   € à�K‰K‹MˆØ×#Ñ#Ó%ˆãˆAØ—
‘
Ð0×1Ò1°Q·Z±ZÐ@W×5XÒ5XØ! QÔ&Ø—M‘M 1 g ,°°]ÖCà—M‘M 1 g ,°°_ÖEØ—*‘*Ð2×3Ò3°q·z±zÐBY×7ZÔ7ZØ! QÔ&Ø—M‘M 1 g ,°°^ÖDà—M‘M 1 g ,°Ð5EÖFñ ô �}Š}˜QÓÐr   rK   NrL   rT   s   @r   rn   rn   h   s+   ø‡ € Ø÷
ó ð
ð ÷ ó ö r   rn   c                   ó<   a € ] tR t^Œt o ]V 3R lR l4       tRtV tR# )ÚAttentionMultiplyExtensionc                óT   <€ V ^8„  d   QhRS[ S[S[P                  ,          ,          /# r   )ÚlistÚtyper   Ú	ComfyNode)r   r"   s   "€r   r#   Ú'AttentionMultiplyExtension.__annotate__Ž   s"   ø€ ÷ 
ñ 
¡T©$©r¯|©|Õ*<Õ%=ñ 
r   c              ƒ  ó6   "  € \         \        \        \        .# 5ir   )r   rW   ra   rn   )Úselfs   &r   Úget_node_listÚ(AttentionMultiplyExtension.get_node_list�   s   é € ô &Ü&Ü!Ü)ð	
ð 	
ùs   ‚rK   N)rM   rN   rO   rP   r   rƒ   rR   rS   rT   s   @r   r{   r{   Œ   s   ø‡ € Ø÷
ó ö
r   r{   c                ó$   € V ^8„  d   QhR\         /# r   ©r{   )r   s   "r   r#   r#   –   s   € ÷ (ñ (Ô :ñ (r   c               ƒ   ó   "  € \        4       # 5ir   r†   rK   r   r   Úcomfy_entrypointrˆ   –   s   é € Ü%Ó'Ð'ùs   ‚N)Útyping_extensionsr   Úcomfy_api.latestr   r   r   r   r   rW   ra   rn   r{   rˆ   rK   r   r   Ú<module>r‹      sc   ðÝ &ç /òô"  §¡ô  ô.  §¡ô  ô.  ˜BŸL™Lô   ôF!  B§L¡Lô ! ôH
 ô 
÷(r   