+
    ƒ°ñjüR  ã                   ó®  € ^ RI t ^ RIt^ RIHt ^ RIHu Ht ^ RIHt ^ RI	H
t
 ^ RIHt ^ RIHt  ! R R]P                  4      t ! R R	]P                  4      t ! R
 R]P                  4      t ! R R]P                  4      t ! R R]P                  4      tR R ltR R ltR&R R llt ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R  R!]P                  4      t ! R" R#]P                  4      t ! R$ R%]P                  4      tR# )'é    N)Úoptimized_attention)Ú
apply_rope)ÚEmbedND)Úcast_to_inputc                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )ÚMLPc	                ó,  <€ \         SV `  4        V.V.V^,
          ,          ,           V.,           p	\        P                  ! \	        V4       U
u. uF)  q¨P                  Wš,          Wš^,           ,          WgR7      NK+  	  up
4      V n        WPn        R# u up
i )é   ©ÚdeviceÚdtypeN)ÚsuperÚ__init__ÚnnÚ
ModuleListÚrangeÚLinearÚlayersÚsigmoid_output)ÚselfÚ	input_dimÚ
hidden_dimÚ
output_dimÚ
num_layersr   r   r   Ú
operationsÚdimsÚiÚ	__class__s   &&&&&&&&&  €Ú6C:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\sam3\sam.pyr   ÚMLP.__init__   s“   ø€ Ü‰ÑÔØˆ{˜j˜\¨Z¸!­^Õ<Õ<À
¸|ÕKˆÜ—m’mÔrwð  yCô  sDó  %Eñ  sDÐmn×%6Ñ%6°tµwÀÈÅUÅÐTZÐ%6Ö%hñ  sDñ  %Eó  FˆŒØ,Öùò %Es   Á/Bc                ó  € \        V P                  4       FJ  w  r#V\        V P                  4      ^,
          8  d   \        P                  ! V! V4      4      MV! V4      pKL  	  V P
                  '       d   \        P                  ! V4      # T# )r
   )Ú	enumerater   ÚlenÚFÚrelur   ÚtorchÚsigmoid)r   Úxr   Úlayers   &&  r   ÚforwardÚMLP.forward   sc   € Ü! $§+¡+Ö.‰HˆAØ$%¬¨D¯K©KÓ(8¸1Õ(<Ô$<”—’‘u˜Q“xÔ Á%ÈÃ(ŠAñ /à#'×#6×#6Ð#6Œu�}Š}˜QÓÐ=¸AÐ=ó    )r   r   )FNNN©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r*   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r   r      s   ù‡ € ÷-÷>ò >r,   r   c                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )ÚSAMAttentionc                ó  <€ \         S
V `  4        W n        W,          pVe   TMTp	VP                  WWVR7      V n        VP                  W˜WVR7      V n        VP                  W˜WVR7      V n        VP                  W�WVR7      V n        R # )Nr   )r   r   Ú	num_headsr   Úq_projÚk_projÚv_projÚout_proj)r   Úembedding_dimr:   Údownsample_rateÚ	kv_in_dimr   r   r   Úinternal_dimÚkv_dimr   s   &&&&&&&&  €r   r   ÚSAMAttention.__init__   sƒ   ø€ Ü‰ÑÔØ"ŒØ$Õ7ˆØ'Ò3‘¸ˆØ ×'Ñ'¨ÈFÐ'Ó`ˆŒØ ×'Ñ'¨ÀVÐ'ÓYˆŒØ ×'Ñ'¨ÀVÐ'ÓYˆŒØ"×)Ñ)¨,ÈfÐ)ÓbˆŽr,   c           
     ó¶   € V P                  V4      pV P                  V4      pV P                  V4      pV P                  \	        WW0P
                  R R7      4      # )F)Úlow_precision_attention)r;   r<   r=   r>   r   r:   )r   ÚqÚkÚvs   &&&&r   r*   ÚSAMAttention.forward'   sG   € Ø�K‰K˜‹NˆØ�K‰K˜‹NˆØ�K‰K˜‹NˆØ�}‰}Ô0°°q¿.¹.ÐbgÔhÓiÐir,   )r<   r:   r>   r;   r=   )r
   NNNNr-   r5   s   @@r   r8   r8      s   ù‡ € ÷c÷jò jr,   r8   c                   ó<   a a€ ] tR t^.t oRV 3R lltR tRtVtV ;t# )ÚTwoWayAttentionBlockc	                ó  <€ \         S	V `  4        WPn        \        WWgVR 7      V n        \        WWFWxR7      V n        \        WWFWxR7      V n        \        P                  ! VP                  WWgR7      \        P                  ! 4       VP                  W1WgR7      4      V n        VP                  WVR7      V n        VP                  WVR7      V n        VP                  WVR7      V n        VP                  WVR7      V n        R# )©r   r   r   ©r@   r   r   r   r   N)r   r   Úskip_first_layer_per8   Ú	self_attnÚcross_attn_token_to_imageÚcross_attn_image_to_tokenr   Ú
Sequentialr   ÚReLUÚmlpÚ	LayerNormÚnorm1Únorm2Únorm3Únorm4)
r   r?   r:   Úmlp_dimÚattention_downsample_raterP   r   r   r   r   s
   &&&&&&&&&€r   r   ÚTwoWayAttentionBlock.__init__/   s  ø€ Ü‰ÑÔØ#6Ô Ü% mÀvÐgqÔrˆŒÜ)5°mÐ`yð  QVô  *nˆÔ&Ü)5°mÐ`yð  QVô  *nˆÔ&Ü—=’= ×!2Ñ!2°=ÐRXÐ!2Ó!fÔhj×hoÒhoÓhqÐs}÷  tEñ  tEð  FMð  ekð  tEó  tyó  zˆŒØ×)Ñ)¨-ÈeÐ)ÓTˆŒ
Ø×)Ñ)¨-ÈeÐ)ÓTˆŒ
Ø×)Ñ)¨-ÈeÐ)ÓTˆŒ
Ø×)Ñ)¨-ÈeÐ)ÓTˆŽ
r,   c                óò  € V P                   '       d#   V P                  V P                  WV4      4      pM/W,           pV P                  WP                  WUV4      ,           4      pW,           W$,           reV P                  WP	                  WVV4      ,           4      pV P                  WP                  V4      ,           4      pW,           W$,           reV P                  W P                  WeV4      ,           4      pW3# ©N)	rP   rX   rQ   rY   rR   rZ   rV   r[   rS   )r   ÚqueriesÚkeysÚquery_peÚkey_perG   rH   s   &&&&&  r   r*   ÚTwoWayAttentionBlock.forward;   sÁ   € Ø×#×#Ð#Ø—j‘j §¡°À'Ó!JÓK‰GàÕ"ˆAØ—j‘j ¯>©>¸!ÀÓ+HÕ!HÓIˆGØÕ! 4¥=ˆ1Ø—*‘*˜W×'EÑ'EÀaÈDÓ'QÕQÓRˆØ—*‘*˜W§x¡x°Ó'8Õ8Ó9ˆØÕ! 4¥=ˆ1Ø�z‰z˜$×!?Ñ!?ÀÀgÓ!NÕNÓOˆØˆ}Ðr,   )	rS   rR   rV   rX   rY   rZ   r[   rQ   rP   )é   é   FNNNr-   r5   s   @@r   rL   rL   .   s   ù‡ € ÷
U÷ò r,   rL   c                   ó<   a a€ ] tR t^It oRV 3R lltR tRtVtV ;t# )ÚTwoWayTransformerc	                ó  <€ \         S
V `  4        \        P                  ! \	        V4       U	u. uF  p	\        W#WEV	^ 8H  WgVR7      NK  	  up	4      V n        \        W#WVWxR7      V n        VP                  W&VR7      V n
        R# u up	i )r   )rP   r   r   r   rO   r   N)r   r   r   r   r   rL   r   r8   Úfinal_attn_token_to_imagerW   Ú
norm_final)r   Údepthr?   r:   r\   r]   r   r   r   r   r   s   &&&&&&&&& €r   r   ÚTwoWayTransformer.__init__J   s�   ø€ Ü‰ÑÔÜ—m’mô ˜5”\ó%
ñ "�ô ! ¸7Ø67¸1±fÀfÐfp÷rá!ñ%
ó ˆŒô
 *6°mÐ`yð  QVô  *nˆÔ&Ø$×.Ñ.¨}ÐSXÐ.ÓYˆŽùò%
s   ­Bc                ó´   € Y1rTV P                    F  pV! WEW24      w  rEK  	  WC,           WR,           r‡V P                  W@P                  WxV4      ,           4      pWE3# r`   )r   rl   rk   )	r   Úimage_embeddingÚimage_peÚpoint_embeddingra   rb   r)   rG   rH   s	   &&&&     r   r*   ÚTwoWayTransformer.forwardT   sX   € Ø'�Ø—[”[ˆEÙ! '°ÓK‰MˆG‘Tñ !àÕ(¨$­/ˆ1Ø—/‘/ '×,JÑ,JÈ1ÐQUÓ,VÕ"VÓWˆØˆ}Ðr,   )rk   r   rl   )rg   é   é   rf   rg   NNNr-   r5   s   @@r   ri   ri   I   s   ù‡ € ÷Z÷ò r,   ri   c                   óP   a a€ ] tR t^]t oRtRV 3R lltR tRR ltR tRt	Vt
V ;t# )	ÚPositionEmbeddingRandomzDFourier feature positional encoding with random gaussian projection.c                ó”   <€ \         SV `  4        T P                  R T;'       g    R\        P                  ! ^V4      ,          4       R# )Ú#positional_encoding_gaussian_matrixç      ð?N)r   r   Úregister_bufferr&   Úrandn)r   Únum_pos_featsÚscaler   s   &&&€r   r   Ú PositionEmbeddingRandom.__init___   s:   ø€ Ü‰ÑÔØ×ÑÐBÀUÇ\À\ÈcÔUZ×U`ÒU`ÐabÐdqÓUrÕDrÖsr,   c                ó�  € VP                   pV P                  P                  VP                  \        P
                  R7      p^\        P                  ,          ^VP                  4       ,          ^,
          ,          V,          p\        P                  ! VP                  4       VP                  4       .RR7      P                  V4      # )z]Map normalized [0,1] coordinates to fourier features via random projection. Computes in fp32.r   ©Údiméÿÿÿÿ)r   ry   Útor   r&   Úfloat32ÚmathÚpiÚfloatÚcatÚsinÚcos)r   Únormalized_coordsÚ
orig_dtypeÚproj_matrixÚ	projecteds   &&   r   Ú_encodeÚPositionEmbeddingRandom._encodec   sŽ   € à&×,Ñ,ˆ
Ø×>Ñ>×AÑAÐIZ×IaÑIaÔin×ivÑivÐAÓwˆØœŸ™•K 1Ð'8×'>Ñ'>Ó'@Õ#@À1Õ#DÕEÈÕSˆ	Ü�yŠy˜)Ÿ-™-›/¨9¯=©=«?Ð;ÀÔD×GÑGÈ
ÓSÐSr,   c                óœ  € Vw  r4Ve   TMV P                   P                  p\        P                  ! W43V\        P                  R7      p\        P
                  ! VP                  ^4      R,
          V,          VP                  ^ 4      R,
          V,          .RR7      pV P                  V4      P                  ^^ ^4      P                  ^ 4      # )Nr   ç      à?r�   rƒ   )
ry   r   r&   Úonesr…   ÚstackÚcumsumr�   ÚpermuteÚ	unsqueeze)r   Úsizer   ÚhÚwÚdevr”   Únorm_xys   &&&     r   r*   ÚPositionEmbeddingRandom.forwardj   s�   € Ø‰ˆØÒ*‰f°×0XÑ0X×0_Ñ0_ˆÜ�zŠz˜1˜&¨´E·M±MÔBˆÜ—+’+ §¡¨A£°Õ 4¸Õ9¸D¿K¹KÈ»NÈSÕ<PÐTUÕ;UÐVÐ\^Ô_ˆØ�|‰|˜GÓ$×,Ñ,¨Q°°1Ó5×?Ñ?ÀÓBÐBr,   c                ó´   € VP                  4       pVR;;,          V^,          ,          uu&   VR;;,          V^ ,          ,          uu&   V P                  V4      # )ºNNN)r    r    r   )r    r    r
   )Úcloner�   )r   Úpixel_coordsÚ
image_sizeÚnorms   &&& r   Úforward_with_coordsÚ+PositionEmbeddingRandom.forward_with_coordsq   sC   € Ø×!Ñ!Ó#ˆØˆW�˜ A�Õ&‹ØˆW�˜ A�Õ&‹Ø�|‰|˜DÓ!Ð!r,   © )é@   Nr`   )r.   r/   r0   r1   Ú__doc__r   r�   r*   r¥   r2   r3   r4   r5   s   @@r   rw   rw   ]   s$   ù‡ € ÙN÷tòTôC÷"ò "r,   rw   c                óD   € V ^8„  d   QhR\         P                  R\        /# )rg   r(   Úwindow_size©r&   ÚTensorÚint)Úformats   "r   Ú__annotate__r°   z   s   € ÷ 	ñ 	œŸ™ð 	´3ñ 	r,   c           	      ó¢  € V P                   w  r#rEWV,          ,
          V,          pWV,          ,
          V,          pV^ 8”  g   V^ 8”  d   \        P                  ! V ^ ^ ^ V^ V34      p W6,           WG,           r˜V P                  W(V,          WV,          W4      p V P	                  ^ ^^^^^4      P                  4       P                  RWV4      p
W¨V	33# )r   rƒ   )Úshaper$   ÚpadÚviewr—   Ú
contiguous)r(   r«   ÚBÚHÚWÚCÚpad_hÚpad_wÚHpÚWpÚwindowss   &&         r   Úwindow_partitionr¿   z   sÀ   € Ø—‘�J€Aˆ!Ø˜{�?Õ*¨kÕ9€EØ˜{�?Õ*¨kÕ9€EØˆq„y�E˜A”IÜ�EŠE�!�a˜˜A˜u a¨Ð/Ó0ˆØ�Y˜�	ˆØ	�‰ˆq˜Õ# [¸Õ2CÀ[ÓT€AØ�i‰i˜˜1˜a  A qÓ)×4Ñ4Ó6×;Ñ;¸BÀÐZ[Ó\€GØ˜�HÐÐr,   c                óD   € V ^8„  d   QhR\         P                  R\        /# )rg   r¾   r«   r¬   )r¯   s   "r   r°   r°   †   s   € ÷ ñ ¤§¡ð ¼3ñ r,   c                 ót  € Vw  rEVw  rgV P                   ^ ,          WE,          V,          V,          ,          pV P                  W„V,          WQ,          WR4      p	V	P                  ^ ^^^^^4      P                  4       P                  W„VR4      p	WF8”  g   WW8”  d    V	RRV1RV1R3,          P                  4       p	V	# )r   r    Nrƒ   )r²   r´   r—   rµ   )
r¾   r«   Úpad_hwÚhwr¼   r½   r·   r¸   r¶   r(   s
   &&&&      r   Úwindow_unpartitionrÄ   †   s¬   € Ø�F€BØ�D€AØ�‰�aÕ˜R�W¨Õ3°{ÕBÕC€AØ�‰�Q˜kÕ)¨2Õ+<¸kÐXZÓ[€AØ	�	‰	�!�Q˜˜1˜a Ó#×.Ñ.Ó0×5Ñ5°a¸RÀÓD€AØ	„v�”Øˆa��!��R�a�R˜ˆl�O×&Ñ&Ó(ˆØ€Hr,   c          
      óT   € V ^8„  d   QhR\         R\         R\         R\        R\        /# )rg   Úend_xÚend_yr‚   ÚthetaÚ	scale_pos)r®   rˆ   )r¯   s   "r   r°   r°   ‘   s7   € ÷ Zñ Z”3ð Zœsð Z¬ð Z´Uð ZÔQVñ Zr,   c           	     óF  € \         P                  ! W,          \         P                  R7      p\         P                  ! WP,          V,          \         P                  ! WPRR7      V,          .RR7      p\        W#V^,          V^,          .R7      ! VP                  ^ 4      4      # )zLGenerate 2D axial RoPE using flux EmbedND. Returns [1, 1, HW, dim//2, 2, 2].)r   Úfloor)Úrounding_moder�   )r‚   rÈ   Úaxes_dimrƒ   )r&   Úaranger…   r•   Údivr   r˜   )rÆ   rÇ   r‚   rÈ   rÉ   ÚtÚidss   &&&&&  r   Úrope_2drÒ   ‘   su   € ä�Š�U•]¬%¯-©-Ô8€AÜ
�+Š+˜�	 YÕ.Ü—y’y ¸ÔAÀIÕMðOØTVôX€Cä�s°3¸!µ8¸SÀA½XÐ2FÕGÈÏÉÐVWÓHXÓYÐYr,   c                   ó<   a a€ ] tR t^™t oRV 3R lltR tRtVtV ;t# )Ú_ViTMLPc                óÚ   <€ \         SV `  4        \        W,          4      pVP                  WW4R 7      V n        \
        P                  ! 4       V n        VP                  WaW4R 7      V n        R# )r   N)	r   r   r®   r   Úfc1r   ÚGELUÚactÚfc2)r   r‚   Ú	mlp_ratior   r   r   Úhiddenr   s   &&&&&& €r   r   Ú_ViTMLP.__init__š   sU   ø€ Ü‰ÑÔÜ�S•_Ó%ˆØ×$Ñ$ S¸Ð$ÓMˆŒÜ—7’7“9ˆŒØ×$Ñ$ V¸Ð$ÓMˆŽr,   c                ó`   € V P                  V P                  V P                  V4      4      4      # r`   )rÙ   rØ   rÖ   ©r   r(   s   &&r   r*   Ú_ViTMLP.forward¡   s"   € Ø�x‰x˜Ÿ™ §¡¨!£Ó-Ó.Ð.r,   )rØ   rÖ   rÙ   )ç      @NNNr-   r5   s   @@r   rÔ   rÔ   ™   s   ù‡ € ÷N÷/ò /r,   rÔ   c                   óD   a a€ ] tR t^¥t oRtRV 3R lltRR ltRtVtV ;t	# )Ú	Attentionz6ViTDet multi-head attention with fused QKV projection.c                óÆ   <€ \         SV `  4        W n        W,          V n        W@n        VP                  W^,          W5VR7      V n        VP                  WWVR7      V n        R# )é   )Úbiasr   r   r   N)r   r   r:   Úhead_dimÚuse_roper   ÚqkvÚproj)	r   r‚   r:   Úqkv_biasrç   r   r   r   r   s	   &&&&&&&&€r   r   ÚAttention.__init__¨   sW   ø€ Ü‰ÑÔØ"ŒØÕ(ˆŒØ ŒØ×$Ñ$ S°­'¸ÐW\Ð$Ó]ˆŒØ×%Ñ% c°vÐ%ÓKˆŽ	r,   c                óv  € VP                   w  r4pV P                  V4      P                  W4^V P                  V P                  4      pVP                  ^^ ^^^4      P                  ^ R7      w  rxp	V P                  '       d   Ve   \        WxV4      w  rxV P                  \        WxW�P                  RRR7      4      # )rä   r�   TF)Úskip_reshaperF   )r²   rè   Úreshaper:   ræ   r—   Úunbindrç   r   ré   r   )
r   r(   Ú	freqs_cisr¶   ÚNr¹   rè   rG   rH   rI   s
   &&&       r   r*   ÚAttention.forward°   sš   € Ø—'‘'‰ˆˆaØ�h‰h�q‹k×!Ñ! !¨¨4¯>©>¸4¿=¹=ÓIˆØ—+‘+˜a  A q¨!Ó,×3Ñ3¸Ð3Ó:‰ˆˆaØ�=�=ˆ=˜YÒ2Ü˜a IÓ.‰DˆAØ�y‰yÔ,¨Q°1·n±nÐSWÐqvÔwÓxÐxr,   )ræ   r:   ré   rè   rç   )ru   TFNNNr`   )
r.   r/   r0   r1   r©   r   r*   r2   r3   r4   r5   s   @@r   râ   râ   ¥   s   ù‡ € Ù@÷L÷yô yr,   râ   c                   ó@   a a€ ] tR t^¹t oRV 3R lltRR ltRtVtV ;t# )ÚBlockc
           
     óÞ   <€ \         S
V `  4        WPn        V	P                  WVR 7      V n        \        WWFWxV	R7      V n        V	P                  WVR 7      V n        \        WWxV	R7      V n	        R# )r   rN   N)
r   r   r«   rW   rX   râ   ÚattnrY   rÔ   rV   )r   r‚   r:   rÚ   rê   r«   rç   r   r   r   r   s   &&&&&&&&&&€r   r   ÚBlock.__init__º   sf   ø€ Ü‰ÑÔØ&ÔØ×)Ñ)¨#ÀEÐ)ÓJˆŒ
Ü˜c¨hÈÐisÔtˆŒ	Ø×)Ñ)¨#ÀEÐ)ÓJˆŒ
Ü˜3°&ÐR\Ô]ˆŽr,   c                ó   € TpV P                  V4      pV P                  ^ 8”  dà   VP                  ^,          VP                  ^,          rT\        WP                  4      w  rVP	                  VP                  ^ ,          V P                  V P                  ,          R4      pV P                  WR7      pVP	                  RV P                  V P                  VP                  R,          4      p\        WP                  WdV34      pMLVP                  w  rtrXVP	                  WtV,          V4      pV P                  WR7      pVP	                  WtWX4      pW1,           pWP                  V P                  V4      4      ,           pV# )r   ©rð   rƒ   )	rX   r«   r²   r¿   r´   rö   rÄ   rV   rY   )	r   r(   rð   Úshortcutr·   r¸   rÂ   r¶   r¹   s	   &&&      r   r*   ÚBlock.forwardÂ   s*  € ØˆØ�J‰J�q‹MˆØ×Ñ˜aÔØ—7‘7˜1•:˜qŸw™w q�zˆqÜ(¨×,<Ñ,<Ó=‰IˆAØ—‘�q—w‘w˜q•z 4×#3Ñ#3°d×6FÑ6FÕ#FÈÓKˆAØ—	‘	˜!�	Ó1ˆAØ—‘�r˜4×+Ñ+¨T×-=Ñ-=¸q¿w¹wÀr½{ÓKˆAÜ" 1×&6Ñ&6¸ÀAÀÓG‰AàŸ™‰JˆA�!Ø—‘�q˜a�% Ó#ˆAØ—	‘	˜!�	Ó1ˆAØ—‘�q˜QÓ"ˆAØ�LˆØ—‘˜Ÿ™ A›Ó'Õ'ˆØˆr,   )rö   rV   rX   rY   r«   )rà   Tr   FNNNr`   r-   r5   s   @@r   rô   rô   ¹   s   ù‡ € ÷^÷ô r,   rô   c                   ó<   a a€ ] tR t^Öt oRV 3R lltR tRtVtV ;t# )Ú
PatchEmbedc           
     óX   <€ \         SV `  4        VP                  W#WR WER7      V n        R# )F)Úkernel_sizeÚstriderå   r   r   N)r   r   ÚConv2dré   )r   Ú
patch_sizeÚin_chansÚ	embed_dimr   r   r   r   s   &&&&&&&€r   r   ÚPatchEmbed.__init__×   s.   ø€ Ü‰ÑÔØ×%Ñ% hÀzÐkpÐyÐ%ó  NˆŽ	r,   c                ó$   € V P                  V4      # r`   ©ré   rÞ   s   &&r   r*   ÚPatchEmbed.forwardÛ   s   € Ø�y‰y˜‹|Ðr,   r  )é   rä   é   NNNr-   r5   s   @@r   rý   rý   Ö   s   ù‡ € ÷N÷ò r,   rý   c                   óB   a a€ ] tR t^ßt oRV 3R lltR tR tRtVtV ;t	# )ÚViTDetc                ó4  <€ \         SV `  4        Wn        W n        W0n        WPn        \        V	4      V n        \        V^W<WÞR7      V n	        W²,          ^,          ^,           p\        P                  ! \        P                  ! ^VW<VR7      4      V n        VP                  W<VR7      V n        W,          pW²,          p\        P"                  ! 4       V n        \'        V4       FF  pVV P                  9   pV P$                  P)                  \+        Y5YgV'       d   ^ MTV
WÍVR7	      4       KH  	  V
'       dW   VV,          pV P-                  R\/        VVW5,          VR7      RR7       V P-                  R\/        WˆW5,          4      RR7       R	# R	V n        R	V n        R	# )
rä   rN   r   )r«   rç   r   r   r   rð   )rÉ   F)Ú
persistentÚfreqs_cis_windowN)r   r   Úimg_sizer  r  r:   ÚsetÚglobal_att_blocksrý   Úpatch_embedr   Ú	Parameterr&   ÚzerosÚ	pos_embedrW   Úln_prer   Úblocksr   Úappendrô   r{   rÒ   rð   r  )r   r  r  r  rm   r:   rÚ   rê   r«   r  rç   Úpretrain_img_sizer   r   r   ÚkwargsÚnum_patchesÚ	grid_sizeÚpretrain_gridr   Ú	is_globalÚ
rope_scaler   s   &&&&&&&&&&&&&&&,      €r   r   ÚViTDet.__init__à   sh  ø€ ä‰ÑÔØ ŒØ$ŒØ"ŒØ"ŒÜ!$Ð%6Ó!7ˆÔä% j°!°YÐUZÔrˆÔà(Õ6¸1Õ<¸qÕ@ˆÜŸš¤e§k¢k°!°[À)ÐbgÔ&hÓiˆŒà ×*Ñ*¨9È5Ð*ÓQˆŒàÕ*ˆ	Ø)Õ7ˆä—m’m“oˆŒÜ�u–ˆAØ˜T×3Ñ3Ñ3ˆIØ�K‰K×ÑœuØ iß!*™A°Ø!Ø°zô	 ö ñ ÷ Ø&¨Õ2ˆJØ× Ñ  ¬g°iÀÈIÕLbÐnxÔ.yð  GLÐ ô  MØ× Ñ Ð!3´W¸[ÐW`ÕWmÓ5nð  |AÐ ö  Bà!ˆDŒNØ$(ˆDÖ!r,   c                ó„  € V P                   pVP                  ^,          V8X  d   V# VR,          pVR,          p\        \        P                  ! VP                  ^,          4      4      pV^8”  d'   \        \        P                  ! V^,
          4      4      MTpVP                  ^WUR4      P                  ^ ^^^4      pWe,          ^,           pWe,          ^,           p	VP                  ^^W‰.4      RRRV1RV13,          p
V
P                  ^ ^^^4      P                  ^Wf,          R4      p
\        P                  ! W:.^R7      # )r
   r    Nr�   )r    :Nr
   N)r    :r
   NNrƒ   )
r  r²   r®   r†   Úsqrtrî   r—   Útiler&   r‰   )r   Ú
num_tokensÚposÚcls_posÚspatial_posÚold_sizeÚnew_sizeÚ
spatial_2dÚtiles_hÚtiles_wÚtileds   &&         r   Ú_get_pos_embedÚViTDet._get_pos_embed  s  € Ø�n‰nˆØ�9‰9�Q�<˜:Ô%ØˆJØ�e•*ˆØ˜%•jˆÜ”t—y’y ×!2Ñ!2°1Õ!5Ó6Ó7ˆØ5?À!´^”3”t—y’y ¨a¥Ó0Ô1ÈˆØ ×(Ñ(¨¨HÀÓC×KÑKÈAÈqÐRSÐUVÓWˆ
ØÕ&¨Õ*ˆØÕ&¨Õ*ˆØ—‘  A wÐ 8Ó9¸!¸QÀ	ÀÀ	È9ÈHÈ9Ð:TÕUˆØ—‘˜a  A qÓ)×1Ñ1°!°XÕ5HÈ"ÓMˆÜ�yŠy˜'Ð)¨qÔ1Ð1r,   c                ód  € V P                  V4      pVP                  w  r#rEVP                  ^ ^^^4      P                  W$V,          V4      p\	        V P                  WE,          ^,           4      V4      pWR^WE,          ^,           13,          ,           pVP                  W$WS4      pV P                  V4      pV P                  pV P                  pVe   \	        Wq4      pVe   \	        W�4      pV P                   F!  p	V	P                  ^ 8”  d   TMTp
V	! WR7      pK#  	  VP                  ^ ^^^4      # )r   r    rù   )r  r²   r—   rî   r   r/  r´   r  rð   r  r  r«   )r   r(   r¶   r¹   r¼   r½   r&  Úfreqs_cis_globalÚfreqs_cis_winÚblockÚfcs   &&         r   r*   ÚViTDet.forward  s  € Ø×Ñ˜QÓˆØ—w‘w‰ˆˆbØ�I‰I�a˜˜A˜qÓ!×)Ñ)¨!°"­W°aÓ8ˆä˜D×/Ñ/°µ¸!µÓ<¸aÓ@ˆØ�A�q˜� 1��}Ð$Õ%Õ%ˆà�F‰F�1˜"Ó ˆØ�K‰K˜‹NˆàŸ>™>ÐØ×-Ñ-ˆØÒ'Ü,Ð-=ÓAÐØÒ$Ü)¨-Ó;ˆMà—[”[ˆEØ"'×"3Ñ"3°aÔ"7‘Ð=MˆBÙ�aÔ&ŠAñ !ð �y‰y˜˜A˜q !Ó$Ð$r,   )r  r  rð   r  r  r  r  r:   r  r  r  )ið  r	  r
  é    é   g     €@Té   )é   é   é   é   TiP  NNN)
r.   r/   r0   r1   r   r/  r*   r2   r3   r4   r5   s   @@r   r  r  ß   s   ù‡ € ÷#)òJ2÷%ò %r,   r  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚFPNScaleConvi-  c           	     ó  <€ \         SV `  4        VR 8X  dU   VP                  W^,          ^^WER7      V n        VP                  V^,          V^,          ^^WER7      V n        V^,          pMbVR8X  d,   VP                  W^,          ^^WER7      V n        V^,          pM0VR8X  d   TpM&VR8X  d    \        P                  ! ^^R7      V n        TpW0n	        VP                  XV^WER7      V n        VP                  W"^^WER7      V n        R# )	rà   )rÿ   r   r   r   ç       @rz   r“   )rÿ   r   )rÿ   r   r   )rÿ   Úpaddingr   r   N)r   r   ÚConvTranspose2dÚdconv_2x2_0Údconv_2x2_1Ú	dconv_2x2r   Ú	MaxPool2dÚpoolr~   r  Úconv_1x1Úconv_3x3)	r   Úin_dimÚout_dimr~   r   r   r   Úproj_inr   s	   &&&&&&& €r   r   ÚFPNScaleConv.__init__.  s  ø€ Ü‰ÑÔØ�CŒ<Ø)×9Ñ9¸&ÈAÅ+Ð[\ÐefÐouÐ9ó   DˆDÔØ)×9Ñ9¸&ÀA½+ÀvÐQRÅ{Ð`aÐjkÐtzÐ9ó   IˆDÔØ •k‰GØ�cŒ\Ø'×7Ñ7¸È!ÅÐYZÐcdÐmsÐ7ó  BˆDŒNØ •k‰GØ�cŒ\Ø‰GØ�cŒ\ÜŸš°¸1Ô=ˆDŒIØˆGØŒ
Ø"×)Ñ)¨'°7ÈÐRXÐ)ÓfˆŒØ"×)Ñ)¨'ÈÐSTÐ]cÐ)ÓqˆŽr,   c                ód  € V P                   R 8X  d8   \        P                  ! V P                  V4      4      pV P	                  V4      pMEV P                   R8X  d   V P                  V4      pM"V P                   R8X  d   V P                  V4      pV P                  V4      pV P                  V4      pV# )rà   rA  r“   )	r~   r$   ÚgelurD  rE  rF  rH  rI  rJ  rÞ   s   &&r   r*   ÚFPNScaleConv.forward@  s‹   € Ø�:‰:˜ÔÜ—’�t×'Ñ'¨Ó*Ó+ˆAØ× Ñ  Ó#‰AØ�Z‰Z˜3ÔØ—‘˜qÓ!‰AØ�Z‰Z˜3ÔØ—	‘	˜!“ˆAØ�M‰M˜!ÓˆØ�M‰M˜!ÓˆØˆr,   )rI  rJ  rF  rD  rE  rH  r~   )NNNr-   r5   s   @@r   r?  r?  -  s   ù‡ € ÷r÷$
ò 
r,   r?  c                   óR   a a€ ] tR tRt oRtR	V 3R lltR tR tR tR t	Rt
VtV ;t# )
ÚPositionEmbeddingSineiM  zA2D sinusoidal position encoding (DETR-style) with result caching.c                óÊ   <€ \         SV `  4        V^,          ^ 8X  g   Q hV^,          V n        W n        W0n        Ve   TM^\
        P                  ,          V n        / V n        R# )rg   N)	r   r   Úhalf_dimÚtemperatureÚ	normalizer†   r‡   r~   Ú_cache)r   r}   rV  rW  r~   r   s   &&&&&€r   r   ÚPositionEmbeddingSine.__init__O  sU   ø€ Ü‰ÑÔØ˜qÕ  AÔ%Ð%Ð%Ø%¨Õ*ˆŒØ&ÔØ"ŒØ#Ò/‘U°Q¼¿¹µ[ˆŒ
ØˆŽr,   c                óÀ  € V P                   ^\        P                  ! V P                  \        P                  VP
                  R7      ^,          ,          V P                  ,          ,          pVR,          V P                  ,          V,          p\        P                  ! VR,          P                  4       VR,          P                  4       3RR7      P                  R4      # )z1Encode 1D values to interleaved sin/cos features.©r   r   r�   ).N).ºr   Nrg   ).ºr
   Nrg   rƒ   éþÿÿÿ©rV  r&   rÎ   rU  r…   r   r~   r•   rŠ   r‹   Úflatten)r   ÚvalsÚfreqsÚraws   &&  r   Ú_sincosÚPositionEmbeddingSine._sincosX  s¦   € à× Ñ  Q¬%¯,ª,°t·}±}ÌEÏMÉMÐbf×bmÑbmÔ*nÐrsÕ*sÕ%tÐw{÷  xEñ  xEõ  &Eõ  FˆØ�9�o §
¡
Õ*¨UÕ2ˆÜ�{Š{˜C 	�N×.Ñ.Ó0°#°iµ.×2DÑ2DÓ2FÐGÈRÔP×XÑXÐY[Ó\Ð\r,   c                ó®  € V P                   ^\        P                  ! V P                  \        P                  VP
                  R7      ^,          ,          V P                  ,          ,          pVR,          V P                  ,          V,          pVR,          V P                  ,          V,          p\        P                  ! VR,          P                  4       VR,          P                  4       3^R7      P                  ^4      p\        P                  ! VR,          P                  4       VR,          P                  4       3^R7      P                  ^4      pWE3# )zeEncode normalized x, y coordinates to sinusoidal features. Returns (pos_x, pos_y) each [N, half_dim].r[  r�   ©r    N)r    r\  )r    r]  r_  )r   r(   ÚyÚdim_tÚpos_xÚpos_ys   &&&   r   Ú
_encode_xyÚ PositionEmbeddingSine._encode_xy^  sÿ   € à× Ñ  Q¬%¯,ª,°t·}±}ÌEÏMÉMÐbc×bjÑbjÔ*kÐopÕ*pÕ%qÐtx÷  uBñ  uBõ  &Bõ  CˆØ�'•
˜TŸZ™ZÕ'¨%Õ/ˆØ�'•
˜TŸZ™ZÕ'¨%Õ/ˆÜ—’˜U 7�^×/Ñ/Ó1°5¸µ>×3EÑ3EÓ3GÐHÈaÔP×XÑXÐYZÓ[ˆÜ—’˜U 7�^×/Ñ/Ó1°5¸µ>×3EÑ3EÓ3GÐHÈaÔP×XÑXÐYZÓ[ˆØˆ|Ðr,   c                óz   € V P                  W4      w  rV\        P                  ! WeVR,          VR,          3^R7      # )z4Encode box center + size to [N, d_model+2] features.r�   rg  )rl  r&   r‰   )r   ÚcxÚcyr›   rš   rj  rk  s   &&&&&  r   Úencode_boxesÚ"PositionEmbeddingSine.encode_boxesg  s2   € à—‘ rÓ.‰ˆÜ�yŠy˜%¨¨'­
°A°gµJÐ?ÀQÔGÐGr,   c                óä  € VP                   w  r#rEWEVP                  3pW`P                  9  Ed   \        P                  ! V\        P
                  VP                  R 7      p\        P                  ! V\        P
                  VP                  R 7      pV P                  '       d,   Wt^,
          R,           ,          W…^,
          R,           ,          r‡\        P                  ! WxRR7      w  rš\        P                  ! V P                  V	4      V P                  V
4      3RR7      P                  ^^ ^4      P                  ^ 4      V P                  V&   V P                  V,          P                  VRRR4      # )r[  g�íµ ÷Æ°>Úij)Úindexingr�   rƒ   )r²   r   rX  r&   rÎ   r…   rW  Úmeshgridr‰   rd  r—   r˜   Úexpand)r   r(   r¶   r¹   r·   r¸   ÚkeyÚgyÚgxÚyyÚxxs   &&         r   r*   ÚPositionEmbeddingSine.forwardl  s  € Ø—W‘W‰
ˆˆaØ�Q—X‘XÐˆØ—k‘kÕ!Ü—’˜a¤u§}¡}¸Q¿X¹XÔFˆBÜ—’˜a¤u§}¡}¸Q¿X¹XÔFˆBØ�~�~ˆ~Ø 1�u t�|Õ,¨b¸µE¸DµLÕ.A�BÜ—^’^ B°TÔ:‰FˆBÜ$Ÿyšy¨$¯,©,°rÓ*:¸D¿L¹LÈÓ<LÐ)MÐSUÔV×^Ñ^Ð_`ÐbcÐefÓg×qÑqÐrsÓtˆD�K‰K˜ÑØ�{‰{˜3Õ×&Ñ& q¨"¨b°"Ó5Ð5r,   )rX  rU  rW  r~   rV  )rt   ç     ˆÃ@TN)r.   r/   r0   r1   r©   r   rd  rl  rq  r*   r2   r3   r4   r5   s   @@r   rS  rS  M  s(   ù‡ € ÙK÷ò]òòH÷

6ò 
6r,   rS  c                   ó@   a a€ ] tR tRt oRV 3R lltRR ltRtVtV ;t# )ÚSAM3VisionBackboneiy  c                ó  <€ \         SV `  4        \        RR VRVRVRV/VB V n        \	        VRR7      V n        W0n        \        WEVR7      pV'       d©   . R	Op	\        P                  ! V	 U
u. uF  p
\        WV
3/ VB NK  	  up
4      V n        \        P                  ! V	 U
u. uF  p
\        WV
3/ VB NK  	  up
4      V n        \        P                  ! V	 U
u. uF  p
\        WV
3/ VB NK  	  up
4      V n        R# . R
Op	\        P                  ! V	 U
u. uF  p
\        WV
3/ VB NK  	  up
4      V n        \        P                  ! V	 U
u. uF  p
\        WV
3/ VB NK  	  up
4      V n        R# u up
i u up
i u up
i u up
i u up
i )r  r   r   r   T)r}   rW  rN   Nr§   )rà   rA  rz   )rà   rA  rz   r“   )r   r   r  ÚtrunkrS  Úposition_encodingÚ	multiplexÚdictr   r   r?  ÚconvsÚpropagation_convsÚinteractive_convsÚ
sam2_convs)r   r  Úd_modelr„  r   r   r   r  Úfpn_argsÚscalesÚsr   s   &&&&&&&,   €r   r   ÚSAM3VisionBackbone.__init__z  sh  ø€ Ü‰ÑÔÜÑm iÐm¸ÐmÀeÐmÐXbÐmÐflÑmˆŒ
Ü!6ÀWÐX\Ô!]ˆÔØ"Œä˜v¸zÔJˆßÚ$ˆFÜŸšÑagÓ'hÑagÐ\]¬°YÈÑ(WÈhÔ(WÑagÑ'hÓiˆDŒJÜ%'§]¢]ÑmsÓ3tÑmsÐhi´LÀÐUVÑ4cÐZbÔ4cÑmsÑ3tÓ%uˆDÔ"Ü%'§]¢]ÑmsÓ3tÑmsÐhi´LÀÐUVÑ4cÐZbÔ4cÑmsÑ3tÓ%uˆDÖ"â)ˆFÜŸšÑagÓ'hÑagÐ\]¬°YÈÑ(WÈhÔ(WÑagÑ'hÓiˆDŒJÜ ŸmšmÑflÓ,mÑflÐab¬\¸)ÈaÑ-\ÐS[Ô-\ÑflÑ,mÓnˆDŽOùò (iùÚ3tùÚ3tùò (iùÚ,ms   Á-E/Â#E4ÃE9ÄE>ÅFc                óP  € Ve   TMV P                  V4      pV'       d„   V P                  '       d!   VR8X  d   V P                  MV P                  pMV P                  pV Uu. uF
  qˆ! V4      NK  	  p	pV	 U
u. uF  p
\        V P                  V
4      V
4      NK   	  pp
R R W›3# V P                   Uu. uF
  qˆ! V4      NK  	  ppV U
u. uF  p
\        V P                  V
4      V
4      NK   	  pp
V P                  '       d.   VR8X  d   V P                  pM3VR8X  d   V P                  pMWÍR R 3# V'       d   V P                  pMWÍR R 3# V Uu. uF
  qˆ! V4      NK  	  p	pV	 U
u. uF  p
\        V P                  V
4      V
4      NK   	  pp
WÍW›3# u upi u up
i u upi u up
i u upi u up
i )NÚpropagationÚinteractive)r‚  r„  r‡  rˆ  r‰  r   rƒ  r†  )r   ÚimagesÚneed_trackerÚtracker_modeÚcached_trunkÚtracker_onlyÚbackbone_outÚtracker_convsÚconvÚtracker_featuresÚfÚtracker_positionsÚfeaturesÚ	positionss   &&&&&&        r   r*   ÚSAM3VisionBackbone.forward‹  s›  € Ø'3Ò'?‘|ÀTÇZÁZÐPVÓEWˆçà�~�~ˆ~Ø:FÈ-Ô:W × 6Ò 6Ð]a×]sÑ]s‘à $§¡�Ù?LÓM¹}°t  \Ö 2¹}ÐÐMÙVfÓ gÑVfÐQR¤¨t×/EÑ/EÀaÓ/HÈ!Ö!LÑVfÐÐ gØ˜Ð/ÐBÐBà37·:²:Ó>±:¨4�D˜Ö&±:ˆÐ>ÙJRÓSÉ(ÀQ”] 4×#9Ñ#9¸!Ó#<¸aÖ@É(ˆ	ÐSà�>�>ˆ>Ø˜}Ô,Ø $× 6Ñ 6‘Ø Ô.Ø $× 6Ñ 6‘à¨D°$Ð6Ð6ßØ ŸO™O‰Mà¨¨dÐ2Ð2á;HÓI¹=°4˜D Ö.¹=ÐÐIÙRbÓcÑRbÈQœ]¨4×+AÑ+AÀ!Ó+DÀaÖHÑRbÐÐcØÐ$4ÐGÐGùò+  NùÚ gùò ?ùÚSùò JùÚcs$   Á"F
Á8$FÂ1FÃ$FÅ
FÅ $F#)r†  rˆ  r„  rƒ  r‡  r‰  r‚  )r
  rt   FNNN)FNNFr-   r5   s   @@r   r€  r€  y  s   ù‡ € ÷o÷"Hô Hr,   r€  )r~  rz   ) r†   r&   Útorch.nnr   Útorch.nn.functionalÚ
functionalr$   Úcomfy.ldm.modules.attentionr   Úcomfy.ldm.flux.mathr   Úcomfy.ldm.flux.layersr   Ú	comfy.opsr   ÚModuler   r8   rL   ri   rw   r¿   rÄ   rÒ   rÔ   râ   rô   rý   r  r?  rS  r€  r§   r,   r   Ú<module>r¨     s  ðó ã Ý ß Ð å ;Ý *Ý )Ý #ô
>ˆ"�)‰)ô 
>ôj�2—9‘9ô jô$˜2Ÿ9™9ô ô6˜Ÿ	™	ô ô("˜bŸi™iô "õ:	õ÷Zô	/ˆb�i‰iô 	/ôy�—	‘	ô yô(ˆB�I‰Iô ô:�—‘ô ôK%ˆR�Y‰Yô K%ô\�2—9‘9ô ô@)6˜BŸI™Iô )6ôX0H˜Ÿ™ö 0Hr,   