+
    ‚°ñjXv  ã                   ó<  € ^ RI t ^ RIt^ RIt^ RIHt ^ RIHt ^ RI	Hu H
t ^ RIHt ^ RIHt . R(OR,          RRR)1,          R*R t ! R R]P"                  4      t ! R R	]P"                  4      tR
 tR t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R  R!]P"                  4      t  ! R" R#]P"                  4      t! ! R$ R%]P"                  4      t" ! R& R']P"                  4      t#R# )+é    N)Úpartial)Údeform_conv2d)Úoptimized_attention_for_deviceºé   NNc                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )Ú	Attentionc                ó  <€ \         S	V `  4        Wn        W n        W,          pT;'       g
    VR,          V n        VP                  WW5VR7      V n        VP                  W^,          W5VR7      V n        VP                  WWVR7      V n        R# )ç      à?©ÚbiasÚdeviceÚdtype©r   r   Nç      à¿)	ÚsuperÚ__init__ÚdimÚ	num_headsÚscaleÚLinearÚqÚkvÚproj)
Úselfr   r   Úqkv_biasÚqk_scaler   r   Ú
operationsÚhead_dimÚ	__class__s
   &&&&&&&& €ÚEC:\Ai_Coding\apps\studio\ComfyUI\comfy\background_removal\birefnet.pyr   ÚAttention.__init__   sƒ   ø€ Ü‰ÑÔàŒØ"ŒØÕ#ˆØ×1Ð1 ¨TÕ!1ˆŒ
à×"Ñ" 3°(ÐQVÐ"ÓWˆŒØ×#Ñ# C¨q­°xÐV[Ð#Ó\ˆŒØ×%Ñ% c°vÐ%ÓKˆŽ	ó    c           	     óB  € VP                   w  r#p\        VP                  R RR7      pV P                  V4      P	                  W#V P
                  W@P
                  ,          4      P                  ^ ^^^4      pV P                  V4      P	                  VR^V P
                  W@P
                  ,          4      P                  ^^ ^^^4      pV^ ,          V^,          r˜V! WhW�P
                  RRR7      P                  ^^4      P	                  W#V4      pV P                  V4      pV# )FT)ÚmaskÚsmall_input)ÚheadsÚskip_output_reshapeÚskip_reshapeéÿÿÿÿ)
Úshaper   r   r   Úreshaper   Úpermuter   Ú	transposer   )
r   ÚxÚBÚNÚCÚoptimized_attentionr   r   ÚkÚvs
   &&        r!   ÚforwardÚAttention.forward   sö   € Ø—'‘'‰ˆˆaÜ<¸Q¿X¹XÈEÐ_cÔdÐØ�F‰F�1‹I×Ñ˜a D§N¡N°A¿¹Õ4GÓH×PÑPÐQRÐTUÐWXÐZ[Ó\ˆØ�W‰W�Q‹Z×Ñ  2 q¨$¯.©.¸!¿~¹~Õ:MÓN×VÑVÐWXÐZ[Ð]^Ð`aÐcdÓeˆØ�!�u�b˜•eˆ1áØ�!Ÿ>™>¸tÐRVô
ç
‰)�A�q‹/Ÿ'™' !¨Ó*ð 	
ð �I‰I�a‹Lˆàˆr#   )r   r   r   r   r   r   )é   FNNNN©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r6   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r    Ú__classdict__s   @@r!   r	   r	      s   ù‡ € ÷
L÷ò r#   r	   c                   ó<   a a€ ] tR t^'t oRV 3R lltR tRtVtV ;t# )ÚMlpc                óè   <€ \         SV `  4        T;'       g    TpT;'       g    TpVP                  WWER 7      V n        \        P
                  ! 4       V n        VP                  W#WER 7      V n        R# )r   N)r   r   r   Úfc1ÚnnÚGELUÚactÚfc2)r   Úin_featuresÚhidden_featuresÚout_featuresr   r   r   r    s   &&&&&&&€r!   r   ÚMlp.__init__(   sc   ø€ Ü‰ÑÔØ#×2Ð2 {ˆØ)×8Ð8¨[ˆØ×$Ñ$ [È&Ð$Ó^ˆŒÜ—7’7“9ˆŒØ×$Ñ$ _È6Ð$Ó_ˆŽr#   c                ól   € V P                  V4      pV P                  V4      pV P                  V4      pV# ©N)rF   rI   rJ   ©r   r/   s   &&r!   r6   ÚMlp.forward0   s.   € Ø�H‰H�Q‹KˆØ�H‰H�Q‹KˆØ�H‰H�Q‹KˆØˆr#   )rI   rF   rJ   )NNNNNr9   rA   s   @@r!   rD   rD   '   s   ù‡ € ÷`÷ò r#   rD   c                 óÐ   € V P                   w  r#rEV P                  W#V,          WV,          W4      p V P                  ^ ^^^^^4      P                  4       P                  RWV4      pV# ©r   r*   )r+   Úviewr-   Ú
contiguous)r/   Úwindow_sizer0   ÚHÚWr2   Úwindowss   &&     r!   Úwindow_partitionr[   7   sa   € Ø—‘�J€Aˆ!Ø	�‰ˆq�{Õ" K°kÕ1AÀ;ÓR€AØ�i‰i˜˜1˜a  A qÓ)×4Ñ4Ó6×;Ñ;¸BÀÐZ[Ó\€GØ€Nr#   c                 ó   € \        V P                  ^ ,          W#,          V,          V,          ,          4      pV P                  WBV,          W1,          WR4      pVP                  ^ ^^^^^4      P	                  4       P                  WBVR4      pV# rT   )Úintr+   rU   r-   rV   )rZ   rW   rX   rY   r0   r/   s   &&&&  r!   Úwindow_reverser^   >   sx   € ÜˆG�M‰M˜!Õ ¥¨Õ 3°kÕ AÕBÓC€AØ�‰�Q˜[Õ(¨!Õ*:¸KÐVXÓY€AØ	�	‰	�!�Q˜˜1˜a Ó#×.Ñ.Ó0×5Ñ5°a¸A¸rÓB€AØ€Hr#   c                   ó@   a a€ ] tR t^Et oRV 3R lltRR ltRtVtV ;t# )ÚWindowAttentionc	           	     óì  <€ \         SV `  4        Wn        W n        W0n        W,          p	T;'       g
    V	R,          V n        \        P                  ! \        P                  ! ^V^ ,          ,          ^,
          ^V^,          ,          ^,
          ,          W6VR7      4      V n
        \        P                  ! V P                  ^ ,          4      p
\        P                  ! V P                  ^,          4      p\        P                  ! \        P                  ! W«.RR7      4      p\        P                  ! V^4      pVR	,          VR
,          ,
          pVP                  ^^^ 4      P!                  4       pVR;;,          V P                  ^ ,          ^,
          ,          uu&   VR;;,          V P                  ^,          ^,
          ,          uu&   VR;;,          ^V P                  ^,          ,          ^,
          ,          uu&   VP#                  R4      pV P%                  RV4       VP'                  W^,          WFVR7      V n        VP'                  WWgR7      V n        \        P,                  ! RR7      V n        R# )r   r   Úij)ÚindexingNÚrelative_position_indexr   ©r   r   )ºNNNrf   N)rf   Nrf   )rf   rf   r   )rf   rf   r   r*   )r   r   r   rW   r   r   rG   Ú	ParameterÚtorchÚzerosÚrelative_position_bias_tableÚarangeÚstackÚmeshgridÚflattenr-   rV   ÚsumÚregister_bufferr   Úqkvr   ÚSoftmaxÚsoftmax)r   r   rW   r   r   r   r   r   r   r   Úcoords_hÚcoords_wÚcoordsÚcoords_flattenÚrelative_coordsrd   r    s   &&&&&&&&&       €r!   r   ÚWindowAttention.__init__F   sÜ  ø€ ä‰ÑÔØŒØ&ÔØ"ŒØÕ#ˆØ×1Ð1 ¨TÕ!1ˆŒ
ä,.¯LªLÜ�KŠK˜˜[¨�^Õ+¨aÕ/°A¸ÀA½Õ4FÈÕ4JÕKÈYÐmrÔsó-uˆÔ)ô —<’< × 0Ñ 0°Õ 3Ó4ˆÜ—<’< × 0Ñ 0°Õ 3Ó4ˆÜ—’œUŸ^š^¨XÐ,@È4ÔPÓQˆÜŸš v¨qÓ1ˆØ(¨Õ4°~ÀjÕ7QÕQˆØ)×1Ñ1°!°Q¸Ó:×EÑEÓGˆØ˜×  D×$4Ñ$4°QÕ$7¸!Õ$;Õ;Ó Ø˜×  D×$4Ñ$4°QÕ$7¸!Õ$;Õ;Ó Ø˜×  A¨×(8Ñ(8¸Õ(;Õ$;¸aÕ$?Õ?Ó Ø"1×"5Ñ"5°bÓ"9ÐØ×ÑÐ6Ð8OÔPà×$Ñ$ S°­'¸ÐW\Ð$Ó]ˆŒØ×%Ñ% c°vÐ%ÓKˆŒ	Ü—z’z bÔ)ˆŽr#   c                óâ  € VP                   w  r4pV P                  V4      P                  W4^V P                  WPP                  ,          4      P	                  ^^ ^^^4      pV^ ,          V^,          V^,          r˜pWpP
                  ,          pWxP                  RR4      ,          p
V P                  V P                  P                  4       P                  R4      ,          P                  V P                  ^ ,          V P                  ^,          ,          V P                  ^ ,          V P                  ^,          ,          R4      p\        P                  P                  VP	                  ^^ ^4      P                  4       V
4      pW«P!                  ^ 4      ,           p
Ve‹   VP                   ^ ,          pV
P                  W<,          WÀP                  WD4      VP!                  ^4      P!                  ^ 4      ,           p
V
P                  RV P                  WD4      p
V P#                  V
4      p
MV P#                  V
4      p
W©,          P                  ^^4      P                  W4V4      pV P%                  V4      pV# )é   éþÿÿÿr*   )r+   rq   r,   r   r-   r   r.   rj   rd   ÚlongrU   rW   ÚcomfyÚopsÚcast_to_inputrV   Ú	unsqueezers   r   )r   r/   r%   ÚB_r1   r2   rq   r   r4   r5   ÚattnÚrelative_position_biasÚnWs   &&&          r!   r6   ÚWindowAttention.forwardb   sî  € Ø—7‘7‰ˆˆqØ�h‰h�q‹k×!Ñ! "¨¨D¯N©N¸AÇÁÕ<OÓP×XÑXÐYZÐ\]Ð_`ÐbcÐefÓgˆØ�a•&˜#˜a�& # a¥&ˆaˆà—
‘
�NˆØ—K‘K  BÓ'Õ'ˆà!%×!BÑ!BÀ4×C_ÑC_×CdÑCdÓCf×CkÑCkÐlnÓCoÕ!p×!uÑ!uØ×Ñ˜QÕ $×"2Ñ"2°1Õ"5Õ5°t×7GÑ7GÈÕ7JÈT×M]ÑM]Ð^_ÕM`Õ7`Ðbdó"fÐä!&§¡×!8Ñ!8Ð9O×9WÑ9WÐXYÐ[\Ð^_Ó9`×9kÑ9kÓ9mÐosÓ!tÐØ×6Ñ6°qÓ9Õ9ˆàÒØ—‘˜A•ˆBØ—9‘9˜R�X r¯>©>¸1Ó@À4Ç>Á>ÐRSÓCT×C^ÑC^Ð_`ÓCaÕaˆDØ—9‘9˜R §¡°Ó6ˆDØ—<‘< Ó%‰Dà—<‘< Ó%ˆDà�X× Ñ   AÓ&×.Ñ.¨r°aÓ8ˆØ�I‰I�a‹LˆØˆr#   )r   r   r   rq   rj   r   rs   rW   )TNNNNrP   r9   rA   s   @@r!   r`   r`   E   s   ù‡ € ÷*÷8ô r#   r`   c            	       ób   a a€ ] tR t^|t o^^ RRR]P
                  RRR3	V 3R lltR tRtVt	V ;t
# )ÚSwinTransformerBlockç      @TNc                óV  <€ \         SV `  4        Wn        W n        W0n        W@n        WPn        V! WV
R 7      V n        \        WP                  V P                  3VWgWšVR7      V n	        V! WV
R 7      V n
        \        W,          4      p\        WWšVR7      V n        RV n        RV n        R# )r   )rW   r   r   r   r   r   r   )rK   rL   r   r   r   N)r   r   r   r   rW   Ú
shift_sizeÚ	mlp_ratioÚnorm1r`   rƒ   Únorm2r]   rD   ÚmlprX   rY   )r   r   r   rW   r‹   rŒ   r   r   Ú
norm_layerr   r   r   Úmlp_hidden_dimr    s   &&&&&&&&&&&& €r!   r   ÚSwinTransformerBlock.__init__}   sž   ø€ ô 	‰ÑÔØŒØ"ŒØ&ÔØ$ŒØ"Œá ¸%Ô@ˆŒ
Ü#Ø×.Ñ.°×0@Ñ0@ÐAÈYØ¸ÐYcôeˆŒ	ñ   ¸%Ô@ˆŒ
Ü˜S�_Ó-ˆÜ 3ÈvÐoyÔzˆŒàˆŒØˆŽr#   c           	     óð  € VP                   w  r4pV P                  V P                  rvTpV P                  V4      pVP	                  W6Wu4      p^ ;ršV P
                  WpP
                  ,          ,
          V P
                  ,          pV P
                  W`P
                  ,          ,
          V P
                  ,          p\        P                  ! V^ ^ W›W¬34      pVP                   w  rÞrýV P                  ^ 8”  d4   \        P                  ! WP                  ) V P                  ) 3RR7      pTpMTpRp\        VV P
                  4      pVP	                  RV P
                  V P
                  ,          V4      pV P                  VVR7      pVP	                  RV P
                  V P
                  V4      p\        VV P
                  Wï4      pV P                  ^ 8”  d1   \        P                  ! VV P                  V P                  3RR7      pMTpV^ 8”  g   V^ 8”  d    VRRV1RV1R3,          P                  4       pVP	                  W6V,          V4      pW�,           pWP                  V P!                  V4      4      ,           pV# )r   )ÚshiftsÚdimsN)r%   rf   )r   é   r*   )r+   rX   rY   r�   rU   rW   ÚFÚpadr‹   rh   Úrollr[   rƒ   r^   rV   r�   rŽ   )r   r/   Úmask_matrixr0   ÚLr2   rX   rY   ÚshortcutÚpad_lÚpad_tÚpad_rÚpad_bÚ_ÚHpÚWpÚ	shifted_xÚ	attn_maskÚ	x_windowsÚattn_windowss   &&&                 r!   r6   ÚSwinTransformerBlock.forward“   s  € Ø—'‘'‰ˆˆaØ�v‰v�t—v‘vˆ1àˆØ�J‰J�q‹MˆØ�F‰F�1˜ÓˆàÐˆØ×!Ñ! A×(8Ñ(8Õ$8Õ8¸D×<LÑ<LÕLˆØ×!Ñ! A×(8Ñ(8Õ$8Õ8¸D×<LÑ<LÕLˆÜ�EŠE�!�a˜˜E¨%Ð7Ó8ˆØ—w‘w‰ˆˆrà�?‰?˜QÔÜŸ
š
 1¯©Ð.>ÀÇÁÐ@PÐ-QÐX^Ô_ˆIØ#‰IàˆIØˆIä$ Y°×0@Ñ0@ÓAˆ	Ø—N‘N 2 t×'7Ñ'7¸$×:JÑ:JÕ'JÈAÓNˆ	à—y‘y °�yÓ;ˆà#×(Ñ(¨¨T×-=Ñ-=¸t×?OÑ?OÐQRÓSˆÜ" <°×1AÑ1AÀ2ÓJˆ	à�?‰?˜QÔÜ—
’
˜9¨d¯o©o¸t¿¹Ð-OÐV\Ô]‰AàˆAà�1Œ9˜ œ	Ø�!�R�a�R˜˜!˜˜Q�,•×*Ñ*Ó,ˆAà�F‰F�1˜!•e˜QÓˆà�LˆØ—‘˜Ÿ™ A›Ó'Õ'ˆàˆr#   )rX   rY   rƒ   r   r�   rŒ   r�   rŽ   r   r‹   rW   ©r:   r;   r<   r=   rG   Ú	LayerNormr   r6   r>   r?   r@   rA   s   @@r!   rˆ   rˆ   |   s-   ù‡ € Ø34ÀØ¨°tØŸL™L°¸TÈd÷÷,*ò *r#   rˆ   c                   ó<   a a€ ] tR t^Àt oRV 3R lltR tRtVtV ;t# )ÚPatchMergingc                ó¾   <€ \         SV `  4        Wn        VP                  ^V,          ^V,          RW#R7      V n        VP                  ^V,          W#R7      V n        R# )é   Fr   r   N)r   r   r   r   Ú	reductionrª   Únorm)r   r   r   r   r   r    s   &&&&&€r!   r   ÚPatchMerging.__init__Á   sR   ø€ Ü‰ÑÔØŒØ#×*Ñ*¨1¨s­7°A¸µGÀ%ÐPVÐ*ÓdˆŒØ×(Ñ(¨¨S­¸Ð(ÓMˆŽ	r#   c           
     óà  € VP                   w  rEpVP                  WBW64      pV^,          ^8H  ;'       g    V^,          ^8H  pV'       d,   \        P                  ! V^ ^ ^ V^,          ^ V^,          34      pVR,          pVR,          p	VR,          p
VR,          p\        P
                  ! W‰W«.R4      pVP                  VR^V,          4      pV P                  V4      pV P                  V4      pV# )r–   )rf   ºr   Nr–   r³   rf   )rf   ºr   Nr–   r³   rf   )rf   r³   r´   rf   )rf   r´   r´   rf   r*   )r+   rU   r—   r˜   rh   Úcatr°   r¯   )r   r/   rX   rY   r0   r›   r2   Ú	pad_inputÚx0Úx1Úx2Úx3s   &&&&        r!   r6   ÚPatchMerging.forwardÇ   sÝ   € Ø—'‘'‰ˆˆaØ�F‰F�1˜Óˆð ˜•U˜a‘Z×0Ð0 Q¨¥U¨a¡Zˆ	ßÜ—’�a˜!˜Q  1 q¥5¨!¨Q°­UÐ3Ó4ˆAàÐÕ ˆØÐÕ ˆØÐÕ ˆØÐÕ ˆÜ�IŠI�r˜rÐ&¨Ó+ˆØ�F‰F�1�b˜!˜a�%Ó ˆà�I‰I�a‹LˆØ�N‰N˜1Óˆàˆr#   )r   r°   r¯   )NNNr9   rA   s   @@r!   r¬   r¬   À   s   ù‡ € ÷N÷ò r#   r¬   c            	       ób   a a€ ] tR t^Ýt o^RRR]P
                  RRRR3	V 3R lltR tRtVt	V ;t
# )Ú
BasicLayerr‰   TNc                óV  <€ \         SV `  4        W@n        V^,          V n        W n        \
        P                  ! \        V4       Uu. uF/  p\        TTTV^,          ^ 8X  d   ^ MV^,          VVVVW«VR7      NK1  	  up4      V n	        V	e   V	! WW¼R7      V n
        R# RV n
        R# u upi )r–   )r   r   rW   r‹   rŒ   r   r   r�   r   r   r   N)r   r   r   r   )r   r   rW   r‹   ÚdepthrG   Ú
ModuleListÚrangerˆ   ÚblocksÚ
downsample)r   r   r¿   r   rW   rŒ   r   r   r�   rÃ   r   r   r   Úir    s   &&&&&&&&&&&&& €r!   r   ÚBasicLayer.__init__Þ   s´   ø€ ô 	‰ÑÔØ&ÔØ%¨Õ*ˆŒØŒ
ô —m’mô ˜5”\ó%#ñ "�ô !ØØ#Ø'Ø!" Q¥¨!¤™1°+ÀÕ2BØ#Ø!Ø!Ø%Ø°z÷	Cñ "ñ%#ó $ˆŒð Ò!Ù(¨SÀuÔdˆDŽOà"ˆDŽOùò#%#s   Á5B&c                óþ  € \        \        P                  ! W P                  ,          4      4      V P                  ,          p\        \        P                  ! W0P                  ,          4      4      V P                  ,          p\        P
                  ! ^WE^3VP                  R7      p\        ^ V P                  ) 4      \        V P                  ) V P                  ) 4      \        V P                  ) R4      3p\        ^ V P                  ) 4      \        V P                  ) V P                  ) 4      \        V P                  ) R4      3p^ p	V F  p
V F  pW–RW«R3&   V	^,          p	K  	  K  	  \        W`P                  4      pVP                  RV P                  V P                  ,          4      pVP                  ^4      VP                  ^4      ,
          pVP                  V^ 8g  \        R4      4      P                  V^ 8H  \        R4      4      pV P                   F  pW#uVn        Vn        V! W4      pK  	  V P"                  e9   V P#                  WV4      pV^,           ^,          V^,           ^,          ppWW?VV3# WW1W#3# )r   )r   Nrf   g        r*   g      YÀ)r]   ÚnpÚceilrW   rh   ri   r   Úslicer‹   r[   rU   r�   Úmasked_fillÚfloatrÂ   rX   rY   rÃ   )r   r/   rX   rY   r¢   r£   Úimg_maskÚh_slicesÚw_slicesÚcntÚhÚwÚmask_windowsr¥   ÚblkÚx_downÚWhÚWws   &&&&              r!   r6   ÚBasicLayer.forward  s(  € Ü”—’˜×-Ñ-Õ-Ó.Ó/°$×2BÑ2BÕBˆÜ”—’˜×-Ñ-Õ-Ó.Ó/°$×2BÑ2BÕBˆÜ—;’;  2¨1˜~°a·h±hÔ?ˆÜ˜!˜d×.Ñ.Ð.Ó/Ü˜4×+Ñ+Ð+¨d¯o©oÐ-=Ó>Ü˜4Ÿ?™?Ð*¨DÓ1ð3ˆô ˜!˜d×.Ñ.Ð.Ó/Ü˜4×+Ñ+Ð+¨d¯o©oÐ-=Ó>Ü˜4Ÿ?™?Ð*¨DÓ1ð3ˆð ˆÛˆAÛ�Ø'*˜˜A !˜Ñ$Ø�q•’ó ñ ô
 (¨×2BÑ2BÓCˆØ#×(Ñ(¨¨T×-=Ñ-=À×@PÑ@PÕ-PÓQˆØ ×*Ñ*¨1Ó-°×0FÑ0FÀqÓ0IÕIˆ	Ø×)Ñ)¨)°q©.¼%À»-ÓH×TÑTÐU^ÐbcÑUcÔejÐknÓeoÓpˆ	à—;”;ˆCØˆLˆCŒE�3”5Ù�AÓ!ŠAñ ð �?‰?Ò&Ø—_‘_ Q¨1Ó-ˆFØ˜!•e •\ A¨¥E¨a¥<�ˆBØ˜ B¨Ð*Ð*à˜˜qÐ#Ð#r#   )rÂ   r¿   rÃ   r‹   rW   r©   rA   s   @@r!   r½   r½   Ý   s4   ù‡ € ð
 ØØØØŸL™LØ Ø D°T÷"#÷H$ò $r#   r½   c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )Ú
PatchEmbedi"  c           	     ó¸   <€ \         SV `  4        W3pWn        W n        W0n        VP                  W#WWVR 7      V n        Ve   V! W5VR7      V n        R# RV n        R# ))Úkernel_sizeÚstrider   r   Nr   )r   r   Ú
patch_sizeÚin_channelsÚ	embed_dimÚConv2dr   r°   )	r   rÝ   rÞ   rß   r�   r   r   r   r    s	   &&&&&&&&€r!   r   ÚPatchEmbed.__init__#  s^   ø€ Ü‰ÑÔØ Ð-ˆ
Ø$Œà&ÔØ"Œà×%Ñ% kÈ*ÐpvÐ%ó  EˆŒ	ØÒ!Ù" 9À5ÔIˆDŽIàˆDŽIr#   c           
     ó  € VP                  4       w   r#pW@P                  ^,          ,          ^ 8w  dI   \        P                  ! V^ V P                  ^,          W@P                  ^,          ,          ,
          34      pW0P                  ^ ,          ,          ^ 8w  dK   \        P                  ! V^ ^ ^ V P                  ^ ,          W0P                  ^ ,          ,          ,
          34      pV P	                  V4      pV P
                  e�   VP                  ^4      VP                  ^4      reVP                  ^4      P                  ^^4      pV P                  V4      pVP                  ^^4      P                  RV P                  WV4      pV# )r   r*   )
ÚsizerÝ   r—   r˜   r   r°   rn   r.   rU   rß   )r   r/   r¡   rX   rY   rÕ   rÖ   s   &&     r!   r6   ÚPatchEmbed.forward1  s  € Ø—V‘V“X‰
ˆˆ1�Ø�‰˜qÕ!Õ! QÔ&Ü—’�a˜!˜TŸ_™_¨QÕ/°!·o±oÀaÕ6HÕ2HÕHÐIÓJˆAØ�‰˜qÕ!Õ! QÔ&Ü—’�a˜!˜Q  4§?¡?°1Õ#5¸¿O¹OÈAÕ<NÕ8NÕ#NÐOÓPˆAà�I‰I�a‹LˆØ�9‰9Ò Ø—V‘V˜A“Y §¡ q£	�Ø—	‘	˜!“×&Ñ& q¨!Ó,ˆAØ—	‘	˜!“ˆAØ—‘˜A˜qÓ!×&Ñ& r¨4¯>©>¸2ÓBˆAàˆr#   )rß   rÞ   r°   rÝ   r   )r®   r{   é`   NNNNr9   rA   s   @@r!   rÙ   rÙ   "  s   ù‡ € ÷÷ò r#   rÙ   c                   ód   a a€ ] tR tRt o^à^^^`. RO. R	O^RRRRR
RRRR3V 3R lltR tRtVtV ;t# )ÚSwinTransformeriB  r‰   TNc                ó@  <€ \         SV `  4        \        VP                  WïR 7      pWn        \        V4      V n        W@n        W°n        WÀn	        WÐn
        \        Y#TYïTV P                  '       d   TMRR7      V n        \        P                  ! 4       V n        \!        V P                  4       Fw  p\#        \%        V^V,          ,          4      VV,          VV,          TTT	T
TVV P                  ^,
          8  d   \&        MRWïVR7      pV P                  P)                  V4       Ky  	  \!        V P                  4       Uu. uF  p\%        V^V,          ,          4      NK  	  ppVV n        V F)  pV! VV,          4      pRV 2pV P-                  VV4       K+  	  R# u upi )r   N)rÝ   rÞ   rß   r   r   r   r�   )r   r¿   r   rW   rŒ   r   r   r�   rÃ   r   r   r   r°   )r   r   r   rª   Úpretrain_img_sizeÚlenÚ
num_layersrß   Ú
patch_normÚout_indicesÚfrozen_stagesrÙ   Úpatch_embedrG   rÀ   ÚlayersrÁ   r½   r]   r¬   ÚappendÚnum_featuresÚ
add_module)r   ré   rÝ   rÞ   rß   Údepthsr   rW   rŒ   r   r   rì   rí   rî   r   r   r   r�   Úi_layerÚlayerrÄ   rò   Ú
layer_namer    s   &&&&&&&&&&&&&&&&&      €r!   r   ÚSwinTransformer.__init__C  si  ø€ ô 	‰ÑÔä˜Z×1Ñ1¸&ÔNˆ
Ø!2ÔÜ˜f›+ˆŒØ"ŒØ$ŒØ&ÔØ*Ôä%Ø!ÀiØ°:Ø%)§_§_ _‘z¸$ô@ˆÔô
 —m’m“oˆŒÜ˜TŸ_™_Ö-ˆGÜÜ˜	 A¨¥LÕ0Ó1Ø˜W•oØ# GÕ,Ø'Ø#Ø!Ø!Ø%Ø,3°d·o±oÈÕ6IÔ,I�<ÐPTØ°zô
CˆEð �K‰K×Ñ˜uÖ%ñ .ô :?¸t¿¹Ô9OÓPÑ9O°Aœ˜I¨¨Q­Õ.Ö/Ñ9OˆÐPØ(ˆÔã"ˆGÙ˜|¨GÕ4Ó5ˆEØ ˜yÐ)ˆJØ�O‰O˜J¨Ö.ó #ùò Qs   Ä?"Fc                ó6  € V P                  V4      pVP                  ^4      VP                  ^4      r2. pVP                  ^4      P                  ^^4      p\	        V P
                  4       F¡  pV P                  V,          pV! WV4      w  rxr‘r#WPP                  9   g   K5  \        V RV 24      p
V
! V4      pVP                  RW‰V P                  V,          4      P                  ^ ^^^4      P                  4       pVP                  V4       K£  	  \        V4      # )r–   r°   r*   )rï   rã   rn   r.   rÁ   rë   rð   rí   ÚgetattrrU   rò   r-   rV   rñ   Útuple)r   r/   rÕ   rÖ   ÚoutsrÄ   rö   Úx_outrX   rY   r�   Úouts   &&          r!   r6   ÚSwinTransformer.forwardy  só   € Ø×Ñ˜QÓˆà—‘˜“˜AŸF™F 1›IˆBàˆØ�I‰I�a‹L×"Ñ" 1 aÓ(ˆÜ�t—‘Ö'ˆAØ—K‘K •NˆEÙ%*¨1°"Ó%5Ñ"ˆE�a˜Bà×$Ñ$Ö$Ü$ T¨T°!°¨:Ó6�
Ù" 5Ó)�à—j‘j  Q¨4×+<Ñ+<¸QÕ+?Ó@×HÑHÈÈAÈqÐRSÓT×_Ñ_Óa�Ø—‘˜CÖ ñ (ô �T‹{Ðr#   )	rß   rî   rð   rò   rë   rí   rï   rì   ré   )r–   r–   é   r–   )r{   r   é   é   )r   r   r–   r{   r*   r9   rA   s   @@r!   rç   rç   B  sC   ù‡ € à#&ØØØÚ$Ú)ØØØØØ Ø)Ø!Ø D°T÷3/÷lò r#   rç   c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚDeformableConv2di�  c
                óü  <€ \         \        V `  4        \        V4      \        J d   TMW33p\        V4      \        J d   TMWD3V n        WPn        V	P                  V^V^ ,          ,          V^,          ,          VVV P                  RWxR7      V n        V	P                  V^V^ ,          ,          V^,          ,          VVV P                  RWxR7      V n	        V	P                  VVVVV P                  WgVR7      V n
        R# )r–   T)rÛ   rÜ   Úpaddingr   r   r   )Úout_channelsrÛ   rÜ   r  r   r   r   N)r   r  r   Útyperû   rÜ   r  rà   Úoffset_convÚmodulator_convÚregular_conv)r   rÞ   r  rÛ   rÜ   r  r   r   r   r   r    s   &&&&&&&&&&€r!   r   ÚDeformableConv2d.__init__Ž  sý   ø€ ô 	Ô Ñ.Ô0ä%)¨+Ó%6¼%Ó%?‘kÀkÐE_ˆÜ $ V£´Ó 5‘f¸FÐ;KˆŒØŒà%×,Ñ,¨[Ø%&¨°Q­Õ%7¸+Àa½.Õ%HØ1<Ø,2Ø-1¯\©\Ø*.°vð -ó LˆÔð )×/Ñ/°Ø%&¨°Q­Õ%7¸+Àa½.Õ%HØ1<Ø,2Ø-1¯\©\Ø*.°vð 0ó LˆÔð '×-Ñ-¨kØ3?Ø2=Ø-3Ø.2¯l©lØ+/Àeð .ó MˆÖr#   c                ór  € V P                  V4      pR \        P                  ! V P                  V4      4      ,          p\        P
                  P                  V P                  VRR7      ;_uu_ 4       w  rE\        VVVRV P                  VV P                  R7      uuRRR4       #   + '       g   i     R# ; i)g       @T)ÚoffloadableN)ÚinputÚoffsetÚweightr   r  r%   rÜ   )r	  rh   Úsigmoidr
  r~   r   ÚCastBiasWeightContextr  r   r  rÜ   )r   r/   r  Ú	modulatorr  Ú_biass   &&    r!   r6   ÚDeformableConv2d.forward±  s�   € Ø×!Ñ! !Ó$ˆØœŸš t×':Ñ':¸1Ó'=Ó>Õ>ˆ	Ü�Y‰Y×,Ñ,¨T×->Ñ->ÀÈtÐ,×TÔTÑXgÐY_Ü ØØØØØŸ™ØØ—{‘{ô÷ U×T×TÓTús   Á2(B%Â%B6	)r
  r	  r  r  rÜ   )r{   r   r   FNNNr9   rA   s   @@r!   r  r  �  s   ù‡ € ÷!M÷Fò r#   r  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚBasicDecBlki¿  c           
     óX  <€ \         \        V `  4        ^@pVP                  W^^^WER7      V n        \
        P                  ! RR7      V n        \        W4WVR7      V n	        VP                  W2^^^WER7      V n
        VP                  W4VR7      V n        VP                  W$VR7      V n        R# )é@   )r  r   r   T©Úinplace)rÞ   r   r   r   r   N)r   r  r   rà   Úconv_inrG   ÚReLUÚrelu_inÚASPPDeformableÚdec_attÚconv_outÚBatchNorm2dÚbn_inÚbn_out©r   rÞ   r  Úinter_channelsr   r   r   r    s   &&&&&&&€r!   r   ÚBasicDecBlk.__init__À  s¢   ø€ ÜŒk˜4Ñ)Ô+ØˆØ!×(Ñ(¨ÀaÈÐTUÐ^dÐ(ÓrˆŒÜ—w’w tÔ,ˆŒÜ%°.ÐW\ÔtˆŒØ"×)Ñ)¨.ÈÈ1ÐVWÐ`fÐ)ÓtˆŒØ×+Ñ+¨NÐQVÐ+ÓWˆŒ
Ø ×,Ñ,¨\ÐPUÐ,ÓVˆŽr#   c                óÒ   € V P                  V4      pV P                  V4      pV P                  V4      pV P                  V4      pV P	                  V4      pV P                  V4      pV# rP   )r  r$  r  r!  r"  r%  rQ   s   &&r!   r6   ÚBasicDecBlk.forwardÊ  sV   € Ø�L‰L˜‹OˆØ�J‰J�q‹MˆØ�L‰L˜‹OˆØ�L‰L˜‹OˆØ�M‰M˜!ÓˆØ�K‰K˜‹NˆØˆr#   )r$  r%  r  r"  r!  r  )r  r  r  NNNr9   rA   s   @@r!   r  r  ¿  s   ù‡ € ÷W÷ò r#   r  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚBasicLatBlkiÔ  c           
     ób   <€ \         \        V `  4        VP                  W^^^ W4R7      V n        R# )r   r   N)r   r,  r   rà   Úconv)r   rÞ   r  r   r   r   r    s   &&&&&&€r!   r   ÚBasicLatBlk.__init__Õ  s.   ø€ ÜŒk˜4Ñ)Ô+Ø×%Ñ% kÀÀAÀqÐQWÐ%ÓeˆŽ	r#   c                ó(   € V P                  V4      pV# rP   ©r.  rQ   s   &&r!   r6   ÚBasicLatBlk.forwardÙ  s   € Ø�I‰I�a‹LˆØˆr#   r1  )r  r  NNNr9   rA   s   @@r!   r,  r,  Ô  s   ù‡ € ÷f÷ò r#   r,  c                   ó8   a a€ ] tR tRt oV 3R ltR tRtVtV ;t# )Ú_ASPPModuleDeformableiÞ  c                óÂ   <€ \         \        V `  4        \        WV^VRWVVR7	      V n        VP                  W%VR7      V n        \        P                  ! RR7      V n	        R# )r   F)rÛ   rÜ   r  r   r   r   r   r   Tr  N)
r   r4  r   r  Úatrous_convr#  ÚbnrG   r  Úrelu)	r   rÞ   ÚplanesrÛ   r  r   r   r   r    s	   &&&&&&&&€r!   r   Ú_ASPPModuleDeformable.__init__ß  s[   ø€ ÜÔ# TÑ3Ô5Ü+¨KÈ[Ø34¸gÈEÐZ`ð  {EôFˆÔà×(Ñ(¨ÀeÐ(ÓLˆŒÜ—G’G DÔ)ˆŽ	r#   c                óh   € V P                  V4      pV P                  V4      pV P                  V4      # rP   ©r6  r7  r8  rQ   s   &&r!   r6   Ú_ASPPModuleDeformable.forwardæ  s-   € Ø×Ñ˜QÓˆØ�G‰G�A‹Jˆà�y‰y˜‹|Ðr#   r<  r9   rA   s   @@r!   r4  r4  Þ  s   ù‡ € õ*÷ò r#   r4  c                   óJ   a a€ ] tR tRt oR. RORRR3V 3R lltR tRtVtV ;t# )r   ií  Nc                óX  <€ \         \        V `  4        ^V n        Vf   TpRV P                  ,          V n        \        WP                  ^^ WEVR7      V n        \        P                  ! V Uu. uF-  p\        WP                  V\        V^,          4      WEVR7      NK/  	  up4      V n
        \        P                  ! \        P                  ! R
4      VP                  WP                  ^^RWER7      VP                  V P                  WER7      \        P                  ! RR7      4      V n        VP                  V P                  ^\#        V P                  4      ,           ,          V^RWER	7      V n        VP                  W$VR7      V n        \        P                  ! RR7      V n        R# u upi )r   Né   )r  r   r   r   F)rÜ   r   r   r   r   Tr  r   )r   r   )r   r   r   Ú
down_scaleÚin_channelsterr4  Úaspp1rG   rÀ   r]   Úaspp_deformsÚ
SequentialÚAdaptiveAvgPool2drà   r#  r  Úglobal_avg_poolrê   Úconv1Úbn1r8  )	r   rÞ   r  Úparallel_block_sizesr   r   r   Ú	conv_sizer    s	   &&&&&&& €r!   r   ÚASPPDeformable.__init__î  sŽ  ø€ ÜŒn˜dÑ,Ô.ØˆŒØÒØ&ˆLØ! T§_¡_Õ4ˆÔä*¨;×8KÑ8KÈQÐXYÐbhð  CMô  NˆŒ
ÜŸMšMá3ó+
á3�)ô " +×/BÑ/BÀIÔWZÐ[dÐfgÕ[gÓWhÐqwð  R\÷  ]Ù3ñ+
ó ˆÔô
  "Ÿ}š}¬R×-AÒ-AÀ&Ó-IØ-7×->Ñ->¸{×L_ÑL_ÐabÐklÐsxð  BHÐ->ó  .VØ-7×-CÑ-CÀD×DWÑDWÐ`fÐ-CÓ-tÜ-/¯WªW¸TÔ-Bó DˆÔð  ×&Ñ& t×':Ñ':¸aÄ#Àd×FWÑFWÓBXÕ>XÕ'YÐ[gÐijÐqvð  @FÐ&ó  TˆŒ
Ø×)Ñ)¨,ÈUÐ)ÓSˆŒÜ—G’G DÔ)ˆŽ	ùò+
s   Á,3F'c                ó’  € V P                  V4      pV P                   Uu. uF
  q3! V4      NK  	  ppV P                  V4      p\        P                  ! WRP                  4       R ,          RRR7      p\        P                  ! V.VOVN5^R7      pV P                  V4      pV P                  V4      pV P                  V4      pV# u upi )ºr–   NNÚbilinearT©rã   ÚmodeÚalign_cornersre   )rC  rD  rG  r—   Úinterpolaterã   rh   rµ   rH  rI  r8  )r   r/   r¸   Úaspp_deformÚx_aspp_deformsÚx5s   &&    r!   r6   ÚASPPDeformable.forward  s«   € Ø�Z‰Z˜‹]ˆØ<@×<MÒ<MÓNÑ<M¨[˜+ až.Ñ<MˆÐNØ×!Ñ! !Ó$ˆÜ�]Š]˜2§G¡G£I¨b¥M¸
ÐRVÔWˆÜ�IŠI�rÐ/˜NÐ/¨BÑ/°QÔ7ˆà�J‰J�q‹MˆØ�H‰H�Q‹KˆØ�I‰I�a‹Lˆàˆùò Os    C)rC  rD  rI  rH  rA  rG  rB  r8  )r   r{   é   r9   rA   s   @@r!   r   r   í  s"   ù‡ € Ø15ÊIÐ^bÐjnÐ{÷ *÷*ò r#   r   c                   óL   a a€ ] tR tRt oRV 3R lltR tR tRR ltRtVt	V ;t
# )	ÚBiRefNeti  c                óÒ  <€ \         \        V `  4        \        ^À. RO. RO^W2VR7      V n        . ROpV Uu. uF  qf^,          NK  	  ppVR,          RRR1,          R	R V n        \        P                  ! \        ^4       Uu. uF:  p\        V^ ,          \        V P
                  4      ,           V^ ,          W2VR7      NK<  	  up!  V n        \        WSW$R7      V n        R# u upi u upi )
éÀ   )rß   rô   r   rW   r   r   r   r   N)r   r   r   )r–   r–   é   r–   )r   r  r  é0   )é   é   é€  r\  r*   éýÿÿÿ)r   rZ  r   rç   ÚbbÚcxtrG   rE  rÁ   r  ro   Úsqueeze_moduleÚDecoderÚdecoder)	r   Úconfigr   r   r   ÚchannelsÚcr¡   r    s	   &&&&&   €r!   r   ÚBiRefNet.__init__  sÔ   ø€ ÜŒh˜Ñ&Ô(Ü!¨CºÒQ`ÐnpÐyð  Zdô  eˆŒâ(ˆÙ#+Ó,¡8˜a˜—E�E¡8ˆÐ,Ø˜B•<¡ " Õ% b cÐ*ˆŒÜ Ÿmšmä˜1”Xó.
á�ô ˜ �¤C¨¯©£MÕ1°8¸Aµ;ÀvÐgq×rÙñ.
ñ ˆÔô
 ˜x¸eÔ[ˆŽùò -ùò.
s   ¶CÂA C$c                ó(  € V P                  V4      w  r#rEVP                  w  rgr‰V P                  \        P                  ! W^,          V	^,          3RRR7      4      w  r«rÍ\        P
                  ! V\        P                  ! W¢P                  R,          RRR7      .^R7      p\        P
                  ! V\        P                  ! W³P                  R,          RRR7      .^R7      p\        P
                  ! V\        P                  ! WÄP                  R,          RRR7      .^R7      p\        P
                  ! V\        P                  ! WÕP                  R,          RRR7      .^R7      p\        P
                  ! . \        P                  ! W%P                  R,          RRR7      \        P                  ! W5P                  R,          RRR7      \        P                  ! WEP                  R,          RRR7      .\        \        4      ) R OVN5^R7      pW#WE3# )r–   rO  TrP  rN  re   N)rc  r+   r—   rS  rh   rµ   rê   ÚCXT)r   r/   r¸   r¹   rº   Úx4r0   r2   rX   rY   Úx1_Úx2_Úx3_Úx4_s   &&            r!   Úforward_encÚBiRefNet.forward_enc  s“  € ØŸ™ ›‰ˆ�Ø—W‘W‰
ˆˆaØ!ŸW™W¤Q§]¢]°1¸q½DÀ!ÀQÅ$¸<ÈjÐhlÔ%mÓnÑˆ�#Ü�YŠY˜œAŸMšM¨#·H±H¸RµLÀzÐaeÔfÐgÐmnÔoˆÜ�YŠY˜œAŸMšM¨#·H±H¸RµLÀzÐaeÔfÐgÐmnÔoˆÜ�YŠY˜œAŸMšM¨#·H±H¸RµLÀzÐaeÔfÐgÐmnÔoˆÜ�YŠY˜œAŸMšM¨#·H±H¸RµLÀzÐaeÔfÐgÐmnÔoˆÜ�YŠYðä—M’M "¯8©8°B­<¸jÐX\Ô]Ü—M’M "¯8©8°B­<¸jÐX\Ô]Ü—M’M "¯8©8°B­<¸jÐX\Ô]ðô ”s“8�)�*ð	ðð ñð ô

ˆð ˜ÐÐr#   c                ó|   € V P                  V4      w  r#rEV P                  V4      pWW4V.pV P                  V4      pV# rP   )rs  re  rg  )r   r/   r¸   r¹   rº   rn  ÚfeaturesÚscaled_predss   &&      r!   Úforward_oriÚBiRefNet.forward_ori4  sG   € Ø×+Ñ+¨AÓ.Ñˆ�Ø× Ñ  Ó$ˆØ˜2 2Ð&ˆØ—|‘| HÓ-ˆØÐr#   c                ó(   € V P                  V4      pV# rP   )rx  )r   Úpixel_valuesÚintermediate_outputrw  s   &&& r!   r6   ÚBiRefNet.forward;  s   € Ø×'Ñ'¨Ó5ˆØÐr#   )rc  rd  rg  re  )NNNNrP   )r:   r;   r<   r=   r   rs  rx  r6   r>   r?   r@   rA   s   @@r!   rZ  rZ    s   ù‡ € ÷\ò ò*÷ô r#   rZ  c                   ó>   a a€ ] tR tRt oV 3R ltR tR tRtVtV ;t	# )rf  i@  c                óÐ
  <€ \         \        V `  4        R VRVRV/p\        \        3/ VB p\        \
        3/ VB p\        \        3/ VB pRV n        ^@p	^@p
^pT! V P                  '       d   R	M^W‘^ ,          ^,          .V,          V
R7      V n        T! V P                  '       d   R
M^W‘^ ,          ^,          .V,          V
R7      V n	        T! V P                  '       d   ^ÀM^W‘^,          ^,          .V,          V
R7      V n
        T! V P                  '       d   ^0M^W‘^,          ^,          .V,          V
R7      V n        T! V P                  '       d   ^M^W‘^,          ^,          .V,          V
R7      V n        V! V^ ,          W‘^ ,          ^,          .V,          ,           V^,          4      V n        V! V^,          W‘^ ,          ^,          .V,          ,           V^,          4      V n        V! V^,          W‘^,          ^,          .V,          ,           V^,          4      V n        V! V^,          W‘^,          ^,          .V,          ,           V^,          ^,          4      V n        R VRV/p\"        P$                  ! VP&                  ! V^,          ^,          W‘^,          ^,          .V,          ,           ^^^^ 3/ VB 4      V n        V! V^,          V^,          4      V n        V! V^,          V^,          4      V n        V! V^,          V^,          4      V n        VP&                  ! V^,          ^^^^ 3/ VB V n        VP&                  ! V^,          ^^^^ 3/ VB V n        VP&                  ! V^,          ^^^^ 3/ VB V n        ^p\"        P$                  ! VP&                  ! V^ ,          ^,          V^^^3/ VB VP6                  ! V3/ VB \"        P8                  ! RR7      4      V n        \"        P$                  ! VP&                  ! V^,          ^,          V^^^3/ VB VP6                  ! V3/ VB \"        P8                  ! RR7      4      V n        \"        P$                  ! VP&                  ! V^,          ^,          V^^^3/ VB VP6                  ! V3/ VB \"        P8                  ! RR7      4      V n        \A        ^^4       Uu. uF<  p\C        V RV 2\"        P$                  ! VP&                  ! V^^^^ 3/ VB 4      4      NK>  	   p\A        ^^4       Uu. uF<  p\C        V RV 2\"        P$                  ! VP&                  ! V^^^^ 3/ VB 4      4      NK>  	   pR# u upi u upi )r   r   r   T)r'  r  Úgdt_convs_pred_Úgdt_convs_attn_Né   r`  )"r   rf  r   r   r  r,  ÚSimpleConvsÚsplitÚipt_blk5Úipt_blk4Úipt_blk3Úipt_blk2Úipt_blk1Údecoder_block4Údecoder_block3Údecoder_block2Údecoder_block1rG   rE  rà   Ú	conv_out1Úlateral_block4Úlateral_block3Úlateral_block2Úconv_ms_spvn_4Úconv_ms_spvn_3Úconv_ms_spvn_2r#  r  Úgdt_convs_4Úgdt_convs_3Úgdt_convs_2rÁ   Úsetattr)r   ri  r   r   r   ÚfkÚDecoderBlockÚLateralBlockÚDBlockÚ	N_dec_iptÚicÚipt_cha_optÚ_NrÄ   r    s   &&&&&         €r!   r   ÚDecoder.__init__A  s]  ø€ ÜŒg�tÑ%Ô'à�v˜w u¨l¸:ÐFˆÜœ{Ñ1¨bÑ1ˆÜœ{Ñ1¨bÑ1ˆÜœÑ+¨Ñ+ˆàˆŒ
Øˆ	ØˆØˆÙ¨$¯*¯*¨*™w¸!¸iÐRSÍÐVWÍÐ=XÐYdÕ=eÐvxÔyˆŒÙ¨¯¯¨™v¸¸YÐQRÍÐUVÍÐ<WÐXcÕ<dÐuwÔxˆŒÙ¨¯¯¨™v¸¸YÐQRÍÐUVÍÐ<WÐXcÕ<dÐuwÔxˆŒÙ¨¯¯¨™v¸¸YÐQRÍÐUVÍÐ<WÐXcÕ<dÐuwÔxˆŒÙ¨¯¯¨™v¸¸YÐQRÍÐUVÍÐ<WÐXcÕ<dÐuwÔxˆŒá*¨8°A­;¸ÈQÅKÐQRÅNÐ8SÐT_Õ8`Õ+aÐckÐlmÕcnÓoˆÔÙ*¨8°A­;¸ÈQÅKÐQRÅNÐ8SÐT_Õ8`Õ+aÐckÐlmÕcnÓoˆÔÙ*¨8°A­;¸ÈQÅKÐQRÅNÐ8SÐT_Õ8`Õ+aÐckÐlmÕcnÓoˆÔÙ*¨8°A­;¸ÈQÅKÐQRÅNÐ8SÐT_Õ8`Õ+aÐckÐlmÕcnÐpqÕcqÓrˆÔà�v˜w uÐ-ˆäŸš z×'8Ò'8¸À!½Àa½È)Ð^_ÕU`ÐbcÕUcÐIdÐepÕIqÕ9rÐtuÐwxÐz{Ð}~ñ  (Fð  CEñ  (Fó  GˆŒá*¨8°A­;¸À½ÓDˆÔÙ*¨8°A­;¸À½ÓDˆÔÙ*¨8°A­;¸À½ÓDˆÔà(×/Ò/°¸µ¸QÀÀ1ÀaÑNÈ2ÑNˆÔØ(×/Ò/°¸µ¸QÀÀ1ÀaÑNÈ2ÑNˆÔØ(×/Ò/°¸µ¸QÀÀ1ÀaÑNÈ2ÑNˆÔàˆäŸ=š=¨×):Ò):¸8ÀA½;È!Õ;KÈRÐQRÐTUÐWXÑ)_Ð\^Ñ)_Ðak×awÒawÐxzñ  bBð  Añ  bBô  DF÷  DKò  DKð  TXô  DYó  ZˆÔÜŸ=š=¨×):Ò):¸8ÀA½;È!Õ;KÈRÐQRÐTUÐWXÑ)_Ð\^Ñ)_Ðak×awÒawÐxzñ  bBð  Añ  bBô  DF÷  DKò  DKð  TXô  DYó  ZˆÔÜŸ=š=¨×):Ò):¸8ÀA½;È!Õ;KÈRÐQRÐTUÐWXÑ)_Ð\^Ñ)_Ðak×awÒawÐxzñ  bBð  Añ  bBô  DF÷  DKò  DKð  TXô  DYó  ZˆÔäotÐuvÐxyÔozÓ{ÑozÐjkŒ�˜¨¨Ð,¬b¯mªm¸J×<MÒ<MÈbÐRSÐUVÐXYÐ[\Ñ<cÐ`bÑ<cÓ.dÖ	eÑozÑ{ÜotÐuvÐxyÔozÓ{ÑozÐjkŒ�˜¨¨Ð,¬b¯mªm¸J×<MÒ<MÈbÐRSÐUVÐXYÐ[\Ñ<cÐ`bÑ<cÓ.dÖ	eÑozÓ{ùò 	|ùÚ{s   ÓAUÔAU#c           	     óÐ  € VP                   R ,          w  r4. p\        VP                   ^ ,          4       F“  p\        P                  ! W,          VRR7      p. pV F@  p	T\        P                  ! W“RR7       Uu. uF  q"P	                  ^ 4      NK  	  up,          pKB  	  \        P
                  ! V^R7      p
VP                  V
4       K•  	  \        P
                  ! V^ R7      # u upi )rN  )Úsplit_size_or_sectionsr   re   r*   r|   )r+   rÁ   rh   r„  r�   rµ   rñ   )r   r/   ÚpÚ_size_hÚ_size_wÚpatches_batchÚidxÚ	columns_xÚ	patches_xÚcolumn_xÚpatch_samples   &&&        r!   Úget_patches_batchÚDecoder.get_patches_batchm  s¶   € ØŸ7™7 2�;ÑˆØˆÜ˜Ÿ™ �Ö$ˆCÜŸš A¥FÀ7ÐPRÔSˆIØˆIÛ%�Ø´e·k²kÀ(ÐprÕ6sÓtÑ6s°Ÿk™k¨!žnÑ6sÑtÕt’	ñ &ä Ÿ9š9 Y°AÔ6ˆLØ× Ñ  Ö.ñ %ô �yŠy˜¨AÔ.Ð.ùò us   Á8C#
c                ó‚  € Vw  r#rEpV P                   '       d   V P                  W&4      MTp\        P                  ! W`P	                  \
        P                  ! WvP                  R ,          RRR7      4      3^4      pV P                  V4      pV P                  V4      p	V P                  V	4      P                  4       p
WŠ,          p\
        P                  ! W…P                  R ,          RRR7      pW°P                  V4      ,           pV P                   '       d   V P                  W,4      MTp\        P                  ! WÀP                  \
        P                  ! WuP                  R ,          RRR7      4      3^4      pV P                  V4      pV P                  V4      pV P!                  V4      P                  4       pWß,          p\
        P                  ! WÔP                  R ,          RRR7      pWÀP#                  V4      ,           pV P                   '       d   V P                  VV4      MTp\        P                  ! VV P%                  \
        P                  ! WtP                  R ,          RRR7      4      3^4      pV P'                  V4      pV P)                  V4      pV P+                  V4      P                  4       pVV,          p\
        P                  ! VVP                  R ,          RRR7      pVV P-                  V4      ,           pV P                   '       d   V P                  VV4      MTp\        P                  ! VV P/                  \
        P                  ! WsP                  R ,          RRR7      4      3^4      pV P1                  V4      p\
        P                  ! VVP                  R ,          RRR7      pV P                   '       d   V P                  VV4      MTp\        P                  ! VV P3                  \
        P                  ! WrP                  R ,          RRR7      4      3^4      pV P5                  V4      pV# )rN  rO  TrP  )r„  r­  rh   rµ   r…  r—   rS  r+   rŠ  r•  Úgdt_convs_attn_4r  r�  r†  r‹  r–  Úgdt_convs_attn_3r�  r‡  rŒ  r—  Úgdt_convs_attn_2r‘  rˆ  r�  r‰  rŽ  )r   rv  r/   r¸   r¹   rº   rn  r§  Úp4Úp4_gdtÚ
gdt_attn_4Ú_p4Ú_p3Úp3Úp3_gdtÚ
gdt_attn_3Ú_p2Úp2Úp2_gdtÚ
gdt_attn_2Ú_p1Úp1_outs   &&                    r!   r6   ÚDecoder.forwardy  s|  € Ø$Ñˆˆr�rà9=¿¿¸˜×.Ñ.¨qÔ5ÈˆÜ�YŠY˜ŸM™M¬!¯-ª-¸ÏHÉHÐUWÍLÐ_iÐy}Ô*~Óð  Að  CDó  EˆØ× Ñ  Ó$ˆØ×!Ñ! "Ó%ˆØ×*Ñ*¨6Ó2×:Ñ:Ó<ˆ
Ø�_ˆÜ�mŠm˜B§X¡X¨b¥\¸
ÐRVÔWˆØ×'Ñ'¨Ó+Õ+ˆà:>¿*¿*¸*˜×.Ñ.¨qÔ6È!ˆÜ�iŠi˜Ÿm™m¬A¯MªM¸-ÏhÉhÐWYÍlÐakÐ{ô  -Aó  Bð  Cð  EFó  GˆØ× Ñ  Ó%ˆà×!Ñ! "Ó%ˆØ×*Ñ*¨6Ó2×:Ñ:Ó<ˆ
Ø�_ˆÜ�mŠm˜B§X¡X¨b¥\¸
ÐRVÔWˆØ×'Ñ'¨Ó+Õ+ˆà:>¿*¿*¸*˜×.Ñ.¨q°#Ô6È!ˆÜ�iŠi˜˜dŸm™m¬A¯MªM¸-ÏhÉhÐWYÍlÐakÐ{ô  -Aó  Bð  Cð  EFó  GˆØ× Ñ  Ó%ˆà×!Ñ! "Ó%ˆØ×*Ñ*¨6Ó2×:Ñ:Ó<ˆ
Ø�*�_ˆä�mŠm˜B R§X¡X¨b¥\¸
ÐRVÔWˆØ�D×'Ñ'¨Ó+Õ+ˆà:>¿*¿*¸*˜×.Ñ.¨q°#Ô6È!ˆÜ�iŠi˜˜dŸm™m¬A¯MªM¸-ÏhÉhÐWYÍlÐakÐ{ô  -Aó  Bð  Cð  EFó  GˆØ×!Ñ! #Ó&ˆÜ�mŠm˜C a§g¡g¨b¥k¸
ÐRVÔWˆà:>¿*¿*¸*˜×.Ñ.¨q°#Ô6È!ˆÜ�iŠi˜˜dŸm™m¬A¯MªM¸-ÏgÉgÐVXÍkÐ`jÐz~Ô,ó  Að  Bð  DEó  FˆØ—‘ Ó$ˆØˆr#   )r”  r“  r’  rŽ  r�  rŒ  r‹  rŠ  r—  r–  r•  r‰  rˆ  r‡  r†  r…  r‘  r�  r�  r„  )
r:   r;   r<   r=   r   r­  r6   r>   r?   r@   rA   s   @@r!   rf  rf  @  s   ù‡ € õ*|òX
/÷)ò )r#   rf  c                   óH   a a€ ] tR tRt oRV3R lV 3R llltR tRtVtV ;t# )rƒ  i¥  c                ó*   <€ V ^8„  d   QhRS[ RS[ RR/# )r–   rÞ   r  ÚreturnN)r]   )ÚformatrB   s   "€r!   Ú__annotate__ÚSimpleConvs.__annotate__¦  s*   ø€ ÷ mñ mÙðmÙ.1ðmà	ñmr#   c           
     ó�   <€ \         SV `  4        VP                  W^^^WER7      V n        VP                  W2^^^WER7      V n        R# )r{   r   N)r   r   rà   rH  r"  r&  s   &&&&&&&€r!   r   ÚSimpleConvs.__init__¦  sL   ø€ ô 	‰ÑÔØ×&Ñ& {ÀAÀqÈ!ÐTZÐ&ÓhˆŒ
Ø"×)Ñ)¨.ÈÈ1ÈaÐX^Ð)ÓlˆŽr#   c                óB   € V P                  V P                  V4      4      # rP   )r"  rH  rQ   s   &&r!   r6   ÚSimpleConvs.forward­  s   € Ø�}‰}˜TŸZ™Z¨›]Ó+Ð+r#   )rH  r"  )r  NNNr9   rA   s   @@r!   rƒ  rƒ  ¥  s   ù‡ € ÷mõ m÷,ò ,r#   rƒ  )r‚  r_  r`  ra  r*   rb  )$rh   Ú	comfy.opsr~   ÚnumpyrÇ   Útorch.nnrG   Ú	functoolsr   Útorch.nn.functionalÚ
functionalr—   Útorchvision.opsr   Úcomfy.ldm.modules.attentionr   rm  ÚModuler	   rD   r[   r^   r`   rˆ   r¬   r½   rÙ   rç   r  r  r,  r4  r   rZ  rf  rƒ  © r#   r!   Ú<module>rÖ     sU  ðÛ Û Û Ý Ý ß Ð Ý )Ý Fâ˜RÕ ¡ 2 Õ& r sÐ+€ô�—	‘	ô ô6ˆ"�)‰)ô ò òô4�b—i‘iô 4ônA˜2Ÿ9™9ô AôH�2—9‘9ô ô:B$�—‘ô B$ôJ�—‘ô ô@I�b—i‘iô IôV0�r—y‘yô 0ôd�"—)‘)ô ô*�"—)‘)ô ô˜BŸI™Iô ô!�R—Y‘Yô !ôF-ˆr�y‰yô -ô`bˆb�i‰iô bôJ	,�"—)‘)ö 	,r#   