+
    öäûjš;  ã                   óT  € ^ RI Ht ^ RIt^ RIHt ^ RIHu Ht ^ RIH	t	 ^ RI
Ht  ! R R]P                  4      tR#R ltR tR$R	 ltR
 tR tR%R ltR tR&R lt ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P2                  4      t ! R R]P                  4      tR t ! R R]P                  4      tR t ! R R]P                  4      t ! R R ]P                  4      t ]	! 4        ! R! R"]P                  4      4       t!R# )'é    )ÚOrderedDictN)Ústore_hyperparameters)Ú	to_2tuplec                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )ÚLSABc                ó´   <€ \         SV `  4        . p\        ^4       F  pVP                  \	        W!R7      4       K   	  \
        P                  ! V!  V n        R# )é   )Únum_headÚn_featsN)ÚsuperÚ__init__ÚrangeÚappendÚSwinTÚnnÚ
SequentialÚbody)ÚselfÚin_channelsr
   Úm_bodyÚ_Ú	__class__s   &&&  €ÚgC:\Ai_Coding\apps\studio\ComfyUI\.venv\Lib\site-packages\spandrel\architectures\DCTLSA\__arch\dctlsa.pyr   ÚLSAB.__init__   sB   ø€ Ü‰ÑÔØˆÜ�q–ˆAØ�M‰Mœ%¨ÔGÖHñ ä—M’M 6Ñ*ˆŽ	ó    c                ó(   € V P                  V4      pV# ©N©r   )r   ÚinputÚ	out_fuseds   && r   ÚforwardÚLSAB.forward   s   € Ø—I‘I˜eÓ$ˆ	ØÐr   r   )é7   é   ©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r!   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r   r      s   ù‡ € ÷+÷ò r   r   c                 ó~   € \        V^,
          ^,          4      V,          p\        P                  ! V VVVVRVVR7      # )é   T)ÚpaddingÚbiasÚdilationÚgroups)Úintr   ÚConv2d)r   Úout_channelsÚkernel_sizeÚstrider3   r4   r1   s   &&&&&& r   Ú
conv_layerr:      sC   € Ü�; •? aÕ'Ó(¨8Õ3€GÜ�9Š9ØØØØØØØØô	ð 	r   c                  ó¼  € \        V 4      ^8X  d2   \        V ^ ,          \        4      '       d   \        R4      hV ^ ,          # . pV  F€  p\        V\        P
                  4      '       d+   VP                  4        F  pVP                  V4       K  	  KM  \        V\        P                  4      '       g   Ko  VP                  V4       K‚  	  \        P
                  ! V!  # )r0   z.sequential does not support OrderedDict input.)	ÚlenÚ
isinstancer   ÚNotImplementedErrorr   r   Úchildrenr   ÚModule)ÚargsÚmodulesÚmoduleÚ	submodules   *   r   Ú
sequentialrE   &   sž   € Ü
ˆ4ƒy�A„~Ü�d˜1•gœ{×+Ò+Ü%Ð&VÓWÐWØ�A�wˆØ€GÛˆÜ�fœbŸm™m×,Ò,Ø#Ÿ_™_Ö.�	Ø—‘˜yÖ)ó /ä˜¤§	¡	×*Ô*Ø�N‰N˜6Ö"ñ ô �=Š=˜'Ñ"Ð"r   c                 óx   € \        WV^,          ,          W44      p\        P                  ! V4      p\        WV4      # ©r	   )r:   r   ÚPixelShufflerE   )r   r7   Úupscale_factorr8   r9   ÚconvÚpixel_shuffles   &&&&&  r   Úpixelshuffle_blockrL   5   s8   € ô
 Ø ^°QÕ%6Õ7¸ó€Dô —O’O NÓ3€MÜ�dÓ*Ð*r   c                 ó`   € W ^,
          V^,
          ,          ,           p V ^,
          ^,          pV# ©r0   © )r8   r3   r1   s   && r   Úget_valid_paddingrP   A   s*   € Ø¨q¥°XÀµ\Õ BÕB€KØ˜Q� 1Õ$€GØ€Nr   c                 óÐ   € V P                  4       p V^ 8X  d   R# V R8X  d   \        P                  ! V4      pV# V R8X  d   \        P                  ! V4      pV# \	        RV R R24      h)r   NÚreflectÚ	replicatezpadding layer [Úsz] is not implemented)Úlowerr   ÚReflectionPad2dÚReplicationPad2dr>   )Úpad_typer1   Úlayers   && r   ÚpadrZ   G   sq   € Ø�~‰~Ó€HØ�!„|ÙØ�9ÔÜ×"Ò" 7Ó+ˆð
 €Lð	 
�[Ô	 Ü×#Ò# GÓ,ˆð €Lô " O°H¸Q°<Ð?SÐ"TÓUÐUr   c                 óþ   € V P                  4       p V R 8X  d   \        P                  ! V4      pV# V R8X  d   \        P                  ! W!4      pV# V R8X  d   \        P                  ! W2R7      pV# \        RV R R24      h)ÚreluÚlreluÚprelu)Únum_parametersÚinitzactivation layer [rT   ú] is not found)rU   r   ÚReLUÚ	LeakyReLUÚPReLUr>   )Úact_typeÚinplaceÚ	neg_slopeÚn_prelurY   s   &&&& r   Ú
activationri   T   s‚   € Ø�~‰~Ó€HØ�6ÔÜ—’˜Ó ˆð €Lð 
�WÔ	Ü—’˜YÓ0ˆð
 €Lð	 
�WÔ	Ü—’¨Ô@ˆð €Lô "Ð$6°xÀ°lÀ.Ð"QÓRÐRr   c                 óÆ   € V P                  4       p V R 8X  d   \        P                  ! VRR7      pV# V R8X  d   \        P                  ! VRR7      pV# \	        RV R R24      h)ÚbatchT)ÚaffineÚinstanceFznormalization layer [rT   ra   )rU   r   ÚBatchNorm2dÚInstanceNorm2dr>   )Ú	norm_typeÚncrY   s   && r   Únormrr   a   si   € Ø—‘Ó!€IØ�GÔÜ—’˜r¨$Ô/ˆð
 €Lð	 
�jÔ	 Ü×!Ò! "¨UÔ3ˆð €Lô "Ð$9¸)ÀA¸ÀnÐ"UÓVÐVr   c
                 ó  € \        W$4      p
V'       d   VR 8w  d   \        Wz4      MRpVR 8X  d   T
M^ p
\        P                  ! V VVVV
VVVR7      pV	'       d   \	        V	4      MRpV'       d   \        W�4      MRp\        W¼Wí4      # )ÚzeroN)r8   r9   r1   r3   r2   r4   )rP   rZ   r   r6   ri   rr   rE   )Úin_ncÚout_ncr8   r9   r3   r4   r2   rX   rp   re   r1   ÚpÚcÚaÚns   &&&&&&&&&&     r   Ú
conv_blockr{   l   s‚   € ô   Ó6€Gß"*¨x¸6Ô/AŒˆHÔÀt€AØ! VÔ+‰g°€Gä
�	Š	ØØØØØØØØô		€A÷ !)Œ
�8Ô¨d€Aß#,ŒˆYÔ°$€AÜ�a˜AÓ!Ð!r   c                   ó<   a a€ ] tR t^‹t oRV 3R lltR tRtVtV ;t# )r   c                óÐ   <€ \         S	V `  4        . p^pTp^p^@pRpVP                  \        VVVVVVRR\        P
                  R7	      4       \        P                  ! V!  V n        R# )r	   g       @TN)	ÚdimÚdepthÚ
resolutionÚ	num_headsÚwindow_sizeÚ	mlp_ratioÚqkv_biasÚqk_scaleÚ
norm_layer)r   r   r   Ú
BasicLayerr   Ú	LayerNormr   Útransformer_body)
r   r
   r   Úmr   r�   r‚   r€   rƒ   r   s
   &&&      €r   r   ÚSwinT.__init__Œ   sr   ø€ Ü‰ÑÔØˆØˆØˆ	ØˆØˆ
Øˆ	Ø	�‰ÜØØØ%Ø#Ø'Ø#ØØÜŸ<™<ô
ô	
ô !#§¢¨qÑ 1ˆÖr   c                ó(   € V P                  V4      pV# r   ©r‰   )r   ÚxÚress   && r   r!   ÚSwinT.forward£   s   € Ø×#Ñ# AÓ&ˆØˆ
r   r�   )r$   r#   r%   r-   s   @@r   r   r   ‹   s   ù‡ € ÷2÷.ò r   r   c                   ó^   a a€ ] tR t^¨t oR^R^R^RRRRRR	R
R	/V 3R lltR tR tRtVtV ;t	# )r‡   r   r�   r‚   rƒ   g      ð?r„   Tr…   Nr†   c       	        óZ  <€ \         SV `  4        Wn        W n        W0n        WPn        \        P                  ! \        V4       U
u. uF-  p
\        TTTTV
^,          ^ 8X  d   ^ MV^,          VVVR7      NK/  	  up
4      V n
        \        WR7      V n        \        VR7      V n        R# u up
i )r	   )r~   r€   r�   r‚   Ú
shift_sizerƒ   r„   r…   )Ú	embed_dimr†   ©r”   N)r   r   r~   r€   r   r‚   r   Ú
ModuleListr   ÚSwinTransformerBlockÚblocksÚ
PatchEmbedÚpatch_embedÚPatchUnEmbedÚpatch_unembed)r   r~   r€   r   r�   r‚   rƒ   r„   r…   r†   Úir   s   &$$$$$$$$$ €r   r   ÚBasicLayer.__init__©   s©   ø€ ô 	‰ÑÔØŒØ$ŒØŒ
Ø&Ôä—m’mô ˜uœóñ &�Aô %ØØ)Ø'Ø +Ø%&¨¥U¨a¤Z™q°kÀQÕ6FØ'Ø%Ø%÷	ñ &ñó
ˆŒô &°ÔKˆÔÜ)°CÔ8ˆÖùòs   Á3B(c                óV  € VP                  4       w   r#pV P                  W0P                  ,          ,
          V P                  ,          pV P                  W@P                  ,          ,
          V P                  ,          pV^ 8w  g   V^ 8w  d   \        P                  ! V^ V^ V3R4      pWV3# )r   rR   )Úsizer‚   ÚFrZ   )r   rŽ   r   ÚhÚwÚ	mod_pad_hÚ	mod_pad_ws   &&     r   Úcheck_image_sizeÚBasicLayer.check_image_sizeÎ   sŒ   € Ø—V‘V“X‰
ˆˆ1�Ø×%Ñ%¨×,<Ñ,<Õ(<Õ<À×@PÑ@PÕPˆ	Ø×%Ñ%¨×,<Ñ,<Õ(<Õ<À×@PÑ@PÕPˆ	Ø˜Œ>˜Y¨!œ^Ü—’�a˜!˜Y¨¨9Ð5°yÓAˆAØ�Qˆwˆr   c                ó,  € V P                  V4      w  rpVP                  4       w   rEpWV3pV P                  V4      pV P                   F  pV! W4      pK  	  V P	                  W4      pW%8w  g   W68w  d    VR R ^ V1^ V13,          P                  4       pV# ):NNN)r¦   r    rš   r˜   rœ   Ú
contiguous)	r   rŽ   r¢   r£   r   ÚHÚWÚx_sizeÚblks	   &&       r   r!   ÚBasicLayer.forwardÖ   s–   € Ø×'Ñ'¨Ó*‰ˆˆaØ—V‘V“X‰
ˆˆ1�Ø�ˆØ×Ñ˜QÓˆØ—;”;ˆCÙ�A“ŠAñ à×Ñ˜qÓ)ˆØŒ6�Q”VØ�!�Q˜˜!˜˜Q˜q˜S�.Õ!×,Ñ,Ó.ˆAØˆr   )r˜   r   r~   rš   rœ   r€   r‚   )
r&   r'   r(   r)   r   r¦   r!   r*   r+   r,   r-   s   @@r   r‡   r‡   ¨   s`   ù‡ € ð#9ð
 ð#9ð ð#9ð ð#9ð ð#9ð ð#9ð ð#9ð ÷#9òJ÷
ò 
r   r‡   c                   ó\   a a€ ] tR t^ãt o^^ RRR]P
                  3V 3R lltR tRtVt	V ;t
# )r—   g      @TNc
                ó|  <€ \         SV `  4        Wn        \        V4      V n        W0n        W@n        WPn        W`n        ^ V P                  u;8:  d   V P                  8  g    Q R4       h Q R4       h\        V\        V P                  4      VVVR7      V n
        \        W,          4      p
\        WV	R7      V n        R# )r   z shift_size must in 0-window_size)r‚   r�   r„   r…   )Úin_featuresÚhidden_featuresÚ	act_layerN)r   r   r~   r   r€   r�   r‚   r“   rƒ   ÚWindowAttentionÚattnr5   ÚMlpÚmlp)r   r~   r€   r�   r‚   r“   rƒ   r„   r…   r³   Úmlp_hidden_dimr   s   &&&&&&&&&& €r   r   ÚSwinTransformerBlock.__init__ä   s´   ø€ ô 	‰ÑÔØŒÜ# JÓ/ˆŒØ"ŒØ&ÔØ$ŒØ"Œà�—‘Ö3 4×#3Ñ#3Õ3ð	.à-ó	.Ù3ð	.à-ó	.Ø3ô $ØÜ! $×"2Ñ"2Ó3ØØØô
ˆŒ	ô ˜S�_Ó-ˆÜØÀyô
ˆŽr   c                óä  € Vw  r4VP                   w  rVpVP                  WSWG4      pV P                  ^ 8”  d2   \        P                  ! WP                  ) V P                  ) 3RR7      pMTpV P                  WƒVRR7      pV P                  ^ 8”  d0   \        P                  ! W€P                  V P                  3RR7      pMTpVP                  WSV,          V4      pWP                  V4      ,           pV# )r   )ÚshiftsÚdimsN)Úmask)r0   r	   )ÚshapeÚviewr“   ÚtorchÚrollrµ   r·   )	r   rŽ   r¬   rª   r«   ÚBÚ_LÚCÚ	shifted_xs	   &&&      r   r!   ÚSwinTransformerBlock.forward  sÔ   € Ø‰ˆØ—7‘7‰ˆˆqà�F‰F�1˜Óˆð �?‰?˜QÔÜŸ
š
ØŸO™OÐ+¨d¯o©oÐ-=Ð>ÀVô‰Ið ˆIØ—I‘I˜i¨A°D�IÓ9ˆ	ð �?‰?˜QÔÜ—
’
Ø§?¡?°D·O±OÐ"DÈ6ô‰Að ˆAØ�F‰F�1˜!•e˜QÓˆð —‘˜“�OˆØˆr   )rµ   r~   r·   rƒ   r�   r€   r“   r‚   ©r&   r'   r(   r)   r   ÚGELUr   r!   r*   r+   r,   r-   s   @@r   r—   r—   ã   s-   ù‡ € ð ØØØØØ—'‘'÷"
÷Hò r   r—   c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚLocalModulei%  c                ó¸  <€ \         SV `  4        V P                  R \        P                  ! V4      4       V P                  R\        P
                  ! W^RR7      4       V P                  R\        P
                  ! VV^^VRR7      4       V P                  R\        P                  ! V4      4       V P                  R\        P
                  ! W^RR7      4       R# )	Úpointwise_prenorm_0Úpointwise_conv_0F)r8   r2   Údepthwise_conv)r1   r8   r4   r2   Úpointwise_prenorm_1Úpointwise_conv_1N)r   r   Ú
add_moduler   rn   r6   )r   Úchannelsr   s   &&€r   r   ÚLocalModule.__init__&  s­   ø€ Ü‰ÑÔØ�‰Ð-¬r¯~ª~¸hÓ/GÔHØ�‰Ø¤§	¢	¨(È!ÐRWÔ Xô	
ð 	�‰ØÜ�IŠIØØØØØØôô
	
ð 	�‰Ð-¬r¯~ª~¸hÓ/GÔHØ�‰Ø¤§	¢	¨(È!ÐRWÔ Xö	
r   rO   )r&   r'   r(   r)   r   r*   r+   r,   r-   s   @@r   rÊ   rÊ   %  s   ù‡ € ÷
õ 
r   rÊ   c                   ó@   a a€ ] tR tRt oRV 3R lltRR ltRtVtV ;t# )r´   i=  c                óÊ  <€ \         S	V `  4        Wn        W n        W0n        W,          pT;'       g
    VR,          V n        \        P                  ! W^,          VR7      V n        \        P                  ! V4      V n
        \        P                  ! W4      V n        \        P                  ! V4      V n        \        P                  ! RR7      V n        \        V4      V n        R# )g      à?)r2   ©r~   Ng      à¿éþÿÿÿ)r   r   r~   r‚   r�   Úscaler   ÚLinearÚqkvÚDropoutÚ	attn_dropÚprojÚ	proj_dropÚSoftmaxÚsoftmaxrÊ   Úlocal)
r   r~   r‚   r�   r„   r…   rÜ   rÞ   Úhead_dimr   s
   &&&&&&&& €r   r   ÚWindowAttention.__init__>  s�   ø€ ô 	‰ÑÔØŒØ&ÔØ"ŒØÕ#ˆØ×/Ð/ ¨4¥ˆŒ
ä—9’9˜S¨¥'°Ô9ˆŒÜŸš IÓ.ˆŒÜ—I’I˜cÓ'ˆŒ	ÜŸš IÓ.ˆŒÜ—z’z bÔ)ˆŒÜ  Ó%ˆŽ
r   c                óp  € VP                  ^ ^^^4      P                  4       pV P                  V4      pWe,           pVP                  ^ ^^^4      P                  4       pV P                  V4      p\	        WpP
                  ^ ,          4      pVP                  w  p ršVP                  RV P
                  ^ ,          V P
                  ^,          ,          V
4      pV P
                  ^ ,          V P
                  ^,          ,          pV
^,          p
VP                  W‹^V P                  W P                  ,          4      P                  ^^ ^^^4      pV^ ,          V^,          V^,          rípV P                  V4      pWÀP                  ,          pVP                  RR4      V,          pWÏ,          P                  ^^4      P                  W‹V
4      pV P                  V4      pVP                  RV P
                  ^ ,          V P
                  ^,          V
4      p\        WP
                  ^ ,          W#4      pW,           pV# )r   éÿÿÿÿr×   )Úpermuter©   rá   rÚ   Úwindow_partitionr‚   r¾   r¿   Úreshaper�   rà   rØ   Ú	transposerÝ   Úwindow_reverse)r   rŽ   rª   r«   r½   Útemprá   rÚ   ÚB_r   rÄ   ÚNÚqÚkÚvrµ   s   &&&&&           r   r!   ÚWindowAttention.forwardV  sá  € Ø�y‰y˜˜A˜q !Ó$×/Ñ/Ó1ˆØ—
‘
˜4Ó ˆØ•ˆØ—‘˜a  A qÓ)×4Ñ4Ó6ˆØ�h‰h�u‹oˆäØ×!Ñ! !Õ$ó
ˆð —i‘i‰ˆˆAˆqà�h‰hØ�× Ñ  Õ# d×&6Ñ&6°qÕ&9Õ9¸1ó
ˆð ×Ñ˜QÕ $×"2Ñ"2°1Õ"5Õ5ˆØ��Fˆà�k‰k˜"  D§N¡N°A¿¹Õ4GÓH×PÑPØˆq�!�Q˜ó
ˆð ��FØ��FØ��Fð ˆð
 �L‰L˜‹Oˆà—
‘
�NˆØ�{‰{˜2˜rÓ" QÕ&ˆØ�X× Ñ   AÓ&×.Ñ.¨r°aÓ8ˆØ�I‰I�a‹Lˆð �F‰F�2�t×'Ñ'¨Õ*¨D×,<Ñ,<¸QÕ,?ÀÓCˆÜ˜1×.Ñ.¨qÕ1°1Ó8ˆØ�IˆØˆr   )
rÜ   r~   rá   r�   rÝ   rÞ   rÚ   rØ   rà   r‚   )TNç        rò   r   r%   r-   s   @@r   r´   r´   =  s   ù‡ € ÷&÷0'ô 'r   r´   c                 ó   € \        V P                  ^ ,          W#,          V,          V,          ,          4      pV P                  WBV,          W1,          WR4      pVP                  ^ ^^^^^4      P	                  4       P                  WBVR4      pV# ©r   rå   )r5   r¾   r¿   ræ   r©   )Úwindowsr‚   rª   r«   rÂ   rŽ   s   &&&&  r   rê   rê   €  s|   € ÜˆG�M‰M˜!Õ ¥¨Õ 3°kÕ AÕBÓC€AØ�‰Ø	�Õ˜QÕ-¨{Èó	€Að 	
�	‰	�!�Q˜˜1˜a Ó#×.Ñ.Ó0×5Ñ5°a¸A¸rÓB€AØ€Hr   c                   óV   a a€ ] tR tRt oRR]P
                  3V 3R lltR tRtVt	V ;t
# )r¶   i‰  Nc                óØ   <€ \         SV `  4        T;'       g    TpT;'       g    Tp\        P                  ! W4      V n        V! 4       V n        \        P                  ! W#4      V n        R # r   )r   r   r   rÙ   Úfc1ÚactÚfc2)r   r±   r²   Úout_featuresr³   r   s   &&&&&€r   r   ÚMlp.__init__Š  sS   ø€ ô 	‰ÑÔØ#×2Ð2 {ˆØ)×8Ð8¨[ˆÜ—9’9˜[Ó:ˆŒÙ“;ˆŒÜ—9’9˜_Ó;ˆŽr   c                ól   € V P                  V4      pV P                  V4      pV P                  V4      pV# r   )rø   rù   rú   ©r   rŽ   s   &&r   r!   ÚMlp.forward”  s.   € Ø�H‰H�Q‹KˆØ�H‰H�Q‹KˆØ�H‰H�Q‹KˆØˆr   )rù   rø   rú   rÇ   r-   s   @@r   r¶   r¶   ‰  s   ù‡ € à+/¸dÈbÏgÉg÷<÷ò r   r¶   c                 óÐ   € V P                   w  r#rEV P                  W#V,          WV,          W4      p V P                  ^ ^^^^^4      P                  4       P                  RWV4      pV# rô   )r¾   r¿   ræ   r©   )rŽ   r‚   rÂ   rª   r«   rÄ   rõ   s   &&     r   rç   rç   ›  sf   € Ø—‘�J€Aˆ!Ø	�‰ˆq�{Õ" K°kÕ1AÀ;ÓR€Aà	�	‰	�!�Q˜˜1˜a Ó#×.Ñ.Ó0×5Ñ5°b¸+ÐTUÓVð ð €Nr   c                   óB   a a€ ] tR tRt oRV 3R lltR tR tRtVtV ;t	# )r™   i¤  c                óX   <€ \         SV `  4        Ve   V! V4      V n        R # R V n        R # r   )r   r   rr   )r   r”   r†   r   s   &&&€r   r   ÚPatchEmbed.__init__¥  s'   ø€ Ü‰ÑÔàÒ!Ù" 9Ó-ˆDŽIàˆDŽIr   c                ó†   € VP                  ^4      P                  ^^4      pV P                  e   V P                  V4      pV# rG   )Úflattenré   rr   rþ   s   &&r   r!   ÚPatchEmbed.forward­  s8   € Ø�I‰I�a‹L×"Ñ" 1 aÓ(ˆØ�9‰9Ò Ø—	‘	˜!“ˆAØˆr   c                ó‚   € ^ pV P                   w  r#V P                  e!   WV,          V P                  ,          ,          pV# ©r   )Úimg_sizerr   r”   )r   Úflopsrª   r«   s   &   r   r
  ÚPatchEmbed.flops³  s6   € ØˆØ�}‰}‰ˆØ�9‰9Ò Ø˜•U˜TŸ^™^Õ+Õ+ˆEØˆr   )rr   )é2   N©
r&   r'   r(   r)   r   r!   r
  r*   r+   r,   r-   s   @@r   r™   r™   ¤  s   ù‡ € ÷ò÷ò r   r™   c                   óB   a a€ ] tR tRt oRV 3R lltR tR tRtVtV ;t	# )r›   i»  c                ó0   <€ \         SV `  4        Wn        R # r   )r   r   r”   )r   r”   r   s   &&€r   r   ÚPatchUnEmbed.__init__¼  s   ø€ Ü‰ÑÔØ"Žr   c                óš   € VP                   w  r4pVP                  ^^4      P                  W0P                  V^ ,          V^,          4      pV# rN   )r¾   ré   r¿   r”   )r   rŽ   r¬   rÂ   Ú_HWÚ_Cs   &&&   r   r!   ÚPatchUnEmbed.forwardÀ  s?   € Ø—W‘W‰
ˆ�Ø�K‰K˜˜1Ó×"Ñ" 1§n¡n°f¸QµiÀÈÅÓKˆØˆr   c                ó
   € ^ pV# r  rO   )r   r
  s   & r   r
  ÚPatchUnEmbed.flopsÅ  s   € ØˆØˆr   r•   )r  r  r-   s   @@r   r›   r›   »  s   ù‡ € ÷#ò÷
ò r   r›   c                   óX   a a€ ] tR tRt o/ tR^R^7R^R^R^R^/V 3R lltR	 tR
tVtV ;t	# )ÚDCTLSAiÊ  ru   ÚnfÚnum_modulesrv   Úupscaler
   c               ó¤  <€ \         SV `  4        \        W^R7      V n        \	        W&R7      V n        \	        W&R7      V n        \	        W&R7      V n        \	        W&R7      V n        \	        W&R7      V n	        \	        W&R7      V n
        \        W#,          V^RR7      V n        \        V^,          V^RR7      V n        \        V^,          V^RR7      V n        \        V^,          V^RR7      V n        \        V^,          V^RR7      V n        \        V^,          V^RR7      V n        \        W"^R7      V n        \&        pV! W$VR7      V n        R# )é   )r8   )r   r
   r]   )r8   re   )rI   N)r   r   r:   Úfea_convr   ÚB1ÚB2ÚB3ÚB4ÚB5ÚB6r{   rx   Úc1Úc2Úc3Úc4Úc5ÚLR_convrL   Ú	upsampler)	r   ru   r  r  rv   r  r
   Úupsample_blockr   s	   &$$$$$$ €r   r   ÚDCTLSA.__init__Î  s  ø€ ô 	‰ÑÔÜ" 5¸!Ô<ˆŒô  2Ô9ˆŒÜ 2Ô9ˆŒÜ 2Ô9ˆŒÜ 2Ô9ˆŒÜ 2Ô9ˆŒÜ 2Ô9ˆŒÜ˜BÕ,¨b¸aÈ'ÔRˆŒÜ˜R !�V R°QÀÔIˆŒÜ˜R !�V R°QÀÔIˆŒÜ˜R !�V R°QÀÔIˆŒÜ˜R !�V R°QÀÔIˆŒÜ˜R !�V R°QÀÔIˆŒä! "°aÔ8ˆŒä+ˆÙ'¨À7ÔKˆŽr   c           
     ó@  € V P                  V4      pV P                  V4      p\        P                  ! W#.^R7      pV P	                  V4      pV P                  V4      p\        P                  ! WF.^R7      pV P                  V4      pV P                  V4      p	\        P                  ! Wy.^R7      p
V P                  V
4      pV P                  V4      p\        P                  ! W¬.^R7      pV P                  V4      pV P                  V4      p\        P                  ! Wß.^R7      pV P                  V4      pV P                  V4      pV P                  \        P                  ! W6WœVV.^R7      4      pV P                  V4      V,           pV P!                  V4      pV# )r0   rÖ   )r  r  rÀ   Úcatr%  r   r&  r!  r'  r"  r(  r#  r)  r$  rx   r*  r+  )r   r   Úout_feaÚout_B1Úout_B10Úout_B11Úout_B2Úout_B20Úout_B22Úout_B3Úout_B30Úout_B33Úout_B4Úout_B40Úout_B44Úout_B5Úout_B50Úout_B55Úout_B6Úout_BÚout_lrÚoutputs   &&                    r   r!   ÚDCTLSA.forwardî  sV  € Ø—-‘- Ó&ˆà—‘˜Ó!ˆÜ—)’)˜WÐ-°1Ô5ˆØ—'‘'˜'Ó"ˆà—‘˜Ó!ˆÜ—)’)˜WÐ-°1Ô5ˆØ—'‘'˜'Ó"ˆà—‘˜Ó!ˆÜ—)’)˜WÐ-°1Ô5ˆØ—'‘'˜'Ó"ˆà—‘˜Ó!ˆÜ—)’)˜WÐ-°1Ô5ˆØ—'‘'˜'Ó"ˆà—‘˜Ó!ˆÜ—)’)˜WÐ-°1Ô5ˆØ—'‘'˜'Ó"ˆà—‘˜Ó!ˆà—‘Ü�IŠI�v v°v¸vÐFÈAÔNó
ˆð —‘˜eÓ$ wÕ.ˆà—‘ Ó'ˆàˆr   )r  r   r!  r"  r#  r$  r*  rx   r%  r&  r'  r(  r)  r  r+  )
r&   r'   r(   r)   Úhyperparametersr   r!   r*   r+   r,   r-   s   @@r   r  r  Ê  s]   ù‡ € à€OðLð ðLð ð	Lð
 ðLð ðLð ðLð ÷L÷@!ò !r   r  )r0   r0   r0   )r	   r  r0   )Tgš™™™™™©?r0   )r0   r0   r0   Trt   Nr\   )"Úcollectionsr   rÀ   Útorch.nnr   Útorch.nn.functionalÚ
functionalr¡   Úspandrel.utilr   Úspandrel.util.timmr   r@   r   r:   rE   rL   rP   rZ   ri   rr   r{   r   r‡   r—   r   rÊ   r´   rê   r¶   rç   r™   r›   r  rO   r   r   Ú<module>rL     s  ðÝ #ã Ý ß Ð å /Ý (ô
ˆ2�9‰9ô 
ôò#ô	+òò
ô
òô"ô>ˆB�I‰Iô ô:8�—‘ô 8ôv?˜2Ÿ9™9ô ?ôD
�"—-‘-ô 
ô0@�b—i‘iô @òFôˆ"�)‰)ô ò$ô�—‘ô ô.�2—9‘9ô ñ ÓôDˆR�Y‰Yó Dó òDr   