+
    öäûj×g  ã                  óØ  € ^ RI Ht ^ RIt^ RIHt ^ RIt^ RIt^ RIH	u H
t ^ RIHt ^ RIHtH	t	 ^ RIHt ^ RIHt ^ RIHt ^ R	IHt ^ R
IHt ]R&,          t]]RRR3,          t ! R R]	P6                  4      t ! R R]	P6                  4      t ! R R]	P6                  4      t ! R R]	P6                  4      t ! R R]	P@                  4      t! ! R R]	P6                  4      t" ! R R]	P6                  4      t# ! R R]	P6                  4      t$ ! R R]	P6                  4      t% ! R  R!]	P6                  4      t& ! R" R#]	P6                  4      t']! 4        ! R$ R%]	P6                  4      4       t(R# )'é    )ÚannotationsN)ÚLiteral)Ú	rearrange)ÚTensorÚnn)Útrunc_normal_)Ú_IncompatibleKeys)Ú	StateDict)Ústore_hyperparameters)ÚDropPathútranspose+convÚldaÚpa_upc                  óN   a € ] tR t^tRtR	R V 3R llltR R ltR R ltRtV ;t	# )
ÚDySamplezƒAdapted from 'Learning to Upsample by Learning to Sample':
https://arxiv.org/abs/2308.15085
https://github.com/tiny-smart/dysample
c               ó0   € V ^8„  d   QhRRRRRRRRRRRR	/# )
é   Úin_channelsÚintÚout_chÚscaleÚgroupsÚend_convolutionÚboolÚreturnÚNone© )Úformats   "ÚcC:\Ai_Coding\apps\studio\ComfyUI\.venv\Lib\site-packages\spandrel\architectures\FDAT\__arch\fdat.pyÚ__annotate__ÚDySample.__annotate__$   sF   € ÷ ;ñ ;àð;ð ð;ð ð	;ð
 ð;ð ð;ð 
ñ;ó    c                	ó¼  <€ \         S	V `  4        W8:  g   W,          ^ 8w  d   Rp\        V4      h^V,          V^,          ,          pW0n        W@n        WPn        V'       d&   \        P                  ! WV^V^,          4      V n        \        P                  ! W^4      V n	        \        P                  ! W^RR7      V n
        V P                  '       dk   \        P                  P                  V P                  P                  RR7       \        P                  P                  V P                  P                  ^ R7       V P!                  RV P#                  4       4       R# )	r   z(Incorrect in_channels and groups values.F©Úbiasç{®Gáz”?©Ústd)ÚvalÚinit_posN)ÚsuperÚ__init__Ú
ValueErrorr   r   r   r   ÚConv2dÚend_convÚoffsetÚscopeÚtrainingÚinitr   ÚweightÚ	constant_Úregister_bufferÚ	_init_pos)
Úselfr   r   r   r   r   Ú
end_kernelÚmsgÚout_channelsÚ	__class__s
   &&&&&&&  €r   r,   ÚDySample.__init__$   sû   ø€ ô 	‰ÑÔàÔ  KÕ$8¸AÔ$=Ø<ˆCÜ˜S“/Ð!à˜6•z E¨1¥HÕ,ˆØŒ
ØŒØ.ÔßÜŸIšIØ Z°°JÀ!µOóˆDŒMô —i’i ¸1Ó=ˆŒÜ—Y’Y˜{¸!À%ÔHˆŒ
Ø�=�=ˆ=Ü�G‰G×!Ñ! $§+¡+×"4Ñ"4¸$Ð!Ô?Ü�G‰G×Ñ˜dŸj™j×/Ñ/°QÐÔ7à×Ñ˜Z¨¯©Ó)9Ö:r"   c               ó   € V ^8„  d   QhRR/# )r   r   r   r   )r   s   "r   r    r!   C   s   € ÷ 
ñ 
˜6ñ 
r"   c                	ó–  € \         P                  ! V P                  ) ^,           ^,          V P                  ^,
          ^,          ^,           4      V P                  ,          p\         P                  ! \         P                  ! W.RR7      4      P                  ^^4      P                  ^V P                  ^4      P                  ^R^^4      # )é   Úij©Úindexingéÿÿÿÿ)	ÚtorchÚaranger   ÚstackÚmeshgridÚ	transposeÚrepeatr   Úreshape)r8   Úhs   & r   r7   ÚDySample._init_posC   s‡   € Ü�LŠL˜4Ÿ:™:˜+¨�/¨QÕ.°·±¸aµÀ1Õ0DÀqÕ0HÓIÈDÏJÉJÕVˆä�KŠKœŸš¨ v¸Ô=Ó>ß‰Y�q˜!‹_ß‰V�A�t—{‘{ AÓ&ß‰W�Q˜˜A˜qÓ!ð		
r"   c               ó    € V ^8„  d   QhRRRR/# ©r   Úxr   r   r   )r   s   "r   r    r!   L   s   € ÷ &ñ &˜ð & Fñ &r"   c                	óŒ  € V P                  V4      V P                  V4      P                  4       ,          R ,          V P                  ,           pVP                  w  r4rVVP                  V^R
WV4      p\        P                  ! V4      R ,           p\        P                  ! V4      R ,           p\        P                  ! \        P                  ! W‡.RR7      4      P                  ^^4      P                  ^4      P                  ^ 4      P                  VP                  4      P                  VP                  RR7      p	\        P                   ! We.VP                  VP                  RR7      P                  ^^^^^4      p
^W’,           ,          V
,          ^,
          p	\"        P$                  ! V	P'                  VR
WV4      V P(                  4      P                  V^R
V P(                  V,          V P(                  V,          4      P+                  ^ ^^^^4      P-                  4       P/                  ^ ^4      p	\"        P0                  ! VP'                  W0P2                  ,          R
WV4      V	RRRR	7      P                  VR
V P(                  V,          V P(                  V,          4      pV P4                  '       d   V P7                  V4      pV# )ç      à?rA   rB   T)Únon_blocking)ÚdtypeÚdeviceÚ
pin_memoryÚbilinearFÚborder)ÚmodeÚalign_cornersÚpadding_moderD   )r0   r1   Úsigmoidr*   ÚshapeÚviewrE   rF   rG   rH   rI   Ú	unsqueezeÚtyperT   ÚtorU   ÚtensorÚFÚpixel_shufflerK   r   ÚpermuteÚ
contiguousÚflattenÚgrid_sampler   r   r/   )r8   rP   r0   ÚBÚ_ÚHÚWÚcoords_hÚcoords_wÚcoordsÚ
normalizerÚoutputs   &&          r   ÚforwardÚDySample.forwardL   s	  € Ø—‘˜Q“ $§*¡*¨Q£-×"7Ñ"7Ó"9Õ9¸CÕ?À$Ç-Á-ÕOˆØ—\‘\‰
ˆˆaØ—‘˜Q  2 qÓ,ˆÜ—<’< “? SÕ(ˆÜ—<’< “? SÕ(ˆô �KŠKœŸš¨Ð';ÀdÔKÓLß‰Y�q˜!‹_ß‰Y�q‹\ß‰Y�q‹\ß‰T�!—'‘'‹]ß‰R�—‘ tˆRÓ,ð 	ô —\’\ØˆF˜!Ÿ'™'¨!¯(©(¸tô
ç
‰$ˆq�!�Q˜˜1Ó
ð 	ð �f•oÕ&¨Õ3°aÕ7ˆô �OŠO˜FŸN™N¨1¨b°!Ó7¸¿¹ÓDß‰T�!�Q˜˜DŸJ™J¨�N¨D¯J©J¸­NÓ;ß‰W�Q˜˜1˜a Ó#ß‰Z‹\ß‰W�Q˜‹]ð 	ô —’Ø�I‰I�aŸ+™+•o r¨1Ó0ØØØØ!ô
÷ ‰$ˆq�"�d—j‘j 1•n d§j¡j°1¥nÓ
5ð 	ð ××ÐØ—]‘] 6Ó*ˆFàˆr"   )r/   r   r   r0   r   r1   )é@   é   r   é   Tr@   )
Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__Ú__doc__r,   r7   rr   Ú__static_attributes__Ú__classcell__©r<   s   @r   r   r      s!   ø† ñ÷
;ò ;õ>
÷&ó &r"   r   c                  ó8   a € ] tR t^utRR V 3R llltR tRtV ;t# )Ú	LayerNormc               ó$   € V ^8„  d   QhRRRRRR/# )r   Údimr   ÚepsÚfloatr   r   r   )r   s   "r   r    ÚLayerNorm.__annotate__v   s!   € ÷ ñ ˜Cð ¨5ð ¸Dñ r"   c                	óü   <€ \         SV `  4        \        P                  ! \        P
                  ! V4      4      V n        \        P                  ! \        P                  ! V4      4      V n        W n	        V3V n
        R # ©N)r+   r,   r   Ú	ParameterrE   Úonesr4   Úzerosr%   rƒ   r‚   )r8   r‚   rƒ   r<   s   &&&€r   r,   ÚLayerNorm.__init__v   sM   ø€ Ü‰ÑÔÜ—l’l¤5§:¢:¨c£?Ó3ˆŒÜ—L’L¤§¢¨SÓ!1Ó2ˆŒ	ØŒØ�6ˆŽr"   c                	óZ  € VP                  \        P                  R 7      '       dg   \        P                  ! VP                  ^ ^^^4      V P                  V P                  V P                  V P                  4      P                  ^ ^^^4      # VP                  ^RR7      pW,
          P                  ^4      P                  ^RR7      pW,
          \        P                  ! W0P                  ,           4      ,          pV P                  R,          V,          V P                  R,          ,           # ))Úmemory_formatT)Úkeepdim)ºNNNNN)Úis_contiguousrE   Úchannels_lastrc   Ú
layer_normre   r‚   r4   r%   rƒ   ÚmeanÚpowÚsqrt)r8   rP   ÚuÚss   &&  r   rr   ÚLayerNorm.forward}   sÔ   € Ø�?‰?¬×)<Ñ)<ˆ?×=Ò=Ü—<’<Ø—	‘	˜!˜Q  1Ó% t§x¡x°·±¸d¿i¹iÈÏÉóç‰g�a˜˜A˜qÓ!ð"ð �F‰F�1˜dˆFÓ#ˆØ�U�K‰K˜‹N×Ñ ¨4ÐÓ0ˆØ�U”e—j’j §X¡X¥Ó.Õ.ˆØ�{‰{˜=Õ)¨AÕ-°·	±	¸-Õ0HÕHÐHr"   )r%   r‚   rƒ   r4   )rt   g�íµ ÷Æ°>©rw   rx   ry   rz   r,   rr   r|   r}   r~   s   @r   r€   r€   u   s   ø† ÷ò ÷Ið Ir"   r€   c                  óT   a € ] tR t^ˆtR	R V 3R llltR R ltR tR
R ltR tRt	V ;t
# )ÚLDA_AQUc               ó   € V ^8„  d   QhRR/# ©r   r   r   r   )r   s   "r   r    ÚLDA_AQU.__annotate__‰   s   € ÷ >Oñ >Oð 
ñ>Or"   c
                	óä  <€ \         SV `  4        W`n        W0n        W@n        Wpn        W€n        WV P                  ,          ,          V n        V P                  R
,          V n        W�n	        W,          V n
        \        P                  ! WP                  ^^^ RR7      V n        \        P                  ! WP                  ^^^ RR7      V n        WV P
                  ,          ,          V n        \        P                   ! \        P                  ! V P                  V P                  ^^^V P                  RR7      \#        V P                  4      \        P$                  ! 4       \        P                  ! V P                  ^V^,          ,          V^V^,          4      4      V n        \#        V4      V n        \+        V P                  ^,
          ^,          4      V n        \.        P0                  ! V P,                  ) V P,                  ^,           4      P3                  \.        P4                  4      p
\.        P6                  ! W P                  4      p\.        P8                  ! W P                  4      p\.        P:                  ! W¼.^R7      P=                  4       p\>        P@                  ! V4      PC                  ^R^^4      pV PE                  RVRR7       V P                  '       d—   \        PF                  ! \>        PH                  ! ^V P                  ^V P                  ^,          V P                  V P                  ,          4      4      V n%        \        PL                  PO                  V PJ                  RR7       R	# R	# )rR   F)Úkernel_sizeÚstrideÚpaddingr%   ©r   r%   )ÚaxisÚbase_offset)Ú
persistentr&   r'   Nç      à¿rD   )(r+   r,   Úk_uÚnum_headÚscale_factorÚn_groupsÚoffset_range_factorÚattn_dimr   ÚrpbÚ
hidden_dimr   r.   Úproj_qÚproj_kÚgroup_channelÚ
Sequentialr€   ÚSiLUÚconv_offsetr’   r   ÚpadÚnprF   ÚastypeÚfloat32rJ   ÚtilerG   rg   rE   rb   r^   r6   rˆ   rŠ   Úrelative_position_bias_tabler3   r   )r8   r   Úreduction_factorÚnhrª   Úk_er¨   r«   Úrange_factorr®   ÚbaseÚbase_yÚbase_xr¥   r<   s   &&&&&&&&&&    €r   r,   ÚLDA_AQU.__init__‰   sn  ø€ ô 	‰ÑÔØŒØŒØ(ÔØ ŒØ#/Ô à#¸4¿=¹=Õ(HÕIˆŒØ—]‘] DÕ(ˆŒ
ØŒØ%Õ9ˆŒÜ—i’iØŸ™°aÀÈ1ÐSXô
ˆŒô —i’iØŸ™°aÀÈ1ÐSXô
ˆŒð )ÀÇÁÕ-MÕNˆÔÜŸ=š=Ü�IŠIØ×"Ñ"Ø×"Ñ"ØØØØ×)Ñ)Øôô �d×(Ñ(Ó)Ü�GŠG‹IÜ�IŠI�d×(Ñ(¨!¨c°1­f­*°c¸1¸cÀQ½hÓGó
ˆÔô $ KÓ0ˆŒä˜Ÿ™ 1�¨Õ)Ó*ˆŒÜ�yŠy˜$Ÿ(™(˜ D§H¡H¨q¥LÓ1×8Ñ8¼¿¹ÓDˆÜ—’˜4§¡Ó*ˆÜ—’˜Ÿx™xÓ(ˆÜ—h’h Ð/°aÔ8×@Ñ@ÓBˆÜ—l’l ;Ó/×4Ñ4°Q¸¸A¸qÓAˆØ×Ñ˜]¨KÀEÐÔJà�8�8ˆ8Ü02·²Ü—’Ø�t—}‘} a¨¯©°1­°d·o±oÈÏÉÕ6Vóó1ˆDÔ-ô
 �G‰G×!Ñ! $×"CÑ"CÈÐ!ÖNñ r"   c               ó   € V ^8„  d   QhRR/# r�   r   )r   s   "r   r    rž   É   s   € ÷ 8ñ 8˜dñ 8r"   c                	óŽ  € V P                  4        Fº  p\        V\        P                  4      '       d"   \        P                  P                  V4       KD  \        V\        P                  4      '       g   Kf  \        P                  P                  VP                  ^ 4       \        P                  P                  VP                  R4       K¼  	  \        P                  P                  V P                  R,          P                  ^ 4       \        P                  P                  V P                  R,          P                  ^ 4       R# )r   ç      ð?NrD   )ÚmodulesÚ
isinstancer   r.   r3   Úxavier_uniformr€   r5   r%   r4   rµ   ©r8   Úms   & r   Úinit_weightsÚLDA_AQU.init_weightsÉ   sÂ   € Ø—‘–ˆAÜ˜!œRŸY™Y×'Ò'Ü—‘×&Ñ& qÖ)Ü˜AœrŸ|™|×,Ô,Ü—‘×!Ñ! !§&¡&¨!Ô,Ü—‘×!Ñ! !§(¡(¨CÖ0ñ  ô 	�‰×Ñ˜$×*Ñ*¨2Õ.×5Ñ5°qÔ9Ü
�‰×Ñ˜$×*Ñ*¨2Õ.×3Ñ3°QÖ7r"   c           	     	óæ  € VP                   w  p  pVP                  p\        P                  ! W&R 7      p\        P                  ! W6R 7      p\        P                  ! Wx4      w  rx\        P
                  ! Wx3RR7      P                  ^W#^4      p	\        VRV P                  V P                  R7      pWP                  ^^V^V^4      ,           pVP                  4       P                  W@P                  V,          V P                  V,          ^4      p^VR,          ,          V^,
          ,          ^,
          VR&   ^VR,          ,          V^,
          ,          ^,
          VR&   VP                  R4      pV# ))rU   ©r‚   z b (kh kw d) h w -> b kh h kw w d)ÚkhÚkwrD   ).r   ).r@   )r]   rU   rE   rF   rH   rG   r^   r   r¨   rf   Úflip)
r8   r0   ÚHoutÚWoutri   rj   rU   Úrow_indicesÚcol_indicesÚindex_tensors
   &&&&      r   Ú
get_offsetÚLDA_AQU.get_offsetÓ   s*  € Ø—\‘\‰
ˆˆ1ˆa�Ø—‘ˆÜ—l’l 4Ô7ˆÜ—l’l 4Ô7ˆÜ#(§>¢>°+Ó#KÑ ˆÜ—{’{ KÐ#=À2ÔF×KÑKØˆt˜1ó
ˆô ØÐ6¸4¿8¹8ÈÏÉô
ˆð ×+Ñ+¨A¨q°$¸¸4ÀÓCÕCˆØ×"Ñ"Ó$×)Ñ)¨!¯X©X¸­_¸d¿h¹hÈ½oÈqÓQˆà˜V F�^Õ+¨t°a­xÕ8¸1Õ<ˆˆv‰Ø˜V F�^Õ+¨t°a­xÕ8¸1Õ<ˆˆv‰Ø—‘˜R“ˆØˆr"   c                	ój   € \         P                  P                  VVR RRR7      p\        VRW3R7      pV# )rW   rŠ   T)rY   r[   rZ   z(b c (ksh h) (ksw w) -> b (ksh ksw) c h w)ÚkshÚksw)r   Ú
functionalrh   r   )r8   rP   r0   ÚksÚouts   &&&& r   Úextract_featsÚLDA_AQU.extract_featsç   s@   € Ü�m‰m×'Ñ'ØØØØ Øð (ó 
ˆô ˜ÐGÈRÔXˆØˆ
r"   c                	óŒ  € VP                   w  r#rE\        W@P                  ,          4      \        WPP                  ,          4      rvTpV P                  V4      pV P	                  V4      p	V P                  V4      p
\        P                  P                  P                  W–V3R RR7      p	V	P                  W P                  ,          RWg4      pV P                  V4      pVP                  4       P                  V P                  4      V P                   P#                  VP$                  4      ,           pV
P                  W P                  ,          V P&                  V P                  ,          WE4      p
VP                  W P                  ,          W0P                  ,          WE4      pV P)                  WÖV4      pV P+                  W­R7      p
V P+                  W�R7      p\-        V	RV P.                  R7      p	\-        V
RV P                  R7      p
\-        VRV P                  R7      p\-        V
RV P.                  R7      p
\-        VRV P.                  R7      pV P0                  '       d   W P2                  ,           p
W�P4                  ,          p	WšP7                  RR4      ,          pVP9                  RR	7      pWè,          p\-        VR
VR7      pV# )rW   T)rY   rZ   )r0   zb (nh c) h w -> b nh (h w) () c)r½   z (b g) n c h w -> b (h w) n (g c))Úgzb n1 n (nh c) -> b nh n1 n crÏ   z"b nh (h w) t c -> b (nh c) (t h) w)rL   rD   éþÿÿÿ)r]   r   rª   r’   r°   r±   rE   r   rÝ   Úinterpolater^   r«   rµ   ÚtanhÚmulr¬   r¥   ra   rT   r¯   rØ   rà   r   r©   r®   r»   r   rI   Úsoftmax)r8   rP   ri   ÚCrk   rl   Úout_HÚout_WÚvÚqÚkÚq_offÚpred_offsetr0   Úattnrß   s   &&              r   rr   ÚLDA_AQU.forwardò   s0  € Ø—W‘W‰
ˆˆaÜ˜1×0Ñ0Õ0Ó1´3°q×;LÑ;LÕ7LÓ3MˆuØˆØ�O‰O˜AÓˆØ�K‰K˜‹NˆØ�K‰K˜‹Nˆä�H‰H×Ñ×+Ñ+Ø�uˆ~ J¸dð ,ó 
ˆð —‘�qŸ=™=Õ(¨"¨eÓ;ˆØ×&Ñ& uÓ-ˆØ×!Ñ!Ó#×'Ñ'¨×(@Ñ(@ÓAÀD×DTÑDT×DWÑDWØ�G‰GóE
õ 
ˆð �F‰F�1—}‘}Õ$ d§o¡o¸¿¹Õ&FÈÓMˆØ�F‰F�1—}‘}Õ$ a¯=©=Õ&8¸!Ó?ˆØ—‘ °Ó6ˆØ×Ñ˜qÐÓ0ˆØ×Ñ˜qÐÓ0ˆä�aÐ:¸t¿}¹}ÔMˆÜ�aÐ;¸t¿}¹}ÔMˆÜ�aÐ;¸t¿}¹}ÔMˆÜ�aÐ7¸D¿M¹MÔJˆÜ�aÐ7¸D¿M¹MÔJˆà�8�8ˆ8Ø×5Ñ5Õ5ˆAà—
‘
�NˆØ—;‘;˜r 2Ó&Õ&ˆØ�|‰| ˆ|Ó#ˆØ�hˆä˜ÐAÀUÔKˆØˆ
r"   )r­   rµ   r²   r¯   r¨   r’   r«   r©   r¬   r¶   r±   r°   r»   r®   r   rª   )	é0   rv   r@   ç       @ru   ru   r   é   T)ru   )rw   rx   ry   rz   r,   rÌ   rØ   rà   rr   r|   r}   r~   s   @r   r›   r›   ˆ   s)   ø† ÷>Oò >Oõ@8òô(	÷&ð &r"   r›   c                  ó4   a € ] tR tRtR V 3R lltR tRtV ;t# )ÚPAi  c               ó   € V ^8„  d   QhRR/# r�   r   )r   s   "r   r    ÚPA.__annotate__  s   € ÷ Hñ H˜tñ Hr"   c                	ó¬   <€ \         SV `  4        \        P                  ! \        P                  ! W^4      \        P
                  ! 4       4      V n        R# )r@   N)r+   r,   r   r³   r.   ÚSigmoidÚconv)r8   r‚   r<   s   &&€r   r,   ÚPA.__init__  s1   ø€ Ü‰ÑÔÜ—M’M¤"§)¢)¨C°aÓ"8¼"¿*º*»,ÓGˆŽ	r"   c                	óB   € VP                  V P                  V4      4      # r‡   )rç   rü   )r8   rP   s   &&r   rr   Ú
PA.forward   s   € Ø�u‰u�T—Y‘Y˜q“\Ó"Ð"r"   )rü   r™   r~   s   @r   r÷   r÷     s   ø† ÷Hð H÷#ð #r"   r÷   c                  ó2   a € ] tR tRtRR V 3R llltRtV ;t# )ÚUniUpsampleV3i$  c               ó4   € V ^8„  d   QhRRRRRRRRRRRRR	R
/# )r   ÚupsampleÚSampleMods3r   r   Úin_dimÚout_dimÚmid_dimÚgroupr   r   r   )r   s   "r   r    ÚUniUpsampleV3.__annotate__%  sY   € ÷ S
ñ S
àðS
ð ðS
ð ð	S
ð
 ðS
ð ðS
ð ðS
ð 
ñS
r"   c                	óv  <€ . pV^8X  g   VR8X  d+   VP                  \        P                  ! W4^^^4      4       EMVR8X  dO   VP                  \        P                  ! W4V^,          ,          ^^^4      \        P                  ! V4      .4       EM·VR8X  EdQ   VP                  \        P                  ! W5^^^4      \        P
                  ! RR7      .4       W"^,
          ,          ^ 8X  dw   \        \        \        P                  ! V4      4      4       FI  p	VP                  \        P                  ! V^V,          ^^^4      \        P                  ! ^4      .4       KK  	  M]V^8X  dH   VP                  \        P                  ! V^	V,          ^^^4      \        P                  ! ^4      .4       M\        RV R24      hVP                  \        P                  ! WT^^^4      4       EM_VR8X  Ed¡   W"^,
          ,          ^ 8X  dÇ   \        \        \        P                  ! V4      4      4       FY  p	VP                  \        P                  ! W3^^^4      \        P                  ! ^R	7      \        P
                  ! R
RR7      34       K[  	  VP                  \        P                  ! W3^^^4      \        P
                  ! R
RR7      34       MœV^8X  d‡   VP                  \        P                  ! W3^^^4      \        P                  ! VR	7      \        P
                  ! R
RR7      \        P                  ! W3^^^4      \        P
                  ! R
RR7      34       M\        RV R24      hVP                  \        P                  ! W4^^^4      4       EM·VR8X  de   WS8w  d@   VP                  \        P                  ! W5^^^4      \        P
                  ! RR7      .4       VP                  \        WTW&VR7      4       EMLVR8X  d÷   V^8X  d*   VP                  \        P                  ! W4^^^4      4       MœV^8X  d*   VP                  \        P                  ! W4^^^ 4      4       MlV^8X  dW   VP                  \        P                  ! W3^^^4      \        P                  ! 4       \        P                  ! W4^^^4      .4       M\        RV R24      hVP                  \        P                  ! WD^^^4      4       EMOVR8X  d‹   WS8w  d@   VP                  \        P                  ! W5^^^4      \        P
                  ! RR7      .4       VP                  \        WRR	7      4       VP                  \        P                  ! WT^^^4      4       EM¾VR8X  Ed¥   W"^,
          ,          ^ 8X  dÂ   \        \        \        P                  ! V4      4      4       F”  p	VP                  \        P                  ! ^R	7      \        P                  ! W5^^^4      \!        V4      \        P
                  ! R
RR7      \        P                  ! WU^^^4      \        P
                  ! R
RR7      .4       TpK–  	  M¦V^8X  d‘   VP                  \        P                  ! ^R	7      \        P                  ! W5^^^4      \!        V4      \        P
                  ! R
RR7      \        P                  ! WU^^^4      \        P
                  ! R
RR7      .4       M\        RV R24      hVP                  \        P                  ! WT^^^4      4       M\        R\"         24      h\$        S
V `L  ! V!   V P)                  R\*        P,                  ! ^\/        \0        P2                  4      P5                  V4      VVVVV.\*        P6                  R7      4       R# )r@   rü   ÚpixelshuffledirectÚpixelshuffleT)Úinplacezscale z/ is not supported. Supported scales: 2^n and 3.únearest+conv)rª   gš™™™™™É?)Únegative_sloper  Údysample)r9   r   z, is not supported. Supported scales: 2, 3, 4r   r   z7An invalid Upsample was selected. Please choose one of ÚMetaUpsample)rT   N)Úappendr   r.   ÚextendÚPixelShuffleÚ	LeakyReLUÚranger   ÚmathÚlog2r-   ÚUpsampler   ÚConvTranspose2dÚGELUr›   r÷   Ú
SampleModsr+   r,   r6   rE   rb   Úlistr  Ú__args__ÚindexÚuint8)r8   r  r   r  r  r  r  Údysample_end_kernelrË   rj   r<   s   &&&&&&&&  €r   r,   ÚUniUpsampleV3.__init__%  s  ø€ ð ˆà�AŒ:˜ VÔ+Ø�H‰H”R—Y’Y˜v°°1°aÓ8Ö9ØÐ-Ô-Ø�H‰HÜ—’˜6¨U°A­XÕ#5°q¸!¸QÓ?ÄÇÂÐQVÓAWÐXöð ˜Õ'Ø�H‰H”b—i’i °°A°qÓ9¼2¿<º<ÐPTÔ;UÐVÔWØ �Õ#¨Ô)Üœs¤4§9¢9¨UÓ#3Ó4Ö5�AØ—H‘HÜŸš 7¨A°­K¸¸A¸qÓAÄ2Ç?Â?ÐSTÓCUÐVöò 6ð ˜!”Ø—‘œ"Ÿ)š) G¨Q°­[¸!¸QÀÓBÄBÇOÂOÐTUÓDVÐWÕXä Ø˜U˜GÐ#RÐSóð ð �H‰H”R—Y’Y˜w°°A°qÓ9Ö:Ø˜Õ'Ø �Õ#¨Ô)Üœs¤4§9¢9¨UÓ#3Ó4Ö5�AØ—H‘HäŸIšI f°a¸¸AÓ>ÜŸKšK°QÔ7ÜŸLšL¸ÀTÔJðöñ 6ð —‘äŸ	š	 &°!°Q¸Ó:ÜŸš°CÀÔFðõð ˜!”Ø—‘äŸ	š	 &°!°Q¸Ó:ÜŸš°Ô7ÜŸš°CÀÔFÜŸ	š	 &°!°Q¸Ó:ÜŸš°CÀÔFðõô !Ø˜U˜GÐ#RÐSóð ð �H‰H”R—Y’Y˜v°°1°aÓ8Ö9Ø˜Ô#ØÔ Ø—‘Ü—Y’Y˜v°°1°aÓ8¼"¿,º,ÈtÔ:TÐUôð �H‰HÜ˜¨5ÐDWÔXöð Ð)Ô)Ø˜ŒzØ—‘œ×+Ò+¨F¸QÀÀ1ÓEÕFØ˜!”Ø—‘œ×+Ò+¨F¸QÀÀ1ÓEÕFØ˜!”Ø—‘ä×*Ò*¨6¸1¸aÀÓCÜŸš›	Ü×*Ò*¨6¸A¸qÀ!ÓDðõô !Ø˜U˜GÐ#OÐPóð ð �H‰H”R—Y’Y˜w°°A°qÓ9Ö:Ø˜ÔØÔ Ø—‘Ü—Y’Y˜v°°1°aÓ8¼"¿,º,ÈtÔ:TÐUôð �H‰H”W˜WÔ9Ô:Ø�H‰H”R—Y’Y˜w°°A°qÓ9Ö:Ø˜Õ Ø �Õ#¨Ô)Üœs¤4§9¢9¨UÓ#3Ó4Ö5�AØ—H‘HäŸKšK°QÔ7ÜŸIšI f°q¸!¸QÓ?Ü˜w›KÜŸLšL¸ÀTÔJÜŸIšI g¸¸1¸aÓ@ÜŸLšL¸ÀTÔJðô	ð %’Fò 6ð ˜!”Ø—‘äŸš°Ô3ÜŸ	š	 &°1°a¸Ó;Ü˜7›ÜŸš°CÀÔFÜŸ	š	 '°A°q¸!Ó<ÜŸš°CÀÔFðõ	ô !Ø˜U˜GÐ#RÐSóð ð �H‰H”R—Y’Y˜w°°A°qÓ9Õ:äØIÌ*ÈÐVóð ô 	‰Ò˜!Òà×ÑØÜ�LŠLàÜœ×-Ñ-Ó.×4Ñ4°XÓ>ØØØØØðô —k‘kôö	
r"   r   )r   r   ró   ru   ró   rv   r@   )rw   rx   ry   rz   r,   r|   r}   r~   s   @r   r  r  $  s   ø† ÷S
÷ S
ð S
r"   r  c                  ó8   a € ] tR tRtRR V 3R llltR tRtV ;t# )ÚFastSpatialWindowAttentioni¼  c               ó   € V ^8„  d   QhRR/# r�   r   )r   s   "r   r    Ú'FastSpatialWindowAttention.__annotate__½  s   € ÷ +ñ +È4ñ +r"   c                	óž  <€ \         SV `  4        WVuV n        V n        V n        W,          R,          V n        \        P                  ! W^,          VR7      \        P                  ! W4      uV n        V n	        \        P                  ! \        P                  ! W2V,          W",          4      4      V n        \        V P                  RR7       R# )rR   r$   r&   r'   Nr§   )r+   r,   r‚   Úwsr½   r   r   ÚLinearÚqkvÚprojrˆ   rE   rŠ   r%   r   )r8   r‚   Úwindow_sizeÚ	num_headsÚqkv_biasr<   s   &&&&&€r   r,   Ú#FastSpatialWindowAttention.__init__½  s”   ø€ Ü‰ÑÔØ%(°yÐ"ˆŒ�$”'˜4œ7ØÕ&¨4Õ/ˆŒ
ä�IŠI�c �7¨Ô2Ü�IŠI�cÓð 	ˆŒ�$”)ô —L’LÜ�KŠK˜	°Õ#<¸kÕ>WÓXó
ˆŒ	ô 	�d—i‘i T×*r"   c           	     	ó’  € VP                   w  rEpV P                  W0P                  ,          ,
          V P                  ,          V P                  W P                  ,          ,
          V P                  ,          r‡V^ 8”  g   V^ 8”  d?   \        P                  ! VP	                  WBW64      ^ ^ ^ V^ V34      P	                  VRV4      pW(,           W7,           r©VP	                  WIV P                  ,          V P                  W P                  ,          V P                  V4      P                  ^ ^^^^^4      P                  4       P	                  RV P                  V P                  ,          V4      pV P                  V4      P	                  RV P                  V P                  ,          ^V P                  W`P                  ,          4      P                  ^^ ^^^4      pVP                  ^ 4      w  rÍpWÀP                  ,          VP                  RR4      ,          V P                  ,           p\        P                  ! VRR7      V,          P                  ^^4      P                  RV P                  V P                  ,          V4      pV P                  V4      P	                  WIV P                  ,          W P                  ,          V P                  V P                  V4      P                  ^ ^^^^^4      P                  4       P	                  WIW¦4      pV^ 8”  g   V^ 8”  d    VRRV1RV1R3,          P                  4       pVP	                  WEV4      # )r   rÏ   r�   NrD   rä   )r]   r(  rc   r¶   r^   re   rf   r*  r½   Úunbindr   rI   r%   rè   rK   r+  )r8   rP   rk   rl   ri   ÚLré   Úpad_rÚpad_bÚH_padÚW_padr*  rí   rî   rì   rñ   s   &&&&            r   rr   Ú"FastSpatialWindowAttention.forwardÊ  si  € Ø—'‘'‰ˆˆaà�W‰W�qŸ7™7•{Õ" d§g¡gÕ-Ø�W‰W�qŸ7™7•{Õ" d§g¡gÕ-ð ð �1Œ9˜ œ	Ü—’�a—f‘f˜Q 1Ó(¨1¨a°°E¸1¸eÐ*DÓE×JÑJÈ1ÈbÐRSÓTˆAà•y !¥)ˆuà�F‰F�1˜tŸw™wÕ&¨¯©°¿'¹'Õ1AÀ4Ç7Á7ÈAÓNß‰W�Q˜˜1˜a  AÓ&ß‰Z‹\ß‰T�"�d—g‘g §¡Õ'¨Ó+ð	 	
ð �H‰H�Q‹Kß‰T�"�d—g‘g §¡Õ'¨¨D¯G©G°Q¿'¹'µ\ÓBß‰W�Q˜˜1˜a Ó#ð 	ð
 —*‘*˜Q“-‰ˆˆaØ—J‘J• §¡¨R°Ó!4Õ4¸¿	¹	ÕAˆä�YŠY�t Ô$ qÕ(ß‰Y�q˜!‹_ß‰W�R˜Ÿ™ 4§7¡7Õ*¨AÓ.ð 	
ð �I‰I�a‹Lß‰T�!˜dŸg™gÕ% u·±Õ'7¸¿¹À$Ç'Á'È1ÓMß‰W�Q˜˜1˜a  AÓ&ß‰Z‹\ß‰T�!˜EÓ%ð 	
ð �1Œ9˜ œ	Ø�!�R�a�R˜˜!˜˜Q�,•×*Ñ*Ó,ˆAØ�v‰v�a˜A‹Ðr"   )r%   r‚   r½   r+  r*  r   r(  )é   rv   Fr™   r~   s   @r   r$  r$  ¼  s   ø† ÷+ò +÷%ð %r"   r$  c                  ó8   a € ] tR tRtRR V 3R llltR tRtV ;t# )ÚFastChannelAttentioniò  c               ó   € V ^8„  d   QhRR/# r�   r   )r   s   "r   r    Ú!FastChannelAttention.__annotate__ó  s   € ÷ 
ñ 
¸Dñ 
r"   c                	ó  <€ \         SV `  4        W n        \        P                  ! \
        P                  ! V^^4      4      V n        \        P                  ! W^,          VR7      \        P                  ! W4      uV n	        V n
        R# )r@   r$   N)r+   r,   r½   r   rˆ   rE   r‰   Útempr)  r*  r+  )r8   r‚   r-  r.  r<   s   &&&&€r   r,   ÚFastChannelAttention.__init__ó  s[   ø€ Ü‰ÑÔØŒÜ—L’L¤§¢¨I°q¸!Ó!<Ó=ˆŒ	ä�IŠI�c �7¨Ô2Ü�IŠI�cÓð 	ˆŒ�$–)r"   c                	ó–  € VP                   w  rEpV P                  V4      P                  WE^V P                  W`P                  ,          4      P	                  ^^ ^^^4      pVP                  ^ 4      w  r‰p
\        P                  ! VP                  RR4      RR7      \        P                  ! V	P                  RR4      RR7      r˜\        P                  ! W‰P                  RR4      ,          V P                  ,          RR7      pV P                  WºP                  RR4      ,          P	                  ^ ^^^4      P                  WEV4      4      # )ru   rÏ   rä   rD   )r]   r*  r^   r½   re   r1  rc   Ú	normalizerI   rè   r>  r+  rK   )r8   rP   rk   rl   ri   ÚNré   r*  rí   rî   rì   rñ   s   &&&&        r   rr   ÚFastChannelAttention.forwardü  sý   € Ø—'‘'‰ˆˆaØ�h‰h�q‹k×Ñ˜q Q¨¯©°·g±gµÓ>×FÑFÀqÈ!ÈQÐPQÐSTÓUˆØ—*‘*˜Q“-‰ˆˆaä�KŠK˜Ÿ™ B¨Ó+°Ô4Ü�KŠK˜Ÿ™ B¨Ó+°Ô4ð ô �yŠy˜!Ÿk™k¨"¨bÓ1Õ1°T·Y±YÕ>ÀBÔGˆØ�y‰yØ—K‘K  BÓ'Õ'×0Ñ0°°A°q¸!Ó<×DÑDÀQÈ1ÓMó
ð 	
r"   )r½   r+  r*  r>  )rv   Fr™   r~   s   @r   r:  r:  ò  s   ø† ÷
ò 
÷
ð 
r"   r:  c                  ó8   a € ] tR tRtRR V 3R llltR tRtV ;t# )ÚSimplifiedAIMi
  c               ó   € V ^8„  d   QhRR/# r�   r   )r   s   "r   r    ÚSimplifiedAIM.__annotate__  s   € ÷ 	
ñ 	
°$ñ 	
r"   c                	óÜ  <€ \         SV `  4        \        P                  ! \        P                  ! V^^RR7      \        P
                  ! 4       4      V n        \        P                  ! \        P                  ! ^4      \        P                  ! WV,          ^RR7      \        P                  ! 4       \        P                  ! W,          V^RR7      \        P
                  ! 4       4      V n	        R# )r@   Fr$   N)
r+   r,   r   r³   r.   rû   ÚsgÚAdaptiveAvgPool2dr  Úcg)r8   r‚   Úreduction_ratior<   s   &&&€r   r,   ÚSimplifiedAIM.__init__  s�   ø€ Ü‰ÑÔÜ—-’-¤§	¢	¨#¨q°!¸%Ô @Ä"Ç*Â*Ã,ÓOˆŒÜ—-’-Ü× Ò  Ó#Ü�IŠI�c /Õ1°1¸5ÔAÜ�GŠG‹IÜ�IŠI�cÕ,¨c°1¸5ÔAÜ�JŠJ‹Ló
ˆŽr"   c                	ó°  € VP                   w  rgpVR 8X  db   V P                  VP                  ^^4      P                  WhWE4      4      P                  V^V4      P                  ^^4      p	WV	,          ,           # V P	                  VP                  ^^4      P                  WhWE4      4      P                  Wh^4      P                  ^^4      p
W,          V,           # )Úspatial_modulates_channel)r]   rI  rI   r^   rK  )r8   Ú	attn_featÚ	conv_featÚinteraction_typerk   rl   ri   r2  ré   ÚsmÚcms   &&&&&&     r   rr   ÚSimplifiedAIM.forward  s¼   € Ø—/‘/‰ˆˆaØÐ:Ô:à—‘˜	×+Ñ+¨A¨qÓ1×6Ñ6°q¸QÓBÓCß‘�a˜˜A“ß‘˜1˜a“ð ð
 ¨B¥Õ/Ð/ð —‘˜	×+Ñ+¨A¨qÓ1×6Ñ6°q¸QÓBÓCß‘�a˜A“ß‘˜1˜a“ð ð
 •N iÕ/Ð/r"   )rK  rI  )r8  r™   r~   s   @r   rE  rE  
  s   ø† ÷	
ò 	
÷0ð 0r"   rE  c                  ó8   a € ] tR tRtRR V 3R llltR tRtV ;t# )ÚSimplifiedFFNi(  c               ó   € V ^8„  d   QhRR/# r�   r   )r   s   "r   r    ÚSimplifiedFFN.__annotate__)  s   € ÷ 	Fñ 	F¸dñ 	Fr"   c           
     	ód  <€ \         SV `  4        \        W,          4      p\        P                  ! WR 4      \        P
                  ! 4       \        P                  ! WAR 4      uV n        V n        V n        \        P                  ! V4      V n
        \        P                  ! WD^^^VR R7      V n        R# )Fr£   N)r+   r,   r   r   r)  r  Úfc1ÚactÚfc2ÚDropoutÚdropr.   Úsmix)r8   r‚   Úexpansion_ratior_  Úhdr<   s   &&&& €r   r,   ÚSimplifiedFFN.__init__)  s}   ø€ Ü‰ÑÔÜ�Õ&Ó'ˆä�IŠI�c˜uÓ%Ü�GŠG‹IÜ�IŠI�b˜uÓ%ð 	%ˆŒ�$”(˜DœHô
 —J’J˜tÓ$ˆŒ	Ü—I’I˜b a¨¨A°b¸uÔEˆŽ	r"   c                	ó¤  € VP                   w  rEpV P                  V P                  V P                  V4      4      4      pV P	                  VP                  ^^4      P                  WAP                   R,          W#4      4      P                  WAP                   R,          V4      P                  ^^4      pV P                  V P                  V4      4      # )r@   rD   )r]   r_  r\  r[  r`  rI   r^   r]  )r8   rP   rk   rl   ri   r2  Ú_CÚx_ss   &&&&    r   rr   ÚSimplifiedFFN.forward4  s—   € Ø—7‘7‰ˆˆbØ�I‰I�d—h‘h˜tŸx™x¨›{Ó+Ó,ˆà�I‰I�a—k‘k ! QÓ'×,Ñ,¨Q·±¸µ¸QÓBÓCß‰T�!—W‘W˜R•[ !Ó$ß‰Y�q˜!‹_ð 	ð
 �y‰y˜Ÿ™ #›Ó'Ð'r"   )r\  r_  r[  r]  r`  )rô   ç        r™   r~   s   @r   rW  rW  (  s   ø† ÷	Fò 	F÷(ð (r"   rW  c                  ó>   a € ] tR tRtRR V 3R llltR tR tRtV ;t# )ÚSimplifiedDATBlocki?  c               ó   € V ^8„  d   QhRR/# r�   r   )r   s   "r   r    ÚSimplifiedDATBlock.__annotate__@  s   € ÷ /ñ /ÐPTñ /r"   c	                	ó  <€ \         S	V `  4        W`n        \        P                  ! V4      \        P                  ! V4      uV n        V n        VR 8X  d   \        WW(4      M\        WV4      V n	        \        P                  ! \        P                  ! W^^^VRR7      \        P                  ! 4       4      V n        \        W4      V n        VR8”  d   \!        V4      M\        P"                  ! 4       V n        \'        W4      V n        R# )ÚspatialFr£   rh  N)r+   r,   Úbtyper   r€   Ún1Ún2r$  r:  rñ   r³   r.   r  rü   rE  Úinterr   ÚIdentityÚdprW  Úffn)
r8   r‚   r½   r(  Úffn_expÚaim_rero  rt  Úqkv_br<   s
   &&&&&&&&&€r   r,   ÚSimplifiedDATBlock.__init__@  s¿   ø€ Ü‰ÑÔØŒ
ÜŸ<š<¨Ó,¬b¯lªl¸3Ó.?ÐˆŒ�”ð ˜	Ô!ô ' s°Ô:ä% c¨uÓ5ð 	Œ	ô
 —M’MÜ�IŠI�c  1 a°¸%Ô@Ä"Ç'Â'Ã)ó
ˆŒ	ô # 3Ó/ˆŒ
Ø"$ s¤(”(˜2”,´·²³ˆŒÜ  Ó.ˆŽr"   c                	óÂ   € VP                   w  rEpV P                  VP                  ^^4      P                  WFW#4      4      P                  WFV4      P                  ^^4      # ©r@   )r]   rü   rI   r^   )r8   rP   rk   rl   ri   r2  ré   s   &&&&   r   Ú	_conv_fwdÚSimplifiedDATBlock._conv_fwdP  sT   € Ø—'‘'‰ˆˆaà�I‰I�a—k‘k ! QÓ'×,Ñ,¨Q°1Ó8Ó9×>Ñ>¸qÀQÓG×QÑQÐRSÐUVÓWð	
r"   c                	óT  € V P                  V4      pV P                  R 8X  d   RMRpV P                  V P                  WBV4      V P	                  WBV4      WRV4      pWP                  V4      ,           pWP                  V P                  V P                  V4      W#4      4      ,           pV# )rn  Úchannel_modulates_spatialrO  )rp  ro  rr  rñ   r|  rt  ru  rq  )r8   rP   rk   rl   rp  ÚitypeÚfuseds   &&&&   r   rr   ÚSimplifiedDATBlock.forwardV  s�   € Ø�W‰W�Q‹Zˆð �z‰z˜YÔ&ñ (à,ð 	ð
 —
‘
˜4Ÿ9™9 R¨AÓ.°·±¸rÀaÓ0HÈ%ÐTUÓVˆØ—‘˜“ÕˆØ—‘˜Ÿ™ §¡¨£¨QÓ2Ó3Õ3ˆØˆr"   )rñ   ro  rü   rt  ru  rr  rp  rq  )F)	rw   rx   ry   rz   r,   r|  rr   r|   r}   r~   s   @r   rj  rj  ?  s   ø† ÷/ò /ò 
÷
ð 
r"   rj  c                  ó:   a € ] tR tRtR V 3R lltR R ltRtV ;t# )ÚSimplifiedResidualGroupic  c               ó   € V ^8„  d   QhRR/# r�   r   )r   s   "r   r    Ú$SimplifiedResidualGroup.__annotate__d  s   € ÷ 
=ñ 
=ÐRVñ 
=r"   c	                	ó(  <€ \         S
V `  4        \        P                  ! \	        V4       U	u. uF.  p	\        WWEWgV	\        V4      ,          ,          W‰,          4      NK0  	  up	4      V n        \        P                  ! W^^^RR7      V n	        R# u up	i )ru   Fr$   N)
r+   r,   r   Ú
ModuleListr  rj  ÚlenÚblocksr.   rü   )r8   r‚   Údepthr½   r(  rv  rw  ÚpatternÚdp_ratesÚir<   s   &&&&&&&&& €r   r,   Ú SimplifiedResidualGroup.__init__d  s€   ø€ Ü‰ÑÔÜ—m’mô
 ˜uœó	ñ &�Aô #Ø˜R¨&¸!¼cÀ'»lÕ:JÕ2KÈXÍ[öñ &ñ	ó
ˆŒô —I’I˜c¨¨1¨a°eÔ<ˆŽ	ùòs   ­4Bc               ó    € V ^8„  d   QhRRRR/# rO   r   )r   s   "r   r    r†  p  s   € ÷ Eñ E˜ð E Fñ Er"   c                	ó4  € VP                   w  r#rEVP                  W#WE,          4      P                  ^^4      P                  4       pV P                   F  pV! WdV4      pK  	  V P                  VP                  ^^4      P                  W#WE4      4      V,           # r{  )r]   r^   rI   rf   rŠ  rü   )r8   rP   ri   ré   rk   rl   Úx_seqÚblocks   &&      r   rr   ÚSimplifiedResidualGroup.forwardp  s}   € Ø—W‘W‰
ˆˆaØ—‘�q˜Q�UÓ#×-Ñ-¨a°Ó3×>Ñ>Ó@ˆØ—[”[ˆEÙ˜% AÓ&ŠEñ !à�y‰y˜Ÿ™¨¨AÓ.×3Ñ3°A¸!Ó?Ó@À1ÕDÐDr"   )rŠ  rü   r™   r~   s   @r   r„  r„  c  s   ø† ÷
=ð 
=÷Eó Er"   r„  c                   ó¬   a € ] tR tRt/ tR^R^R^R^xR^R^R^R	^R
RR^RRRRR^@RRRRRR/R V 3R llltR V 3R lltR R ltR R ltR  R! lt	R"t
V ;t# )#ÚFDATix  Ú	num_in_chÚ
num_out_chr   Ú	embed_dimÚ
num_groupsÚdepth_per_groupr-  r,  Úffn_expansion_ratiorô   Úaim_reduction_ratioÚgroup_block_patternNÚdrop_path_rategš™™™™™¹?r  Úupsampler_typer   Ú	img_rangerÆ   Úunshuffle_modFc          "     ó\   € V ^8„  d   QhRRRRRRRRRRRRRRR	RR
RRRRRRRRRRRRRRRRR/# )r   r—  r   r˜  r   r™  rš  r›  r-  r,  rœ  r„   r�  rž  zlist[str] | NonerŸ  r  r   r  r¡  r¢  r   r   r   r   )r   s   "r   r    ÚFDAT.__annotate__|  s¶   € ÷ <'ñ <'ð ð<'ð ð	<'ð
 ð<'ð ð<'ð ð<'ð ð<'ð ð<'ð ð<'ð #ð<'ð !ð<'ð .ð<'ð ð<'ð ð<'ð  $ð!<'ð" ð#<'ð$ ð%<'ð& 
ñ'<'r"   c               	óÒ  <€ Vf   RR.p\         SV `  4        WóuV n        V n        \        P
                  ! ^^^^4      V n        ^ V n        V'       ds   V^8  dl   ^V,          p^p\        P                  ! \        P                  ! V4      \        P                  ! VV^,          ,          V^^^RR7      4      V n        VV n        M \        P                  ! W^^^RR7      V n        V\        V4      ,          pVV,          p\        P                  ! ^ VV4       Uu. uF  pVP                  4       NK  	  pp\        P                  ! \!        V4       Uu. uF-  p\#        VVVVV	V
VVVV,          V^,           V,           4      NK/  	  up!  V n        \        P                  ! WD^^^RR7      V n        \)        WãWBV^4      V n        V P-                  V P.                  4       R # u upi u upi )Nrn  ÚchannelTr$   F)r+   r,   r¡  ÚupscalerE   rŠ   r“   r¶   r   r³   ÚPixelUnshuffler.   Ú
conv_firstr‰  ÚlinspaceÚitemr  r„  r   Ú
conv_afterr  Ú	upsamplerÚapplyÚ_init_weights)r8   r—  r˜  r   r™  rš  r›  r-  r,  rœ  r�  rž  rŸ  r  r   r¡  r¢  Ú	unshuffleÚadÚtdrP   ÚdprrŽ  r<   s   &$$$$$$$$$$$$$$$$      €r   r,   ÚFDAT.__init__|  s·  ø€ ð( Ò&Ø#,¨iÐ"8ÐÜ‰ÑÔØ'0Ð$ˆŒ˜œÜ—K’K  1 a¨Ó+ˆŒ	ØˆŒß˜U QœYØ˜U�
ˆIØˆEÜ ŸmšmÜ×!Ò! )Ó,Ü—	’	˜) i°¥lÕ2°I¸qÀ!ÀQÈTÔRóˆDŒOð !ˆD�Hä Ÿiši¨	¸aÀÀAÈDÔQˆDŒOØœsÐ#6Ó7Õ7ˆØ˜"�_ˆÜ!&§¢°°>À2Ô!FÓGÑ!F˜Aˆq�v‰vŽxÑ!FˆÐGä—m’mô ˜zÔ*óñ +�Aô (ØØØØØ'Ø'Ø'Ø˜˜B� ! a¥%¨2¥Ð.ö	ñ +ññ
ˆŒô  Ÿ)š) I¸!¸QÀÈÔNˆŒÜ&Ø 9¸'À1ó
ˆŒð 	�
‰
�4×%Ñ%Ö&ùò- Hùòs   ÄGÅ3G$c               ó    € V ^8„  d   QhRRRR/# )r   Ú
state_dictr
   r   r	   r   )r   s   "r   r    r¤  º  s"   € ÷ Dñ DàðDð
 
ñDr"   c                	ó^   <€ V P                   P                  VR &   \        SV `  ! V.VO5/ VB # )zupsampler.MetaUpsample)r­  r  r+   Úload_state_dict)r8   r¶  ÚargsÚkwargsr<   s   &&*,€r   r¸  ÚFDAT.load_state_dictº  s4   ø€ ð 04¯~©~×/JÑ/Jˆ
Ð+Ñ,Ü‰wÒ& zÐC°DÒC¸FÑCÐCr"   c               ó    € V ^8„  d   QhRRRR/# )r   rË   z	nn.Moduler   r   r   )r   s   "r   r    r¤  Ã  s   € ÷ 1ñ 1˜yð 1¨Tñ 1r"   c                	óp  € \        V\        P                  4      '       dT   \        VP                  R R7       VP
                  e-   \        P                  P                  VP
                  ^ 4       R# R# \        V\        P                  4      '       dT   \        VP                  R R7       VP
                  e-   \        P                  P                  VP
                  ^ 4       R# R# \        V\        P                  \        P                  ,          4      '       d›   \        VR4      '       d9   VP
                  e+   \        P                  P                  VP
                  ^ 4       \        VR4      '       d=   VP                  e-   \        P                  P                  VP                  R4       R# R# R# R# )r&   r'   Nr%   r4   rÆ   )rÈ   r   r)  r   r4   r%   r3   r5   r.   r€   Ú	GroupNormÚhasattrrÊ   s   &&r   r¯  ÚFDAT._init_weightsÃ  s  € Ü�aœŸ™×#Ò#Ü˜!Ÿ(™(¨Õ-Ø�v‰vÒ!Ü—‘×!Ñ! !§&¡&¨!Ö,ñ "ä˜œ2Ÿ9™9×%Ò%Ü˜!Ÿ(™(¨Õ-Ø�v‰vÒ!Ü—‘×!Ñ! !§&¡&¨!Ö,ñ "ä˜œ2Ÿ<™<¬"¯,©,Õ6×7Ò7Ü�q˜&×!Ò! a§f¡fÒ&8Ü—‘×!Ñ! !§&¡&¨!Ô,Ü�q˜(×#Ò#¨¯©Ò(<Ü—‘×!Ñ! !§(¡(¨CÖ0ñ )=Ñ#ñ 8r"   c               ó(   € V ^8„  d   QhRRRRRRRR/# )r   rP   r   rL   r   Úwr   r   )r   s   "r   r    r¤  Ò  s.   € ÷ Añ A ð A¨3ð A°3ð A¸6ñ Ar"   c                	ó0  € V P                   ^ 8X  d   V# V P                   W P                   ,          ,
          V P                   ,          pV P                   W0P                   ,          ,
          V P                   ,          p\        P                   ! V^ V^ V3R4      # )r   Úreflect)r¶   rc   )r8   rP   rL   rÂ  Ú	mod_pad_hÚ	mod_pad_ws   &&&&  r   Úcheck_img_sizeÚFDAT.check_img_sizeÒ  sh   € Ø�8‰8�qŒ=ØˆHØ—X‘X §H¡H¥Õ,°·±Õ8ˆ	Ø—X‘X §H¡H¥Õ,°·±Õ8ˆ	Ü�uŠu�Q˜˜I q¨)Ð4°iÓ@Ð@r"   c               ó    € V ^8„  d   QhRRRR/# rO   r   )r   s   "r   r    r¤  Ù  s   € ÷ Cñ C˜ð C Fñ Cr"   c                	ó:  € VP                   w  r#rEV P                  WV4      pV P                  V4      pV P                  V4      pV P	                  V4      pV P                  Wv,           4      pVR R RW@P                  ,          1RWPP                  ,          13,          # )r�   N)r]   rÇ  r©  r   r¬  r­  r§  )	r8   rP   Ú_bÚ_crL   rÂ  Ú	x_shallowÚx_deepÚx_outs	   &&       r   rr   ÚFDAT.forwardÙ  sŠ   € Ø—w‘w‰ˆ�Ø×Ñ  aÓ(ˆØ—O‘O AÓ&ˆ	Ø—‘˜YÓ'ˆØ—‘ Ó(ˆØ—‘˜vÕ1Ó2ˆØ�Q˜Ð-˜Q§¡Õ-Ð-Ð/A°·\±\Õ1AÐ/AÐAÕBÐBr"   )r¬  r©  r   r¡  r“   r¶   r­  r§  )rw   rx   ry   rz   Úhyperparametersr,   r¸  r¯  rÇ  rr   r|   r}   r~   s   @r   r–  r–  x  sÖ   ø† à€Oð<'ð ð<'ð ð	<'ð
 ð<'ð ð<'ð ð<'ð  !ð<'ð ð<'ð ð<'ð &)ð<'ð $%ð<'ð 15ð<'ð !$ð<'ð ð<'ð  '7ð!<'ð" ð#<'ð$ $÷%<'ò <'÷|Dð Dõ1õA÷Có Cr"   r–  )rü   r  r  r  r  ))Ú
__future__r   r  Útypingr   Únumpyr·   rE   Útorch.nn.functionalr   rÝ   rc   Úeinopsr   r   Útorch.nn.initr   Útorch.nn.modules.moduler	   Ú#spandrel.__helpers.model_descriptorr
   Úspandrel.utilr   Úspandrel.util.timmr   r  r  ÚModuler   r€   r›   r÷   r³   r  r$  r:  rE  rW  rj  r„  r–  r   r"   r   Ú<module>rÝ     s;  ðå "ã Ý ã Û ß Ð Ý ß Ý 'Ý 5å 9Ý /Ý 'àðõ€
ð �jÐ"2°E¸7ÐBÕC€ôTˆr�y‰yô TônI�—	‘	ô Iô&Pˆb�i‰iô Pôf#ˆ�‰ô #ôT
�B—M‘Mô T
ôp3 §¡ô 3ôl
˜2Ÿ9™9ô 
ô00�B—I‘Iô 0ô<(�B—I‘Iô (ô.!˜Ÿ™ô !ôHE˜bŸi™iô Eñ* ÓôgCˆ2�9‰9ó gCó ògCr"   