+
    üäûjÔt  ã                   ó<  € ^ RI t ^ RIt^ RIt^ RIHt ^ RIHu Ht ^ RI	H
t
 ^ RIHt ^ RIHt ^ RIHt ^ RIHt R tR t ! R	 R
]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P<                  4      t]! 4        ! R R]P*                  4      4       t R# )é    N)Ú	rearrange)Ú	Rearrange)Ú
functional)Ústore_hyperparameters)ÚDropPathc                óÜ   € V P                   w  r4rVV P                  W4WQ,          WV,          V4      pVP                  ^ ^^^^^4      P                  4       P	                  RW,          V4      pV# )z?
Input: Image (B, C, H, W)
Output: Window Partition (B', N, C)
éÿÿÿÿ)ÚshapeÚviewÚpermuteÚ
contiguousÚreshape)	ÚimgÚH_spÚW_spÚBÚCÚHÚWÚimg_reshapeÚimg_perms	   &&&      ÚaC:\Ai_Coding\apps\studio\ComfyUI\.venv\Lib\site-packages\spandrel\architectures\RGT\__arch\rgt.pyÚimg2windowsr      sj   € ð
 —‘�J€Aˆ!Ø—(‘(˜1 ¥¨D°tµ)¸TÓB€Kà×Ñ˜A˜q ! Q¨¨1Ó-×8Ñ8Ó:×BÑBÀ2ÀtÅ{ÐTUÓVð ð €Oó    c                ó   € \        V P                  ^ ,          W4,          V,          V,          ,          4      pV P                  WSV,          WB,          WR4      pVP                  ^ ^^^^^4      P	                  4       P                  WSVR4      pV# )z?
Input: Window Partition (B', N, C)
Output: Image (B, H, W, C)
r	   )Úintr
   r   r   r   )Úimg_splits_hwr   r   r   r   r   r   s   &&&&&  r   Úwindows2imgr      sz   € ô
 	ˆM×Ñ Õ" a¥e¨d¥l°TÕ&9Õ:Ó;€Aà
×
Ñ
˜Q T¥	¨1­9°dÀ"Ó
E€CØ
�+‰+�a˜˜A˜q ! QÓ
'×
2Ñ
2Ó
4×
9Ñ
9¸!ÀÀ2Ó
F€CØ€Jr   c                   ó8   a a€ ] tR t^(t oV 3R ltR tRtVtV ;t# )ÚGatec           	     óš   <€ \         SV `  4        \        P                  ! V4      V n        \        P
                  ! W^^^VR7      V n        R# )é   ©Úkernel_sizeÚstrideÚpaddingÚgroupsN)ÚsuperÚ__init__ÚnnÚ	LayerNormÚnormÚConv2dÚconv)ÚselfÚdimÚ	__class__s   &&€r   r)   ÚGate.__init__)   s9   ø€ Ü‰ÑÔÜ—L’L Ó%ˆŒ	Ü—I’IØ !¨A°qÀô
ˆŽ	r   c                ó^  € VP                  ^RR7      w  rEVP                  w  rgpV P                  V P                  V4      P	                  ^^4      P                  4       P                  Wh^,          W#4      4      P                  ^4      P	                  RR4      P                  4       pWE,          # )é   ©r0   r	   éþÿÿÿ)Úchunkr
   r.   r,   Ú	transposer   r   Úflatten)	r/   Úxr   r   Úx1Úx2r   Ú_Nr   s	   &&&&     r   ÚforwardÚGate.forward0   s‰   € à—‘˜ �Ó#‰ˆØ—7‘7‰ˆˆqà�I‰I�d—i‘i “m×-Ñ-¨a°Ó3×>Ñ>Ó@×EÑEÀaÈaÍÐQRÓVÓWß‰W�Q‹Zß‰Y�r˜2Óß‰Z‹\ð	 	ð �wˆr   )r.   r,   )	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r)   r>   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r1   Ú__classdict__s   @@r   r    r    (   s   ù‡ € õ
÷ò r   r    c                   óX   a a€ ] tR t^>t oRR]P
                  R3V 3R lltR tRtVt	V ;t
# )ÚMLPNç        c                óL  <€ \         SV `  4        T;'       g    TpT;'       g    Tp\        P                  ! W4      V n        V! 4       V n        \        V^,          4      V n        \        P                  ! V^,          V4      V n        \        P                  ! V4      V n
        R# )r4   N)r(   r)   r*   ÚLinearÚfc1Úactr    ÚsgÚfc2ÚDropoutÚdrop)r/   Úin_featuresÚhidden_featuresÚout_featuresÚ	act_layerrS   r1   s   &&&&&&€r   r)   ÚMLP.__init__?   s{   ø€ ô 	‰ÑÔØ#×2Ð2 {ˆØ)×8Ð8¨[ˆÜ—9’9˜[Ó:ˆŒÙ“;ˆŒÜ�¨!Õ+Ó,ˆŒÜ—9’9˜_°Õ1°<Ó@ˆŒÜ—J’J˜tÓ$ˆŽ	r   c                óö   € V P                  V4      pV P                  V4      pV P                  V4      pV P                  WV4      pV P                  V4      pV P	                  V4      pV P                  V4      pV# )z4
Input: x: (B, H*W, C), H, W
Output: x: (B, H*W, C)
)rN   rO   rS   rP   rQ   )r/   r:   r   r   s   &&&&r   r>   ÚMLP.forwardP   sg   € ð
 �H‰H�Q‹KˆØ�H‰H�Q‹KˆØ�I‰I�a‹Lˆà�G‰G�A˜!ÓˆØ�I‰I�a‹Lˆà�H‰H�Q‹KˆØ�I‰I�a‹LˆØˆr   )rO   rS   rN   rQ   rP   )r@   rA   rB   rC   r*   ÚGELUr)   r>   rD   rE   rF   rG   s   @@r   rJ   rJ   >   s&   ù‡ € ð ØØ—'‘'Ø÷%÷"ò r   rJ   c                   ó<   a a€ ] tR t^at oRtV 3R ltR tRtVtV ;t	# )ÚDynamicPosBiaszÃDynamic Relative Position Bias.
Args:
    dim (int): Number of input channels.
    num_heads (int): Number of attention heads.
    residual (bool):  If True, use residual strage to connect conv.
c                óz  <€ \         SV `  4        W0n        W n        V^,          V n        \
        P                  ! ^V P                  4      V n        \
        P                  ! \
        P                  ! V P                  4      \
        P                  ! RR7      \
        P                  ! V P                  V P                  4      4      V n        \
        P                  ! \
        P                  ! V P                  4      \
        P                  ! RR7      \
        P                  ! V P                  V P                  4      4      V n        \
        P                  ! \
        P                  ! V P                  4      \
        P                  ! RR7      \
        P                  ! V P                  V P                  4      4      V n        R# )é   T©ÚinplaceN)r(   r)   ÚresidualÚ	num_headsÚpos_dimr*   rM   Úpos_projÚ
Sequentialr+   ÚReLUÚpos1Úpos2Úpos3)r/   r0   rc   rb   r1   s   &&&&€r   r)   ÚDynamicPosBias.__init__j   s  ø€ Ü‰ÑÔØ ŒØ"ŒØ˜a•xˆŒÜŸ	š	 ! T§\¡\Ó2ˆŒÜ—M’MÜ�LŠL˜Ÿ™Ó&Ü�GŠG˜DÔ!Ü�IŠI�d—l‘l D§L¡LÓ1ó
ˆŒ	ô
 —M’MÜ�LŠL˜Ÿ™Ó&Ü�GŠG˜DÔ!Ü�IŠI�d—l‘l D§L¡LÓ1ó
ˆŒ	ô
 —M’MÜ�LŠL˜Ÿ™Ó&Ü�GŠG˜DÔ!Ü�IŠI�d—l‘l D§N¡NÓ3ó
ˆŽ	r   c           	     óJ  € V P                   '       dS   V P                  V4      pW P                  V4      ,           pW P                  V4      ,           pV P	                  V4      pV# V P	                  V P                  V P                  V P                  V4      4      4      4      pV# ©N)rb   re   rh   ri   rj   )r/   ÚbiasesÚposs   && r   r>   ÚDynamicPosBias.forward€   s}   € Ø�=�=ˆ=Ø—-‘- Ó'ˆCØŸ	™	 #›Õ&ˆCØŸ	™	 #›Õ&ˆCØ—)‘)˜C“.ˆCð ˆ
ð —)‘)˜DŸI™I d§i¡i°·±¸fÓ0EÓ&FÓGÓHˆCØˆ
r   )rc   rh   ri   rj   rd   re   rb   ©
r@   rA   rB   rC   Ú__doc__r)   r>   rD   rE   rF   rG   s   @@r   r]   r]   a   s   ù‡ € ñõ
÷,ò r   r]   c                   óX   a a€ ] tR t^‹t o^^.R^RRRR3V 3R lltR tRR ltRtVtV ;t	# )	ÚWindowAttentionNrK   Tc
                óÌ  <€ \         SV `  4        Wn        T;'       g    TV n        W0n        WPn        W n        W�n        W,          p
T;'       g
    V
R,          V n        V^ 8X  d'   V P                  ^ ,          V P                  ^,          rËM;V^8X  d'   V P                  ^ ,          V P                  ^,          r¼M\        RV 24      hW°n
        WÀn        V P                  '       Edd   \        V P                  ^,          V P
                  RR7      V n        \        P                  ! ^V P                  ,
          V P                  4      p\        P                  ! ^V P                  ,
          V P                  4      p\        P                   ! \        P"                  ! WÞ.4      4      pVP%                  ^4      P'                  ^ ^4      P)                  4       P+                  4       pV P-                  RV4       \        P                  ! V P                  4      p\        P                  ! V P                  4      p\        P                   ! \        P"                  ! VV.4      4      p\        P$                  ! V^4      pVR,          VR	,          ,
          pVP/                  ^^^ 4      P)                  4       pVR
;;,          V P                  ^,
          ,          uu&   VR;;,          V P                  ^,
          ,          uu&   VR
;;,          ^V P                  ,          ^,
          ,          uu&   VP1                  R4      pV P-                  RV4       \2        P4                  ! V4      V n        R# )ç      à?zERROR MODE: F)rb   Ú
rpe_biasesNÚrelative_position_indexç      à¿)ºNNNrz   N)rz   Nrz   )rz   rz   r   )rz   rz   é   r	   )r(   r)   r0   Údim_outÚ
split_sizerc   ÚidxÚposition_biasÚscaleÚ
ValueErrorr   r   r]   ro   ÚtorchÚarangeÚstackÚmeshgridr9   r8   r   ÚfloatÚregister_bufferr   Úsumr*   rR   Ú	attn_drop)r/   r0   r~   r}   r|   rc   r‰   Ú	proj_dropÚqk_scaler   Úhead_dimr   r   Úposition_bias_hÚposition_bias_wrn   Úcoords_hÚcoords_wÚcoordsÚcoords_flattenÚrelative_coordsrx   r1   s   &&&&&&&&&&            €r   r)   ÚWindowAttention.__init__Œ   sh  ø€ ô 	‰ÑÔØŒØ—~�~ #ˆŒØ$ŒØ"ŒØŒØ*ÔàÕ#ˆØ×/Ð/ ¨4¥ˆŒ
à�!Œ8ØŸ™¨Õ+¨T¯_©_¸QÕ-?‘$Ø�AŒXØŸ™¨Õ+¨T¯_©_¸QÕ-?‘$ä˜|¨C¨5Ð1Ó2Ð2ØŒ	ØŒ	à××ÑÜ% d§h¡h°!¥m°T·^±^ÈeÔTˆDŒHä#Ÿlšl¨1¨t¯y©y­=¸$¿)¹)ÓDˆOÜ#Ÿlšl¨1¨t¯y©y­=¸$¿)¹)ÓDˆOÜ—[’[¤§¢°Ð0RÓ!SÓTˆFØ—^‘^ AÓ&×0Ñ0°°AÓ6×AÑAÓC×IÑIÓKˆFØ× Ñ  ¨vÔ6ô —|’| D§I¡IÓ.ˆHÜ—|’| D§I¡IÓ.ˆHÜ—[’[¤§¢°¸8Ð0DÓ!EÓFˆFÜ"Ÿ]š]¨6°1Ó5ˆNØ,¨ZÕ8¸>È*Õ;UÕUˆOØ-×5Ñ5°a¸¸AÓ>×IÑIÓKˆOØ˜G×$¨¯	©	°A­Õ5Ó$Ø˜G×$¨¯	©	°A­Õ5Ó$Ø˜G×$¨¨D¯I©I­¸Õ(9Õ9Ó$Ø&5×&9Ñ&9¸"Ó&=Ð#Ø× Ñ Ð!:Ð<SÔTäŸš IÓ.ˆŽr   c                ó–  € VP                   w  rEpVP                  RR4      P                  4       P                  WFW#4      p\	        WP
                  V P                  4      pVP                  RV P
                  V P                  ,          V P                  W`P                  ,          4      P                  ^ ^^^4      P                  4       pV# )r4   r6   r	   )
r
   r8   r   r   r   r   r   r   rc   r   )r/   r:   r   r   r   r=   r   s   &&&&   r   Úim2winÚWindowAttention.im2winÄ   s–   € Ø—7‘7‰ˆˆqØ�K‰K˜˜BÓ×*Ñ*Ó,×1Ñ1°!¸Ó=ˆÜ˜Ÿ9™9 d§i¡iÓ0ˆà�I‰I�b˜$Ÿ)™) d§i¡iÕ/°·±ÀÇnÁnÕATÓUß‰W�Q˜˜1˜aÓ ß‰Z‹\ð 	
ð
 ˆr   c                ó6  € V^ ,          V^,          V^,          rvpVP                   w  r‰p
W’V,          8X  g   Q R4       hV P                  WRV4      pV P                  WbV4      pV P                  WrV4      pWPP                  ,          pWVP                  RR4      ,          pV P                  '       d¼   V P                  V P                  4      pWÀP                  P                  R4      ,          P                  V P                  V P                  ,          V P                  V P                  ,          R4      pVP                  ^^ ^4      P                  4       pW½P                  ^ 4      ,           pVP                   ^,          pVes   VP                   ^ ,          pVP                  W�V P                  Wî4      VP                  ^4      P                  ^ 4      ,           pVP                  RV P                  Wî4      p\        P                   P#                  VRVP$                  R7      pV P'                  V4      pW·,          pVP                  ^^4      P)                  RV P                  V P                  ,          V
4      p\+        VV P                  V P                  W#4      pV# )z]
Input: qkv: (B, 3*L, C), H, W, mask: (B, N, N), N is the window size
Output: x (B, H, W, C)
ú!flatten img_tokens has wrong size)r0   Údtyper6   r	   )r
   r–   r€   r8   r   ro   rw   rx   r   r   r   r   r   Ú	unsqueezerc   r*   r   Úsoftmaxrš   r‰   r   r   )r/   Úqkvr   r   ÚmaskÚqÚkÚvr   ÚLr   Úattnro   Úrelative_position_biasÚNÚnWr:   s   &&&&&            r   r>   ÚWindowAttention.forwardÏ   s  € ð
 �a•&˜#˜a�& # a¥&ˆaˆà—'‘'‰ˆˆaØ˜•EŒzÐ>Ð>Ó>ˆzð �K‰K˜˜aÓ ˆØ�K‰K˜˜aÓ ˆØ�K‰K˜˜aÓ ˆà—
‘
�NˆØ—;‘;˜r 2Ó&Õ&ˆð ××ÐØ—(‘(˜4Ÿ?™?Ó+ˆCà%(×)EÑ)E×)JÑ)JÈ2Ó)NÕ%O×%TÑ%TØ—	‘	˜DŸI™IÕ% t§y¡y°4·9±9Õ'<¸bó&Ð"ð &<×%CÑ%CØ�1�aó&ç‰j‹lð #ð ×:Ñ:¸1Ó=Õ=ˆDà�J‰J�q�Mˆð ÒØ—‘˜A•ˆBØ—9‘9˜Q D§N¡N°AÓ9¸D¿N¹NÈ1Ó<M×<WÑ<WØó=õ ˆDð —9‘9˜R §¡°Ó6ˆDä�}‰}×$Ñ$ T¨r¸¿¹Ð$ÓDˆØ�~‰~˜dÓ#ˆà�HˆØ�K‰K˜˜1Ó×%Ñ%Ø�—	‘	˜DŸI™IÕ% qó
ˆô
 ˜˜4Ÿ9™9 d§i¡i°Ó6ˆàˆr   )r   r   r‰   r0   r|   r~   rc   ro   r   r€   r}   rm   )
r@   rA   rB   rC   r)   r–   r>   rD   rE   rF   rG   s   @@r   rt   rt   ‹   s5   ù‡ € ð
 �q�6ØØØØØØ÷6/òp	÷3ô 3r   rt   c            	       ó\   a a€ ] tR tRt o^^.^^.RRRR^ ^@^ 3	V 3R lltR tR tRtVtV ;t	# )	ÚL_SAi  FNrK   c                ó@  <€ \         SV `  4        Wn        W n        W0n        W@n        W�n        W°n        W n        \        P                  ! W^,          VR7      V n        ^ V P
                  ^ ,          u;8:  d    V P                  ^ ,          8  g    Q R4       h Q R4       h^ V P
                  ^,          u;8:  d    V P                  ^,          8  g    Q R4       h Q R4       h^V n        \        P                  ! W4      V n        \        P                  ! V4      V n        \        P                   ! \#        V P                  4       Uu. uF,  p\%        V^,          VVV^,          V^,          VVVRR7	      NK.  	  up4      V n        V P                  ^,          ^ 8X  d1   V P                  ^ 8”  d    V P                  ^,
          ^,          ^ 8X  g1   V P                  ^,          ^ 8w  dr   V P                  ^,          ^ 8X  dZ   V P)                  V P                  V P                  4      pV P+                  RV^ ,          4       V P+                  RV^,          4       M&RpV P+                  RR4       V P+                  RR4       \        P,                  ! W^^^VR	7      V n        R# u upi )
r"   ©Úbiasz shift_size must in 0-split_size0z shift_size must in 0-split_size1T)r~   r}   rc   r|   r‹   r‰   rŠ   r   Úattn_mask_0Úattn_mask_1Nr#   )r(   r)   r0   rc   r}   Ú
shift_sizer~   Úrs_idÚpatches_resolutionr*   rM   r�   Ú
branch_numÚprojrR   rŠ   Ú
ModuleListÚrangert   ÚattnsÚcalculate_maskr‡   r-   Úget_v)r/   r0   rc   r}   r¯   Úqkv_biasr‹   rS   r‰   r~   Úresor°   ÚiÚ	attn_maskr1   s   &&&&&&&&&&&&  €r   r)   ÚL_SA.__init__  s:  ø€ ô 	‰ÑÔØŒØ"ŒØ$ŒØ$ŒØŒØŒ
Ø"&ÔÜ—9’9˜S¨¥'°Ô9ˆŒð �—‘ Õ#Ö8 d§o¡o°aÕ&8Õ8ð	.à-ó	.Ù8ð	.à-ó	.Ø8ð �—‘ Õ#Ö8 d§o¡o°aÕ&8Õ8ð	.à-ó	.Ù8ð	.à-ó	.Ø8ð ˆŒä—I’I˜cÓ'ˆŒ	ÜŸš DÓ)ˆŒä—]’]ô ˜tŸ™Ô/óñ 0�Aô  Ø˜1•HØØ)Ø'¨1�nØ 1�HØ%Ø'Ø"Ø"&÷
ñ 0ñó
ˆŒ
ð" �J‰J˜�N˜aÔ D§H¡H¨q¤L°d·h±hÀµlÀaÕ5GÈ1Ô5LØ�J‰J˜�N˜aÔ D§H¡H¨q¥L°AÔ$5à×+Ñ+Ø×'Ñ'¨×)@Ñ)@óˆIð × Ñ  °	¸!µÔ=Ø× Ñ  °	¸!µÕ=àˆIà× Ñ  °Ô5Ø× Ñ  °Ô5ä—Y’YØ !¨A°qÀô
ˆŽ
ùò?s   Å2Jc                ót	  € \         P                  ! ^W^34      p\         P                  ! ^W^34      p\        ^ V P                  ^ ,          ) 4      \        V P                  ^ ,          ) V P                  ^ ,          ) 4      \        V P                  ^ ,          ) R4      3p\        ^ V P                  ^,          ) 4      \        V P                  ^,          ) V P                  ^,          ) 4      \        V P                  ^,          ) R4      3p\        ^ V P                  ^,          ) 4      \        V P                  ^,          ) V P                  ^,          ) 4      \        V P                  ^,          ) R4      3p\        ^ V P                  ^ ,          ) 4      \        V P                  ^ ,          ) V P                  ^ ,          ) 4      \        V P                  ^ ,          ) R4      3p^ p	V F  p
V F  pW“RW«R3&   V	^,          p	K  	  K  	  ^ p	V F  p
V F  pW”RW«R3&   V	^,          p	K  	  K  	  VP                  ^WP                  ^ ,          ,          V P                  ^ ,          W P                  ^,          ,          V P                  ^,          ^4      pVP                  ^ ^^^^^4      P                  4       P                  RV P                  ^ ,          V P                  ^,          ^4      pVP                  RV P                  ^ ,          V P                  ^,          ,          4      pVP                  ^4      VP                  ^4      ,
          pVP                  V^ 8g  R4      P                  V^ 8H  R4      pVP                  ^WP                  ^,          ,          V P                  ^,          W P                  ^ ,          ,          V P                  ^ ,          ^4      pVP                  ^ ^^^^^4      P                  4       P                  RV P                  ^,          V P                  ^ ,          ^4      pVP                  RV P                  ^,          V P                  ^ ,          ,          4      pVP                  ^4      VP                  ^4      ,
          pVP                  V^ 8g  R4      P                  V^ 8H  R4      pWß3# )r{   Nrz   rK   r	   g      YÀ)
r‚   ÚzerosÚslicer}   r¯   r   r   r   r›   Úmasked_fill)r/   r   r   Ú
img_mask_0Ú
img_mask_1Ú
h_slices_0Ú
w_slices_0Ú
h_slices_1Ú
w_slices_1ÚcntÚhÚwÚmask_windows_0r­   Úmask_windows_1r®   s   &&&             r   r·   ÚL_SA.calculate_maskO  s	  € ô —[’[ ! Q¨1 Ó.ˆ
Ü—[’[ ! Q¨1 Ó.ˆ
ä�!�d—o‘o aÕ(Ð(Ó)Ü�4—?‘? 1Õ%Ð%¨¯©¸Õ(:Ð':Ó;Ü�4—?‘? 1Õ%Ð% tÓ,ð
ˆ
ô �!�d—o‘o aÕ(Ð(Ó)Ü�4—?‘? 1Õ%Ð%¨¯©¸Õ(:Ð':Ó;Ü�4—?‘? 1Õ%Ð% tÓ,ð
ˆ
ô �!�d—o‘o aÕ(Ð(Ó)Ü�4—?‘? 1Õ%Ð%¨¯©¸Õ(:Ð':Ó;Ü�4—?‘? 1Õ%Ð% tÓ,ð
ˆ
ô �!�d—o‘o aÕ(Ð(Ó)Ü�4—?‘? 1Õ%Ð%¨¯©¸Õ(:Ð':Ó;Ü�4—?‘? 1Õ%Ð% tÓ,ð
ˆ
ð
 ˆÛˆAÛ�Ø),˜1˜a A˜:Ñ&Ø�q•’ó  ñ ð ˆÛˆAÛ�Ø),˜1˜a A˜:Ñ&Ø�q•’ó  ñ ð  —_‘_ØØ—‘ Õ#Õ#Ø�O‰O˜AÕØ—‘ Õ#Õ#Ø�O‰O˜AÕØó
ˆ
ð ×Ñ˜q ! Q¨¨1¨aÓ0ß‰Z‹\ß‰T�"�d—o‘o aÕ(¨$¯/©/¸!Õ*<¸aÓ@ð 	ð
 $Ÿ™¨¨T¯_©_¸QÕ-?À$Ç/Á/ÐRSÕBTÕ-TÓUˆØ$×.Ñ.¨qÓ1°N×4LÑ4LÈQÓ4OÕOˆØ!×-Ñ-¨k¸QÑ.>ÀÓG×SÑSØ˜1Ñ˜có
ˆð
  —_‘_ØØ—‘ Õ#Õ#Ø�O‰O˜AÕØ—‘ Õ#Õ#Ø�O‰O˜AÕØó
ˆ
ð ×Ñ˜q ! Q¨¨1¨aÓ0ß‰Z‹\ß‰T�"�d—o‘o aÕ(¨$¯/©/¸!Õ*<¸aÓ@ð 	ð
 $Ÿ™¨¨T¯_©_¸QÕ-?À$Ç/Á/ÐRSÕBTÕ-TÓUˆØ$×.Ñ.¨qÓ1°N×4LÑ4LÈQÓ4OÕOˆØ!×-Ñ-¨k¸QÑ.>ÀÓG×SÑSØ˜1Ñ˜có
ˆð Ð'Ð'r   c           
     óÊ  € VP                   w  rEpWRV,          8X  g   Q R4       hV P                  V4      P                  VR^V4      P                  ^^ ^^4      pV^,          P	                  RR4      P                  4       P                  WFW#4      p\        V P                  ^ ,          V P                  ^,          4      p	^ ;r«W“V	,          ,
          V	,          pW’V	,          ,
          V	,          pVP                  ^V,          W#V4      P                  ^ ^^^4      p\        P                  ! WzWËV34      P                  ^WFR4      P	                  RR4      pWÒ,           pWÃ,           pWï,          pV P                  ^,          ^ 8X  d1   V P                  ^ 8”  d    V P                  ^,
          ^,          ^ 8X  g3   V P                  ^,          ^ 8w  Edè   V P                  ^,          ^ 8X  EdÏ   VP                  ^WNWö4      p\        P                  ! VRRRRRV^,          13,          V P                  ^ ,          ) V P                  ^,          ) 3R	R7      pVP                  ^VVV^,          4      p\        P                  ! VRRRRV^,          R13,          V P                  ^,          ) V P                  ^ ,          ) 3R	R7      pVP                  ^VVV^,          4      pV P                   V8w  g   V P                   V8w  d‹   V P#                  Wï4      pV P$                  ^ ,          ! VWïV^ ,          P'                  VP(                  4      R7      pV P$                  ^,          ! VWïV^,          P'                  VP(                  4      R7      pMLV P$                  ^ ,          ! VWïV P*                  R7      pV P$                  ^,          ! VWïV P,                  R7      p\        P                  ! VV P                  ^ ,          V P                  ^,          3R
R7      p\        P                  ! VV P                  ^,          V P                  ^ ,          3R
R7      pVRRV1RV1R3,          P                  WEV^,          4      pVRRV1RV1R3,          P                  WEV^,          4      p\        P.                  ! VV.^R7      pMÂV P$                  ^ ,          ! VRRRRV^,          13,          Wï4      RRV1RV1R3,          P                  WEV^,          4      pV P$                  ^,          ! VRRRV^,          R13,          Wï4      RRV1RV1R3,          P                  WEV^,          4      p\        P.                  ! VV.^R7      pV P1                  V4      pVP                  ^ ^^^4      P                  4       P                  WEV4      pVV,           pV P3                  V4      pV P5                  V4      pV# )ú>
Input: x: (B, H*W, C), x_size: (H, W)
Output: x: (B, H*W, C)
r™   rz   N)ÚshiftsÚdims)rž   r5   r	   r6   )r4   r"   )r{   r4   )r
   r�   r   r   r8   r   r   Úmaxr}   ÚFÚpadr°   r~   r‚   Úrollr¯   r±   r·   r¶   ÚtoÚdevicer­   r®   Úcatr¸   r³   rŠ   )r/   r:   r   r   r   r¢   r   r�   r¡   Úmax_split_sizeÚpad_lÚpad_tÚpad_rÚpad_bÚ_HÚ_WÚ_LÚqkv_0Úqkv_1Úmask_tmpÚx1_shiftÚx2_shiftr;   r<   Ú	attened_xÚlcms   &&&&                      r   r>   ÚL_SA.forwardž  sþ  € ð —'‘'‰ˆˆaØ˜•EŒzÐ>Ð>Ó>ˆzà�h‰h�q‹k×!Ñ! ! R¨¨AÓ.×6Ñ6°q¸!¸QÀÓBˆà��F×Ñ˜R Ó$×/Ñ/Ó1×6Ñ6°q¸QÓBˆä˜TŸ_™_¨QÕ/°·±ÀÕ1CÓDˆØÐˆØ nÕ"4Õ4¸ÕFˆØ nÕ"4Õ4¸ÕFˆà�k‰k˜!˜a�%  qÓ)×1Ñ1°!°Q¸¸1Ó=ˆä�EŠE�#˜u¨UÐ3Ó4ß‰W�Q˜˜bÓ!ß‰Y�r˜2Óð 	ð
 �YˆØ�YˆØ�Wˆà�J‰J˜�N˜aÔ D§H¡H¨q¤L°d·h±hÀµlÀaÕ5GÈ1Ô5LØ�J‰J˜�N˜aÕ D§H¡H¨q¥L°AÕ$5à—(‘(˜1˜a RÓ+ˆCä—J’JØ�A�q˜!˜Q  ! q¥& Ð(Õ)ØŸ™¨Õ+Ð+¨d¯o©o¸aÕ.@Ð-@ÐAØôˆEð
 —J‘J˜q ! R¨¨a­Ó0ˆEä—J’JØ�A�q˜!˜Q  Q¥¡Ð(Õ)ØŸ™¨Õ+Ð+¨d¯o©o¸aÕ.@Ð-@ÐAØôˆEð
 —J‘J˜q ! R¨¨a­Ó0ˆEà×&Ñ&¨"Ô,°×0GÑ0GÈ2Ô0MØ×.Ñ.¨rÓ6�àŸ:™: až=¨°¸XÀa½[¿^¹^ÈAÏHÉHÓ=UÔV�àŸ:™: až=¨°¸XÀa½[¿^¹^ÈAÏHÉHÓ=UÔV‘ð  Ÿ:™: až=¨°¸T×=MÑ=MÔN�àŸ:™: až=¨°¸T×=MÑ=MÔN�ä—’Ø $§/¡/°!Õ"4°d·o±oÀaÕ6HÐ!IÐPVôˆBô —’Ø $§/¡/°!Õ"4°d·o±oÀaÕ6HÐ!IÐPVôˆBð �A�r˜�r˜2˜A˜2˜q�LÕ!×)Ñ)¨!°°QµÓ7ˆBØ�A�r˜�r˜2˜A˜2˜q�LÕ!×)Ñ)¨!°°QµÓ7ˆBäŸ	š	 2 r (°Ô2‰Ið —‘˜A–˜s 1 a¨¨H¨a°1­f¨HÐ#4Õ5°rÓ>¸qÀ"À1À"ÀbÀqÀbÈ!¸|ÕL×TÑTØ�a˜1•fóˆBð —‘˜A–˜s 1 a¨¨A°­F©HÐ#4Õ5°rÓ>¸qÀ"À1À"ÀbÀqÀbÈ!¸|ÕL×TÑTØ�a˜1•fóˆBô Ÿ	š	 2 r (°Ô2ˆIð �j‰j˜‹mˆØ�k‰k˜!˜Q  1Ó%×0Ñ0Ó2×7Ñ7¸¸aÓ@ˆà˜�Oˆà�I‰I�a‹LˆØ�N‰N˜1Óˆàˆr   )r¶   r²   r0   r¸   r~   rc   r±   r³   rŠ   r�   r°   r¯   r}   )
r@   rA   rB   rC   r)   r·   r>   rD   rE   rF   rG   s   @@r   r©   r©     sD   ù‡ € ð �q�6Ø�q�6ØØØØØØØ÷F
òPM(÷^[ò [r   r©   c                   ó@   a a€ ] tR tRt oRtRV 3R lltR tRtVtV ;t	# )ÚRG_SAiü  a  
Recursive-Generalization Self-Attention (RG-SA).
Args:
    dim (int): Number of input channels.
    num_heads (int): Number of attention heads.
    qkv_bias (bool, optional):  If True, add a learnable bias to query, key, value. Default: True
    qk_scale (float | None, optional): Override default qk scale of head_dim ** -0.5 if set
    attn_drop (float, optional): Dropout ratio of attention weight. Default: 0.0
    proj_drop (float, optional): Dropout ratio of output. Default: 0.0
    c_ratio (float): channel adjustment factor.
c           	     ó(  <€ \         S	V `  4        W,          ^ 8X  g   Q RV RV R24       hW n        W,          p\        W,          4      V n        T;'       g    W‡,          R	,          V n        \        P                  ! W^^VR7      V n        \        P                  ! W^^^VR7      V n	        \        P                  ! WP                  ^^R7      V n
        \        P                  ! \        P                  ! V P                  4      \        P                  ! 4       4      V n        \        P                  ! WP                  VR7      V n        \        P                  ! V P                  V P                  VR7      V n        \        P                  ! V P                  WR7      V n        \        P                  ! W^^^VR7      V n        \        P                  ! W4      V n        \        P*                  ! V4      V n        \        P*                  ! V4      V n        R# )
r   zdim z  should be divided by num_heads Ú.)r$   r%   r'   r#   )r$   r%   r«   Nry   )r(   r)   rc   r   Úcrr€   r*   r-   Ú
reduction1Údwconvr.   rf   r+   r[   Únorm_actrM   rŸ   r    r¡   Úcper³   rR   r‰   rŠ   )
r/   r0   rc   r¹   r‹   r‰   rŠ   Úc_ratiorŒ   r1   s
   &&&&&&&& €r   r)   ÚRG_SA.__init__	  su  ø€ ô 	‰ÑÔà�O˜qÔ ð	Dà�#�Ð6°y°kÀÐCó	DØ à"ŒØÕ#ˆä�c•mÓ$ˆŒð ×=Ð= (Õ"4¸Õ!=ˆŒ
ô Ÿ)š) C¸!ÀAÈcÔRˆŒÜ—i’iØ !¨A°qÀô
ˆŒô —I’I˜c§7¡7¸À!ÔDˆŒ	ÜŸš¤b§l¢l°4·7±7Ó&;¼R¿WºW»YÓGˆŒä—’˜3§¡¨hÔ7ˆŒÜ—’˜4Ÿ7™7 D§G¡G°(Ô;ˆŒÜ—’˜4Ÿ7™7 CÔ7ˆŒô —9’9˜S°1¸QÈÐRUÔVˆŒä—I’I˜cÓ'ˆŒ	ÜŸš IÓ.ˆŒÜŸš IÓ.ˆŽr   c           
     ó:  € VP                   w  rEp^pVP                  ^ ^^4      P                  WFW#4      P                  4       pV P                  '       dX   \        \        \        P                  ! V^,          ^4      4      \        \        P                  ! V^,          ^4      4      4      p	M_\        \        \        P                  ! V^,          ^4      4      \        \        P                  ! V^,          ^4      4      4      p	V	^8  d   ^p	^V	,          p\        V	4       F  p
V P                  V4      pK  	  V P                  V P                  V4      4      P                  W@P                  R4      P                  ^ ^^4      P                  4       pV P                  V4      pV P                  V4      P                  WEV P                   \        V P                  V P                   ,          4      4      P                  ^ ^^^4      pV P#                  V4      P                  VRV P                   \        V P                  V P                   ,          4      4      P                  ^ ^^^4      pV P%                  V4      P                  VRV P                   \        W`P                   ,          4      4      P                  ^ ^^^4      pW¼P'                  RR4      ,          V P(                  ,          pVP+                  RR7      pV P-                  V4      pWÐP/                  VP'                  ^^4      P                  VRV4      P'                  ^^4      P                  4       P1                  WFW',          W7,          4      4      P1                  WFR4      P1                  W@P                   \        W`P                   ,          4      R4      P'                  RR4      ,           pWí,          P'                  ^^4      P                  WEV4      pV P3                  V4      pV P5                  V4      pV# )r{   r5   r	   r6   )r
   r   r   r   ÚtrainingrÒ   r   ÚmathÚlogrµ   rî   r.   rï   rí   rð   rŸ   rc   r    r¡   r8   r€   rœ   r‰   rñ   r   r³   rŠ   )r/   r:   r   r   r   r¥   r   Ú_scaleÚ_xÚ_timeÚ_rŸ   r    r¡   r£   s   &&&&           r   r>   ÚRG_SA.forward2  s  € Ø—'‘'‰ˆˆaàˆð �Y‰Y�q˜!˜QÓ×'Ñ'¨¨aÓ3×>Ñ>Ó@ˆà�=�=ˆ=ÜœœDŸHšH Q¨!¥V¨QÓ/Ó0´#´d·h²h¸qÀA½vÀqÓ6IÓ2JÓK‰EäœœDŸHšH Q¨"¥W¨aÓ0Ó1´3´t·x²xÀÀRÅÈÓ7KÓ3LÓMˆEØ�qŒyØ�à�E•ˆô �u–ˆAØ—‘ Ó$ŠBñ ð �I‰I�d—k‘k "“oÓ&ß‰W�QŸ™ Ó$ß‰W�Q˜˜1Óß‰Z‹\ð	 	ð �]‰]˜2Óˆð �F‰F�1‹Iß‰W�Q˜4Ÿ>™>¬3¨t¯w©w¸¿¹Õ/GÓ+HÓIß‰W�Q˜˜1˜aÓ ð 	
ð �F‰F�2‹Jß‰W�Q˜˜DŸN™N¬C°·±¸$¿.¹.Õ0HÓ,IÓJß‰W�Q˜˜1˜aÓ ð 	
ð �F‰F�2‹Jß‰W�Q˜˜DŸN™N¬C°·N±NÕ0BÓ,CÓDß‰W�Q˜˜1˜aÓ ð 	
ð —K‘K  BÓ'Õ'¨4¯:©:Õ5ˆØ�|‰| ˆ|Ó#ˆØ�~‰~˜dÓ#ˆð —‘Ø�K‰K˜˜1Óß‰W�Q˜˜AÓß‰Y�q˜!‹_ß‰Z‹\ß‰T�!˜� Q¥[Ó1ó
÷ ‰$ˆq�R‹.Ÿ™˜a§¡´°Q¿¹Õ5GÓ1HÈ"ÓMÏiÉiØ�óO
õ
ˆð �X× Ñ   AÓ&×.Ñ.¨q°QÓ7ˆØ�I‰I�a‹LˆØ�N‰N˜1Óˆàˆr   )r‰   r.   rñ   rí   rï   r    rð   rc   r³   rŠ   rŸ   rî   r€   r¡   )é   FNrK   rK   rv   rq   rG   s   @@r   rê   rê   ü  s   ù‡ € ñ
÷'/÷RCò Cr   rê   c                   óŠ   a a€ ] tR tRt oRRRRRR]P
                  ]P                  ^ ^ ^^.^^.^@RR3V 3R lltR	 tR
t	Vt
V ;t# )ÚBlockix  ç      @FNrK   rv   g-Cëâ6?c                óì  <€ \         SV `  4        V
! V4      V n        V^,          ^ 8X  d   \        VVVVVVVVVVVR7      V n        M\        VVVVVVVR7      V n        VR8”  d   \        V4      M\        P                  ! 4       V n	        \        W,          4      p\        VVVV	R7      V n        V
! V4      V n        \        P                  ! V\        P                   ! V4      ,          RR7      V n        R# )r4   )
r}   r¯   rc   r¹   r‹   r‰   rS   r~   rº   r°   )rc   r¹   r‹   r‰   rŠ   rò   rK   )rT   rU   rV   rW   T)Úrequires_gradN)r(   r)   Únorm1r©   r£   rê   r   r*   ÚIdentityÚ	drop_pathr   rJ   ÚmlpÚnorm2Ú	Parameterr‚   ÚonesÚgamma)r/   r0   rc   Ú	mlp_ratior¹   r‹   rS   r‰   r  rW   Ú
norm_layerr~   r°   r}   r¯   rº   rò   Úlayerscale_valueÚmlp_hidden_dimr1   s   &&&&&&&&&&&&&&&&&& €r   r)   ÚBlock.__init__y  sç   ø€ ô( 	‰ÑÔÙ “_ˆŒ
Ø��7�aŒ<ÜØØ%Ø%Ø#Ø!Ø!Ø#ØØØØôˆD�Iô ØØ#Ø!Ø!Ø#ØØôˆDŒIð 1:¸C´œ )Ô,ÄRÇ[Â[Ã]ˆŒä˜S�_Ó-ˆÜØØ*ØØô	
ˆŒñ   “_ˆŒ
ô —\’\ØœuŸzšz¨#›Õ.¸dô
ˆŽ
r   c                ó  € Vw  r4TpWP                  V P                  V P                  V4      W44      4      ,           pWP                  V P                  V P	                  V4      W44      4      ,           pWV P
                  ,          ,           pV# rm   )r  r£   r  r  r  r
  )r/   r:   Úx_sizer   r   Úress   &&&   r   r>   ÚBlock.forward·  sn   € Ø‰ˆàˆà—‘˜tŸy™y¨¯©°A«¸Ó=Ó>Õ>ˆØ—‘˜tŸx™x¨¯
©
°1«°qÓ<Ó=Õ=ˆð �t—z‘zÕ!Õ"ˆàˆr   )r£   r  r
  r  r  r  ©r@   rA   rB   rC   r*   r[   r+   r)   r>   rD   rE   rF   rG   s   @@r   rÿ   rÿ   x  sT   ù‡ € ð
 ØØØØØØ—'‘'Ø—<‘<ØØØ�q�6Ø�q�6ØØØ÷%<
÷|ò r   rÿ   c                   ó„   a a€ ] tR tRt oRRRRRR]P
                  ]P                  ^RR^ ^^.R3V 3R lltR	 tR
t	Vt
V ;t# )ÚResidualGroupiÅ  r   FNrK   Ú1convrv   c                óä  <€ \         SV `  4        WÐn        W n        \        P
                  ! \        V4       Uu. uFB  p\        VVVVVVVV	V,          V
VVVVV^ ,          ^,          V^,          ^,          .VR7      NKD  	  up4      V n        VR8X  d!   \        P                  ! W^^^4      V n
        R# VR8X  d±   \        P                  ! \        P                  ! W^,          ^^^4      \        P                  ! RRR7      \        P                  ! V^,          V^,          ^^^ 4      \        P                  ! RRR7      \        P                  ! V^,          V^^^4      4      V n
        R# R# u upi )r   )r0   rc   r  r¹   r‹   rS   r‰   r  rW   r  r~   r°   r}   r¯   rò   r  Ú3convçš™™™™™É?T©Únegative_slopera   N)r(   r)   Úuse_chkrº   r*   r´   rµ   rÿ   Úblocksr-   r.   rf   Ú	LeakyReLU)r/   r0   rº   rc   r  r¹   r‹   rS   r‰   Ú
drop_pathsrW   r  Údepthr  Úresi_connectionr°   r}   rò   r»   r1   s   &&&&&&&&&&&&&&&&&& €r   r)   ÚResidualGroup.__init__Æ  sD  ø€ ô( 	‰ÑÔØŒØŒ	ä—m’mô& ˜uœó%ñ$ &�Aô# ØØ'Ø'Ø%Ø%ØØ'Ø(¨�mØ'Ø)ØØØ)Ø *¨1¥°Õ 2°J¸qµMÀQÕ4FÐGØ#÷ñ" &ñ%ó
ˆŒð. ˜gÔ%ÜŸ	š	 #¨A¨q°!Ó4ˆDŽIØ Ô'ÜŸšÜ—	’	˜# a�x¨¨A¨qÓ1Ü—’¨C¸Ô>Ü—	’	˜# �( C¨1¥H¨a°°AÓ6Ü—’¨C¸Ô>Ü—	’	˜# �( C¨¨A¨qÓ1óˆDŽIñ (ùò1s   ¹AE-c                ó  € Vw  r4TpV P                    F6  pV P                  '       d   \        P                  ! WaV4      pK.  V! W4      pK8  	  \        VRW4R7      pV P	                  V4      p\        VR4      pWQ,           pV# )rÏ   úb (h w) c -> b c h w©rÉ   rÊ   úb c h w -> b (h w) c)r  r  Ú
checkpointr   r.   )r/   r:   r  r   r   r  Úblks   &&&    r   r>   ÚResidualGroup.forward   sy   € ð
 ‰ˆØˆØ—;”;ˆCØ�|�|ˆ|Ü×)Ò)¨#°&Ó9’á˜“N’ñ	 ô
 �aÐ/°1Ô:ˆØ�I‰I�a‹LˆÜ�aÐ/Ó0ˆØ�Gˆàˆr   )r  r.   rº   r  r  rG   s   @@r   r  r  Å  sM   ù‡ € ð ØØØØØØ—'‘'Ø—<‘<ØØØØØ�q�6Ø÷%8÷tò r   r  c                   ó6   a a€ ] tR tRt oRtV 3R ltRtVtV ;t# )ÚUpsamplei  z�Upsample module.
Args:
    scale (int): Scale factor. Supported scales: 2^n and 3.
    num_feat (int): Channel number of intermediate features.
c           
     ó4  <€ . pW^,
          ,          ^ 8X  d‡   \        \        \        P                  ! V^4      4      4       FX  pVP	                  \
        P                  ! V^V,          ^^^4      4       VP	                  \
        P                  ! ^4      4       KZ  	  MlV^8X  dW   VP	                  \
        P                  ! V^	V,          ^^^4      4       VP	                  \
        P                  ! ^4      4       M\        RV R24      h\        SV `(  ! V!   R# )r{   zscale z/ is not supported. Supported scales: 2^n and 3.N)rµ   r   rö   r÷   Úappendr*   r-   ÚPixelShuffler�   r(   r)   )r/   r€   Únum_featÚmrû   r1   s   &&&  €r   r)   ÚUpsample.__init__  sÔ   ø€ ØˆØ˜Q•YÕ AÔ%Üœ3œtŸxšx¨¨qÓ1Ó2Ö3�Ø—‘œŸš 8¨Q°­\¸1¸aÀÓCÔDØ—‘œŸš¨Ó+Ö,ò 4ð �aŒZØ�H‰H”R—Y’Y˜x¨¨X­°q¸!¸QÓ?Ô@Ø�H‰H”R—_’_ QÓ'Õ(äØ˜˜ÐRÐRóð ô 	‰Ò˜!Ôr   © )	r@   rA   rB   rC   rr   r)   rD   rE   rF   rG   s   @@r   r,  r,    s   ù‡ € ñ÷õ r   r,  c            &       óÆ   a a€ ] tR tRt o/ tR^@R^R^´R. R"OR. R"ORRR	R
RRRRRRRRR]P                  R]P                  RRR^RRRRR^^.RR/V 3R lltR t	R  t
R!tVtV ;t# )#ÚRGTi+  Úimg_sizeÚin_chansÚ	embed_dimr!  rc   r  r   r¹   Tr‹   NÚ	drop_raterK   Úattn_drop_rateÚdrop_path_rategš™™™™™¹?rW   r  r  FÚupscaleÚ	img_rangeg      ð?r"  r  r}   rò   rv   c               óÌ  <€ \         SV `  4        TpTp^@pVV n        V^8X  d1   Rp\        P                  ! V4      P                  ^^^^4      V n        M\        P                  ! ^^^^4      V n        Wðn        \        P                  ! VV^^^4      V n        \        V4      V n        Wàn        V;V n        V n        Tp\        P"                  ! \%        R4      \        P&                  ! V4      4      V n        Tp\        P*                  ! ^ V\,        P.                  ! V4      4       Uu. uF  pVP1                  4       NK  	  pp\        P2                  ! 4       V n        \7        V P                  4       FŠ  p\9        R/ RVbRVV,          bRVbRVbRVbRVbRV	bR	V
bR
V\/        VRV 4      \/        VRV^,            4       bRVbRVbRVV,          bRVbRVbRVbRVbRVb pV P4                  P;                  V4       KŒ  	  V! V4      V n        VR8X  d    \        P                  ! W3^^^4      V n        MµVR8X  d¯   \        P"                  ! \        P                  ! W3^,          ^^^4      \        P@                  ! RRR7      \        P                  ! V^,          V^,          ^^^ 4      \        P@                  ! RRR7      \        P                  ! V^,          V^^^4      4      V n        \        P"                  ! \        P                  ! VV^^^4      \        P@                  ! RR7      4      V n!        \E        VV4      V n#        \        P                  ! VV^^^4      V n$        R# u upi )é@   r'  r0   rc   rº   r  r¹   r‹   rS   r‰   r   NrW   r  r!  r  r"  r°   r}   rò   r  r  r  Tr  r`   )gšwœ¢#¹Ü?gï8EGrùÛ?gB`åÐ"ÛÙ?r3  )%r(   r)   r=  r‚   ÚTensorr   Úmeanr¿   r<  r*   r-   Ú
conv_firstÚlenÚ
num_layersr  Únum_featuresr8  rf   r   r+   Ú	before_RGÚlinspaceÚnprˆ   Úitemr´   Úlayersrµ   r  r.  r,   Úconv_after_bodyr  Úconv_before_upsampler,  ÚupsampleÚ	conv_last)r/   r6  r7  r8  r!  rc   r  r¹   r‹   r9  r:  r;  rW   r  r  r<  r=  r"  r}   rò   Ú	num_in_chÚ
num_out_chr0  Úrgb_meanÚheadsÚcurr_dimr:   Údprr»   Úlayerr1   s   &$$$$$$$$$$$$$$$$$$$          €r   r)   ÚRGT.__init__/  s/  ø€ ô. 	‰ÑÔàˆ	Øˆ
ØˆØ"ˆŒØ�qŒ=Ø/ˆHÜŸš XÓ.×3Ñ3°A°q¸!¸QÓ?ˆD�IäŸš A q¨!¨QÓ/ˆDŒIØŒô Ÿ)š) I¨y¸!¸QÀÓBˆŒô ˜e›*ˆŒØŒàð	
ˆÔ˜DœNð ˆäŸšÜÐ,Ó-¬r¯|ª|¸IÓ/Fó
ˆŒð ˆä#Ÿnšn¨Q°ÄÇÂÀuÃÔNó
ÙN˜ˆA�F‰FŽHÑNð 	ð 
ô —m’m“oˆŒÜ�t—‘Ö'ˆAÜ!ò Ùðà ž(ðñ ðñ $ð	ñ
 "ðñ "ðñ ðñ )ðð œs 5¨¨! 9›~´°E¸'¸AÀ½E°NÓ0CÑDðñ $ðñ &ðð ˜A–hðñ  ðñ !0ðñ ðñ  &ð!ñ"  ð#ˆEð& �K‰K×Ñ˜uÖ%ñ) (ñ, ˜xÓ(ˆŒ	à˜gÔ%Ü#%§9¢9¨YÀ1ÀaÈÓ#KˆDÕ Ø Ô'ä#%§=¢=Ü—	’	˜)°!¥^°Q¸¸1Ó=Ü—’¨C¸Ô>Ü—	’	˜) q�.¨)°q­.¸!¸QÀÓBÜ—’¨C¸Ô>Ü—	’	˜) q�.¨)°Q¸¸1Ó=ó$ˆDÔ ô %'§M¢MÜ�IŠI�i ¨1¨a°Ó3´R·\²\È$Ô5Oó%
ˆÔ!ô ! ¨(Ó3ˆŒÜŸš 8¨Z¸¸A¸qÓAˆŽùò]
s   Ä&M!c                óÂ   € VP                   w   r#pW4.pV P                  V4      pV P                   F  pV! W4      pK  	  V P                  V4      p\	        VR W4R7      pV# )r%  r&  )r
   rF  rJ  r,   r   )r/   r:   rû   r   r   r  rU  s   &&     r   Úforward_featuresÚRGT.forward_features“  s_   € Ø—W‘W‰
ˆˆ1�Ø�ˆØ�N‰N˜1ÓˆØ—[”[ˆEÙ�aÓ ŠAñ !à�I‰I�a‹LˆÜ�aÐ/°1Ô:ˆàˆr   c                ó¤  € V P                   P                  V4      V n         WP                   ,
          V P                  ,          pV P                  V4      pV P	                  V P                  V4      4      V,           pV P                  V4      pV P                  V P                  V4      4      pWP                  ,          V P                   ,           pV# )z
Input: x: (B, C, H, W)
)	rA  Útype_asr=  rB  rK  rX  rL  rN  rM  )r/   r:   s   &&r   r>   ÚRGT.forwardž  s�   € ð —I‘I×%Ñ% aÓ(ˆŒ	Ø—‘�]˜dŸn™nÕ,ˆà�O‰O˜AÓˆØ× Ñ  ×!6Ñ!6°qÓ!9Ó:¸QÕ>ˆØ×%Ñ% aÓ(ˆØ�N‰N˜4Ÿ=™=¨Ó+Ó,ˆà—‘Õ §¡Õ*ˆØˆr   )rF  rK  rL  rB  rN  r8  r=  rJ  rA  r,   rE  rD  rM  r<  r  )r4   r4   r4   r4   )r@   rA   rB   rC   Úhyperparametersr*   r[   r+   r)   rX  r>   rD   rE   rF   rG   s   @@r   r5  r5  +  s  ù‡ € à€OðbBð ðbBð ð	bBð
 ðbBò ðbBò ðbBð ðbBð ðbBð ðbBð ðbBð ðbBð ðbBð —'‘'ðbBð —<‘<ðbBð  ð!bBð" ð#bBð$ ð%bBð&  ð'bBð( �q�6ð)bBð* ÷+bBòH	÷ò r   r5  )!rö   ÚnumpyrH  r‚   Útorch.nnr*   Útorch.utils.checkpointÚutilsr(  Úeinopsr   Úeinops.layers.torchr   r   rÓ   Úspandrel.utilr   Úspandrel.util.timmr   r   r   ÚModuler    rJ   r]   rt   r©   rê   rÿ   r  rf   r,  r5  r3  r   r   Ú<module>rg     sö   ðÛ ã Û Ý ß +Ð +Ý Ý )Ý $å /Ý 'ò
ò	ôˆ2�9‰9ô ô, ˆ"�)‰)ô  ôF'�R—Y‘Yô 'ôTw�b—i‘iô wôttˆ2�9‰9ô tônyˆB�I‰Iô yôxJˆB�I‰Iô JôZL�B—I‘Iô Lô^ˆr�}‰}ô ñ. Óôˆ"�)‰)ó ó òr   