+
    ƒ°ñj¨  ã                   óà  € ^ RI t ^ RIt^ RIHt ^ RIt^ RIt^ RIHt ^ RI	t^ RI
t]P                  P                  t]P                  ! 4       '       d	   ^ RIt^ RItR tR*R ltR tR+R ltR tR,tR-R ltR	 tR
 tR tR tR.R lt ! R R]P8                  4      tR/R lt ! R R]P8                  4      tR t  ! R R]P8                  4      t!R t" ! R R]P8                  4      t# ! R R]P8                  4      t$R t%R t&R t'R t(R t) ! R  R!]P8                  4      t*R"R]PV                  3R# lt, ! R$ R%]P8                  4      t- ! R& R']P8                  4      t. ! R( R)]P8                  4      t/R# )0é    N)Úmodel_managementc                 óî   € V  Uu. uF$  q"f   K  VP                   V,          ^ 8”  g   K"  VNK&  	  p p\        V 4      ^8”  d   \        P                  ! W4      # \        V 4      ^8X  d
   V ^ ,          # R # u upi ©N)ÚshapeÚlenÚtorchÚcat)ÚxlÚdimÚxs   && ÚLC:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\modules\diffusionmodules\model.pyÚtorch_cat_if_neededr      s_   € ÙÓ	>‘R�Œ!¨Q¯W©W°S­\¸AÑ-=�!ˆ!‘R€BÐ	>Ü
ˆ2ƒw�„{Ü�yŠy˜Ó!Ð!Ü	ˆR‹�AŒØ�!�uˆáùò 
?s   …A2�A2©A2c                ó   € \        V P                  4      ^8X  g   Q hV^,          p\        P                  ! R4      WC,
          ,          p\        P
                  ! \        P                  ! V\        P                  R7      V) ,          4      pVP                  V P                  R7      pV P                  4       R,          VR,          ,          p\        P                  ! \        P                  ! V4      \        P                  ! V4      .^R7      pV'       d1   \        P                  ! VRVR13,          VRRV13,          .R	R7      pV^,          ^8X  d+   \        P                  P                  P!                  VR
4      pV# )a  
This matches the implementation in Denoising Diffusion Probabilistic Models:
From Fairseq.
Build sinusoidal embeddings.
This matches the implementation in tensor2tensor, but differs slightly
from the description in Section 3.5 of "Attention Is All You Need".
i'  )Údtype©ÚdeviceºNNNN©r   )r   N)Nr   éÿÿÿÿ)r   é   r   r   )r   r   ÚmathÚlogr   ÚexpÚarangeÚfloat32Útor   Úfloatr	   ÚsinÚcosÚnnÚ
functionalÚpad)Ú	timestepsÚembedding_dimÚflip_sin_to_cosÚdownscale_freq_shiftÚhalf_dimÚembs   &&&&  r   Úget_timestep_embeddingr)      s  € ô ˆy�‰Ó 1Ô$Ð$Ð$à Õ!€HÜ
�(Š(�5‹/˜XÕ<Õ
=€CÜ
�)Š)”E—L’L ´·±Ô?À3À$ÕFÓ
G€CØ
�&‰&˜	×(Ñ(ˆ&Ó
)€CØ
�/‰/Ó
˜GÕ
$ s¨7¥|Õ
3€CÜ
�)Š)”U—Y’Y˜s“^¤U§Y¢Y¨s£^Ð4¸!Ô
<€CßÜ�iŠi˜˜Q ¡	˜\Õ*¨C°°9°H°9°Õ,=Ð>ÀBÔGˆØ�qÕ˜AÔÜ�h‰h×!Ñ!×%Ñ% c¨9Ó5ˆØ€Jó    c                 óT   € \         P                  P                  P                  V 4      # r   )r   r    r!   Úsilu)r   s   &r   Únonlinearityr-   1   s   € ä�8‰8×Ñ×#Ñ# AÓ&Ð&r*   c                 ó2   € \         P                  WR RR7      # )g�íµ ÷Æ°>T)Ú
num_groupsÚnum_channelsÚepsÚaffine)ÚopsÚ	GroupNorm)Úin_channelsr/   s   &&r   Ú	Normalizer6   6   s   € Ü�=‰= JÈdÐ[_ˆ=Ó`Ð`r*   c                 ó^  € \        \        P                  R R4      pVe   V P                  R8w  d   R# \        P
                  P                  '       d:   V\        P                  8H  ;'       d    VP                  P                  RR4      RJ# V\        P                  \        P                  39   # )ÚckNÚcudaFÚhipÚfp16_conv3d)ÚgetattrÚcomfyÚ	quant_opsÚtyper   Úversionr:   Úfloat16ÚregistryÚget_constraintsÚbfloat16)r   r   r8   s   && r   Úfused_norm_servedrE   :   s}   € ä	”—‘ $¨Ó	-€BØ	‚z�V—[‘[ FÔ*ÙÜ‡}�}××ÐØœŸ™Ñ%×gÐg¨"¯+©+×*EÑ*EÀeÈ]Ó*[ÐcgÐ*gÐgØ”U—]‘]¤E§N¡NÐ3Ñ3Ð3r*   c           	      ó¬  € VP                   ^,          pV) \        VP                  4       V4      ) \        ,          ) ,          ) p\	        ^ Wg4       EF  p\        WhV,           4      p	\        ^ V^,
          4      \        Wi^,           4      rº\        V
^ 8H  4      pV ! VP                  ^W«V
,
          4      V\        W¶8H  4      4      pVP                  ^W8V
,
          ,          V,           ^,
          W9V,
          ,          4      pVfz   \        P                  ! VP                   ^ ,          VP                   ^,          Wc,          VP                   ^,          3VP                  VP                  \        P                  R7      pVP                  ^W8,          W9V,
          ,          4      pV'       d   VP                  V4       EKn  VP                  V4       EK‚  	  V# )é   ©r   r   Úmemory_format)r   ÚmaxÚnumelÚSTRIP_ELEMSÚrangeÚminÚintÚnarrowr   Úemptyr   r   Úchannels_lastÚadd_Úcopy_)Úfnr   Ú	out_elemsÚscaleÚoutÚ
accumulateÚsizeÚstepÚaÚbÚloÚhiÚtopÚrowsÚdsts   &&&&&&         r   Ú
strip_rowsrc   H   sc  € à�7‰7�1�:€DØˆUœ˜QŸW™W›Y¨	Ó2Ð2´kÕAÐBÕBÐC€DÜ�1�d×!ˆÜ�˜$•hÓˆÜ�Q˜˜A�“¤ D¨a­%Ó 0ˆBÜ�"˜‘'‹lˆÙ�!—(‘(˜1˜b r¥'Ó*¨C´°R±Z³ÓAˆØ�{‰{˜1˜e¨2¥vÕ.°Õ4°qÕ8¸%ÀqÅ5½/ÓJˆØŠ;Ü—+’+˜tŸz™z¨!�}¨d¯j©j¸­m¸T½\È4Ï:É:ÐVWÍ=ÐYÐae×akÑakÐtx×tÑtô  PU÷  Pcñ  Pcô  dˆCØ�j‰j˜˜E�I u°Aµ¥Ó7ˆßØ�H‰H�T�Nà�I‰I�d�Oñ "ð €Jr*   c                 ó  € V P                   w  r4rVV P                  ^ ^^^4      P                  R4      pVP                  ^WV3WV,          V,          ^Wd,          V3VP	                  4       W&,          V,          ,           4      # ©r   r   )r   ÚpermuteÚreshapeÚ
as_stridedÚstorage_offset)r   ÚchannelsÚpartr]   ÚcÚhÚwÚflats   &&&     r   Úinterleaved_viewrp   \   sr   € à—‘�J€Aˆ!Ø�9‰9�Q˜˜1˜aÓ ×(Ñ(¨Ó,€DØ�?‰?˜A˜x¨AÐ.°µ¸µ¸A¸q½uÀhÐ0OÐQU×QdÑQdÓQfÐimÕiqÐt|Õi|ÕQ|Ó}Ð}r*   c                 ó˜   € W#,          V,          pV P                  ^ W,
          V4      P                  ^W4V4      P                  ^ ^^^4      # )r   )rP   Úviewrf   )ÚbufÚendrj   rm   rn   Úns   &&&&& r   Úregionrv   c   sC   € à��qÕ€AØ�:‰:�a˜� !Ó$×)Ñ)¨!¨Q°8Ó<×DÑDÀQÈÈ1ÈaÓPÐPr*   c                 ó  € VP                   ^8X  d<   \        P                  P                  P	                  WVR^4      P                  ^4      # \        P                  P                  P                  V P                  ^4      W4      # )é   N)
Úndimr=   r>   r8   r;   Úsqueezer   r    r!   Úconv2d)ÚpaddedÚweightÚbiass   &&&r   Úpadded_convr   i   sa   € à‡{�{�aÔÜ�‰×!Ñ!×-Ñ-¨f¸dÀDÈ!ÓL×TÑTÐUVÓWÐWÜ�8‰8×Ñ×%Ñ% f§n¡n°QÓ&7¸ÓFÐFr*   c                 ó,  € \         P                  P                  V4      '       g@   \        P                  P
                  '       dO   VP                  \        P                  8X  d0   V P                  ^4      P                  \        P                  R7      # V # )rG   ©rI   )r=   r3   Ú_fp16_linear_wantedr   r@   r:   r   rA   Ú	unsqueezeÚ
contiguousÚchannels_last_3d)r}   r   s   &&r   Úconv_weightr†   p   s_   € ä‡y�y×$Ñ$ Q×'Ò'¬E¯M©M×,=×,=Ð,=À!Ç'Á'ÌUÏ]É]ÔBZØ×Ñ Ó"×-Ñ-¼E×<RÑ<RÐ-ÓSÐSØ€Mr*   c                 ó.  aaaaa	a
aaaa€ \         P                  P                  oSf   RMSP                  SP                  3w  o
o	Sf   R M!SP                  VP                  ^4      S
S	4      o\         P                  P                  SVRR7      ;_uu_ 4       w  oo\         P                  P                  WRR7      ;_uu_ 4       w  oo\        SV4      oVVV	V
VVVVVV3
R lp\        WaVP                  ^ ,          V P                  ,          VP                  ^,          ,          VP                  ^,          ,          S,          S,          SWE4      uuR R R 4       uuR R R 4       #   + '       g   i     M; iR R R 4       R #   + '       g   i     R # ; i)NT©Úoffloadablec                 ó¢   <
€ S
^8”  d   \        V S
4      p SP                  V P                  ^4      S	SSS^^W^ .SRJRSR7	      p \        V SS4      # )r   NT©Úzero_padÚstats)Úinterpolate_upÚgroup_norm_silu_pad3drƒ   r   )ra   r`   Úbottomr~   r8   r1   ÚgroupsÚnormÚ	norm_biasÚnorm_weightrW   r�   r}   s   &&&€€€€€€€€€€r   rU   Ústrip_conv.<locals>.fn   s€   ø€ Ø�qŒyÜ% d¨EÓ2�Ø×+Ñ+¨D¯N©N¸1Ó,=¸{ÈIÐW]Ð_bÐefÐhiÐknÐxyÐdzð  }Að  IMð  }Mð  X\ð  diÐ+ó  jˆDÜ˜t V¨TÓ2Ð2r*   )r   ç        )r=   r>   r8   r/   r1   Úgroup_norm_stats3drƒ   r3   ÚCastBiasWeightContextr†   rc   r   Úout_channels)Úconvr   r’   rW   rX   rY   rU   r~   r8   r1   r‘   r“   r”   r�   r}   s   &&ff&& @@@@@@@@r   Ú
strip_convr›   w   sZ  ÿù€ ä	�‰×	Ñ	€BØ"šl‘(°·±À$Ç(Á(Ð0K�K€FˆCØ’L‰D b×&;Ñ&;¸A¿K¹KÈ»NÈFÐTWÓ&X€EÜ	�‰×	(Ñ	(¨¨q¸dÐ	(×	CÔ	CÑG_ÈÐU^Ôaf×ajÑaj÷  bAñ  bAð  BFð  W[ð  bA÷  b\ô  b\ñ  `nð  agð  imÜ˜V QÓ'ˆ÷	3ö 	3ô
 ˜" §¡¨¥¨d×.?Ñ.?Õ!?À!Ç'Á'È!Å*Õ!LÈqÏwÉwÐWXÍzÕ!YÐ\aÕ!aÐdiÕ!iÐkpÐruó  C÷ b\ñ  b\×	CÒ	C÷  b\÷  b\ú×	C×	C×	CÒ	Cús%   Â-FÃBE&	Å
FÅ&E6Å1FÆF	c                   ó<   a a€ ] tR t^‡t oRV 3R lltR tRtVtV ;t# )ÚCarriedConv3dc                óf   <€ \         SV `  4        \        P                  ! WV3R VRV/VB V n        R# )ÚstrideÚdilationN)ÚsuperÚ__init__r3   ÚConv3drš   )	ÚselfÚ
n_channelsr™   Úkernel_sizerŸ   r    ÚpaddingÚkwargsÚ	__class__s	   &&&&&&&,€r   r¢   ÚCarriedConv3d.__init__ˆ   s1   ø€ Ü‰ÑÔÜ—J’J˜z¸ÑqÈVÐqÐ^fÐqÐjpÑqˆŽ	r*   c                ó$   € V P                  V4      # r   ©rš   ©r¤   r   s   &&r   ÚforwardÚCarriedConv3d.forwardŒ   s   € Ø�y‰y˜‹|Ðr*   r¬   )r   r   r   ©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r¢   r®   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r©   Ú__classdict__s   @@r   r�   r�   ‡   s   ù‡ € ÷r÷ò r*   r�   c           	      ó4  € V ^ ,          pV P                  4        \        V\        4      '       dá   Vf.   \        P                  P
                  P                  VRRR7      pM|V^ ,          P                  ^,          p\        P                  P
                  P                  V^^^^^V,
          ^ 3RR7      p\        P                  ! VP                  ^ 4      V.^R7      pVe0   VRRRR1RR3,          P                  4       pVP                  V4       V! V4      pV# )r   NÚ	replicate©Úmoder   r   ©r   r   r   r   rG   r   éþÿÿÿ)ÚclearÚ
isinstancer�   r   r    r!   r"   r   r	   ÚpopÚcloneÚappend)r
   ÚopÚconv_carry_inÚconv_carry_outr   Ú	carry_lenÚto_pushrX   s   &&&&    r   Úconv_carry_causal_3drÊ   �   sò   € à
ˆ1�€AØ‡H�H„Jä�"”m×$Ò$ØÒ Ü—‘×#Ñ#×'Ñ'¨Ð+=ÀkÐ'ÓR‰Aà% aÕ(×.Ñ.¨qÕ1ˆIÜ—‘×#Ñ#×'Ñ'¨¨A¨q°!°Q¸¸I½ÀqÐ+IÐR]Ð'Ó^ˆAÜ—	’	˜=×,Ñ,¨QÓ/°Ð3¸Ô;ˆAàÒ%Ø˜˜1˜b™c 1 a˜Õ(×.Ñ.Ó0ˆGØ×!Ñ! 'Ô*á
ˆQ‹%€Cà€Jr*   c                   ó<   a a€ ] tR t^¦t oRV 3R lltR tRtVtV ;t# )ÚVideoConv3dc                ó°   <€ \         S	V `  4        W`n        V^ 8w  d   WwWwV^,
          ^ 3pMWxR&   Wpn        \        P
                  ! WV3RVRV/VB V n        R# )r   r§   rŸ   r    N)r¡   r¢   Úpadding_moder§   r3   r£   rš   )
r¤   r¥   r™   r¦   rŸ   r    rÎ   r§   r¨   r©   s
   &&&&&&&&,€r   r¢   ÚVideoConv3d.__init__§   s]   ø€ Ü‰ÑÔà(ÔØ�aŒ<Ø¨¸;È½?ÈAÐN‰Gà '�9ÑàŒÜ—J’J˜z¸ÑqÈVÐqÐ^fÐqÐjpÑqˆŽ	r*   c                óÄ   € V P                   ^ 8w  d@   \        P                  P                  P	                  WP                   V P
                  R7      pV P                  V4      # )r   r¼   )r§   r   r    r!   r"   rÎ   rš   r­   s   &&r   r®   ÚVideoConv3d.forward³   sE   € Ø�<‰<˜1ÔÜ—‘×#Ñ#×'Ñ'¨¯<©<¸d×>OÑ>OÐ'ÓPˆAØ�y‰y˜‹|Ðr*   )rš   r§   rÎ   )r   r   r»   r   r°   r¸   s   @@r   rÌ   rÌ   ¦   s   ù‡ € ÷
r÷ò r*   rÌ   c                 óX   € \         P                  P                  P                  WR R7      # )Únearest)Úscale_factorr½   )r   r    r!   Úinterpolate)r   rÔ   s   &&r   rŽ   rŽ   ¸   s"   € Ü�8‰8×Ñ×*Ñ*¨1ÈiÐ*ÓXÐXr*   c                   óZ   a a€ ] tR t^»t o]P
                  RR3V 3R lltRR ltRtVt	V ;t
# )ÚUpsampleç       @Fc                óª   <€ \         SV `  4        W n        W@n        T;'       d    TV n        V P                  '       d   V! VV^^^R7      V n        R# R# ©é   ©r¦   rŸ   r§   N)r¡   r¢   Ú	with_convrÔ   Ú
fused_normrš   )r¤   r5   rÝ   Úconv_oprÔ   rÞ   r©   s   &&&&&&€r   r¢   ÚUpsample.__init__¼   sP   ø€ Ü‰ÑÔØ"ŒØ(ÔØ$×2Ð2¨ˆŒà�>�>ˆ>Ù Ø(3Ø45Ø/0Ø01ô	3ˆDŽIñ r*   c                ó  € V P                   p\        V\        \        34      '       d   V3VP                  ^,
          ,          pV P
                  '       d@   \        VP                  VP                  4      '       d   \        V P                  V^VR7      # VP                  ^8X  d¨   V^ ,          R8”  dš   . pVfT   VR,          pVP                  \        VP                  ^4      VR,          R7      P                  ^4      4       VR,          pVP                  ^,          ^ 8”  d   VP                  \        W4      4       \!        V^R7      pM\        W4      pV P"                  '       d   \%        V.V P                  W#4      pV# )rG   )rW   rX   ç      ð?ºr   NN)rÔ   r   ©r   r   :Nr   Nr   r   )r   r   rã   r   r   )rÔ   rÁ   rO   r   ry   rÞ   rE   r   r   r›   rš   rÄ   rŽ   rz   rƒ   r   r   rÝ   rÊ   )r¤   r   rÆ   rÇ   rX   rÔ   ÚresultsÚfirsts   &&&&&   r   r®   ÚUpsample.forwardÉ   s   € Ø×(Ñ(ˆÜ�l¤S¬% L×1Ò1Ø(˜?¨a¯f©f°q­jÕ9ˆLà�?�?ˆ?Ô0°·±¸1¿7¹7×CÒCÜ˜dŸi™i¨°!¸Ô=Ð=à�6‰6�QŒ;˜<¨�?¨SÔ0ØˆGØÒ$Ø˜.Õ)�Ø—‘œ~¨e¯m©m¸AÓ.>È\ÐZ\ÕM]Ô^×hÑhÐijÓkÔlØ�nÕ%�Ø�w‰w�q�z˜AŒ~Ø—‘œ~¨aÓ>Ô?Ü# G°Ô3‰Aä˜qÓ/ˆAØ�>�>ˆ>Ü$ a S¨$¯)©)°]ÓSˆAØˆr*   )rš   rÞ   rÔ   rÝ   )NNN©r±   r²   r³   r´   r3   ÚConv2dr¢   r®   rµ   r¶   r·   r¸   s   @@r   r×   r×   »   s!   ù‡ € Ø7:·z±zÐPSÐ`e÷ 3÷ô r*   r×   c                 ó‚  € \         P                  P                  pVP                  ^,          ^,          pV) VP	                  4       ) \
        ,          ) ,          ) pRp\         P                  P                  WRR7      ;_uu_ 4       w  rg\        ^ W44       EF‰  p\        W8V,           4      p	\        VP                  ^,          ^V	,          ^,           4      p
VP                  VP                  ^^V,          V
^V,          ,
          4      P                  ^4      RR^R^ ^^ \        W¡P                  ^,          8H  4      ^ .RRR7      P                  ^4      p\        P                   P"                  P%                  W¶V^R7      pVfs   \        P&                  ! VP                  ^ ,          VP                  ^,          W<P                  ^,          3VP(                  VP*                  \        P,                  R7      pVP                  ^W‰V,
          4      P/                  V4       EKŒ  	  RRR4       V#   + '       g   i     T# ; i)	rG   NTrˆ   r–   F)rŒ   )rŸ   rH   )r=   r>   r8   r   rK   rL   r3   r˜   rM   rN   r�   rP   rƒ   rO   rz   r   r    r!   r{   rQ   r   r   rR   rT   )rš   r   r8   ra   r[   rX   r}   r~   r\   r]   r_   r|   Úys   &&           r   Ú
strip_downrì   á   s  € ä	�‰×	Ñ	€BØ�7‰7�1�:˜�?€DØˆU˜Ÿ™›˜
¤kÕ1Ð2Õ2Ð3€DØ
€CÜ	�‰×	(Ñ	(¨¸dÐ	(×	CÔ	CÁ~ÈÜ�q˜$×%ˆAÜ�D˜d�(Ó#ˆAÜ�Q—W‘W˜Q•Z  Q¥¨¥Ó+ˆBØ×-Ñ-¨a¯h©h°q¸!¸a½%ÀÀaÈ!ÅeÅÓ.L×.VÑ.VÐWXÓ.YÐ[_ÐaeÐghÐjmÐpqÐstÐvwÔy|Ð}÷  DKñ  DKð  LMõ  DNñ  ~Nó  zOð  QRð  pSð  UZð  eiÐ-ó  j÷  rñ  rð  stó  uˆFÜ—‘×#Ñ#×*Ñ*¨6¸4ÈÐ*ÓJˆAØŠ{Ü—k’k 1§7¡7¨1¥:¨q¯w©w°q­z¸4ÇÁÈÅÐ"LÐTU×T[ÑT[Ðde×dlÑdlô  }B÷  }Pñ  }Pô  Q�Ø�J‰J�q˜! �UÓ#×)Ñ)¨!×,ñ &÷ 
Dð €J÷ 
DÖ	Cð €Jús   ÂFH-È-H>	c                   óZ   a a€ ] tR t^ót o^]P
                  R3V 3R lltRR ltRtVt	V ;t
# )Ú
DownsampleFc                óž   <€ \         SV `  4        W n        T;'       d    TV n        V P                  '       d   V! VV^V^ R7      V n        R# R# rÚ   )r¡   r¢   rÝ   rÞ   rš   )r¤   r5   rÝ   rŸ   rß   rÞ   r©   s   &&&&&&€r   r¢   ÚDownsample.__init__ô   sJ   ø€ Ü‰ÑÔØ"ŒØ$×2Ð2¨ˆŒØ�>�>ˆ>á Ø(3Ø45Ø/5Ø01ô	3ˆDŽIñ r*   c                óà  € V P                   '       d=   \        VP                  VP                  4      '       d   \	        V P
                  V4      # V P                  '       dâ   \        V P
                  \        4      '       d   \        V.V P
                  W#4      pV# VP                  ^8X  dD   RpRp\        P                  P                  P                  WV^ R7      pV P                  V4      pV# VP                  ^8X  dA   RpRp\        P                  P                  P                  WVR7      pV P                  V4      pV# \        P                  P                  P                  V^^R7      pV# )é   Úconstant)r½   Úvaluer»   r¼   )r¦   rŸ   )r   r   r   r   r¾   )rÞ   rE   r   r   rì   rš   rÝ   rÁ   r�   rÊ   ry   r   r    r!   r"   Ú
avg_pool2d)r¤   r   rÆ   rÇ   r"   r½   s   &&&&  r   r®   ÚDownsample.forward   s$  € Ø�?�?ˆ?Ô0°·±¸1¿7¹7×CÒCÜ˜dŸi™i¨Ó+Ð+Ø�>�>ˆ>Ü˜$Ÿ)™)¤]×3Ò3Ü(¨!¨¨d¯i©i¸ÓW�ð ˆð —‘˜1”Ø"�Ø!�Ü—H‘H×'Ñ'×+Ñ+¨A¸ÀQÐ+ÓG�Ø—I‘I˜a“L�ð ˆð —‘˜1”Ø(�Ø"�Ü—H‘H×'Ñ'×+Ñ+¨A¸Ð+Ó>�Ø—I‘I˜a“L�ð ˆô —‘×#Ñ#×.Ñ.¨q¸aÈÐ.ÓJˆAØˆr*   )rš   rÞ   rÝ   ©NNrè   r¸   s   @@r   rî   rî   ó   s    ù‡ € Ø67ÀÇÁÐX]÷ 
3÷ô r*   rî   c                   ó|   a a€ ] tR tRt oRRRRRRRR	R
]P
                  R]RR/V 3R lltR tR t	RR lt
RtVtV ;t# )ÚResnetBlocki  r™   NÚconv_shortcutFÚdropoutr–   Útemb_channelsi   rß   Únorm_oprÞ   c               ód  <€ \         S	V `  4        Wn        Vf   TMTpW n        W0n        W€n        \        P                  P                  RR7      V n	        V! V4      V n
        V! VV^^^R7      V n        V^ 8”  d   \        P                  VV4      V n        V! V4      V n        \        P                  P!                  VRR7      V n        V! VV^^^R7      V n        V P                  V P                  8w  d;   V P                  '       d   V! VV^^^R7      V n        R # V! VV^^^ R7      V n        R # R # )NT)ÚinplacerÜ   )r¡   r¢   r5   r™   Úuse_conv_shortcutrÞ   r   r    ÚSiLUÚswishÚnorm1Úconv1r3   ÚLinearÚ	temb_projÚnorm2ÚDropoutrû   Úconv2rú   Únin_shortcut)
r¤   r5   r™   rú   rû   rü   rß   rý   rÞ   r©   s
   &$$$$$$$$€r   r¢   ÚResnetBlock.__init__  s-  ø€ ä‰ÑÔØ&ÔØ&2Ò&:‘{ÀˆØ(ÔØ!.ÔØ$Œä—X‘X—]‘]¨4�]Ó0ˆŒ
Ù˜[Ó)ˆŒ
Ù˜[Ø%1Ø12Ø,-Ø-.ô	0ˆŒ
ð
 ˜1ÔÜ ŸZ™Z¨Ø-9ó;ˆDŒNá˜\Ó*ˆŒ
Ü—x‘x×'Ñ'¨¸Ð'Ó>ˆŒÙ˜\Ø%1Ø12Ø,-Ø-.ô	0ˆŒ
ð
 ×Ñ˜t×0Ñ0Ô0Ø×%×%Ð%Ù%,¨[Ø5AØABØ<=Ø=>ô	&@�Ö"ñ %,¨KØ4@Ø@AØ;<Ø<=ô	%?�Ö!ñ 1r*   c                óÎ   € VP                   ^ ,          ^8H  ;'       dI    V P                  ^V P                  ,          8H  ;'       d!    VP                  \        P
                  R7      # )r   r�   )r   r5   r™   Úis_contiguousr   rR   r­   s   &&r   Úhalves_in_placeÚResnetBlock.halves_in_place>  sk   € Ø�w‰w�q�z˜Q‰÷  Dð  D 4×#3Ñ#3°q¸4×;LÑ;LÕ7LÑ#L÷  Dð  DÐQR×Q`ÑQ`Ôot÷  pCñ  pCÐQ`ó  RDð  	Dr*   c                ó 	  € \         P                  P                  p\        WP                  ^ 4      p\        WP                  ^4      pVP                  VP                  ^4      V P                  P                  V P                  P                  4      pVP                  ^,          pV) VP                  4       ) \        ,          ) ,          ) pRp\         P                  P                  V P                  VRR7      ;_uu_ 4       w  rš\         P                  P                  V P                  VRR7      ;_uu_ 4       w  r¼\         P                  P                  V P                   VRR7      ;_uu_ 4       w  rÞ\#        W±4      p\%        ^ Wg4       EFo  p\'        WoV,           4      p\)        ^ V^,
          4      \'        VV^,           4      ppVP+                  VP-                  ^VVV,
          4      P                  ^4      WšV P                  P                  V P                  P                  ^^\/        V^ 8H  4      \/        VV8H  4      ^ .RRVR7	      p\1        VW¼4      p\2        P4                  P6                  P9                  VP-                  ^VVV,
          4      WÞ4      pVea   VP-                  ^V^,
          ^4      P;                  V^ ,          4       VP-                  ^V^,
          ^4      P;                  V^,          4       VP-                  ^VVV,
          ^,
          4      P;                  VP-                  ^^ VV,
          ^,
          4      4       VP-                  ^VVV,
          ^,
          4      P;                  VP-                  ^^ VV,
          ^,
          4      4       VP-                  ^VV,
          ^,
          ^4      P=                  4       VP-                  ^VV,
          ^,
          ^4      P=                  4       3pEKr  	  VP-                  ^V^,
          ^4      P;                  V^ ,          4       VP-                  ^V^,
          ^4      P;                  V^,          4       RRR4       RRR4       RRR4       \?        V P@                  W0PB                  VRR7      #   + '       g   i     LC; i  + '       g   i     LN; i  + '       g   i     LY; i)r   NTrˆ   r‹   ©rX   rY   )"r=   r>   r8   rp   r™   r—   rƒ   r  r/   r1   r   rK   rL   r3   r˜   r  r
  r†   rM   rN   rJ   r�   rP   rO   r   r   r    r!   r{   rT   rÃ   r›   r	  r  )r¤   r   r8   rm   rX   r�   ra   r[   Úheldr”   r“   r}   r~   Ú	sc_weightÚsc_biasr\   r]   r^   r_   r|   Úh_rowsÚout_rowss   &&                    r   Úhalve_in_placeÚResnetBlock.halve_in_placeA  sŠ  € ä�_‰_×ÑˆÜ˜Q× 1Ñ 1°1Ó5ˆÜ˜q×"3Ñ"3°QÓ7ˆØ×%Ñ% a§k¡k°!£n°d·j±j×6KÑ6KÈTÏZÉZÏ^É^Ó\ˆØ�w‰w�q�zˆØ�˜QŸW™W›Y˜J¬+Õ5Ð6Õ6Ð7ˆØˆÜ�Y‰Y×,Ñ,¨T¯Z©Z¸ÈÐ,×MÔMÑQiÐR]Ôkp×ktÑkt÷  lKñ  lKð  LP÷  LVñ  LVð  XYð  gkð  lK÷  llô  llñ  p~ð  qwô  @E÷  @Iñ  @I÷  @_ñ  @_ð  `d÷  `qñ  `qð  stð  BFð  @_÷  @Gô  @Gñ  K_ð  LUÜ  Ó+ˆFÜ˜1˜d×)�Ü˜ $�hÓ'�Ü˜Q  A¥›¬¨D°!°aµ%Ó(8�B�Ø×1Ñ1°!·(±(¸1¸bÀ"ÀrÅ'Ó2J×2TÑ2TÐUVÓ2WÐYdÐqu×q{Ñq{÷  rGñ  rGð  IM÷  ISñ  IS÷  IWñ  IWð  Z[ð  ]^ô  `cð  dfð  jkñ  dkó  `lô  nqð  rtð  x|ñ  r|ó  n}ð  @ð  YAð  CGð  RVð  ^cÐ1ó  d�Ü$ V¨VÓ:�Ü Ÿ8™8×.Ñ.×5Ñ5°a·h±h¸qÀ!ÀQÈÅUÓ6KÈYÓ`�ØÒ#Ø—H‘H˜Q  A¥ qÓ)×/Ñ/°°QµÔ8Ø—J‘J˜q ! a¥%¨Ó+×1Ñ1°$°qµ'Ô:Ø—‘˜˜A˜q 1�u q�yÓ)×/Ñ/°·±¸aÀÀAÈÅEÈAÅIÓ0NÔOØ—
‘
˜1˜a  Q¥¨¥Ó+×1Ñ1°(·/±/À!ÀQÈÈAÍÐPQÍ	Ó2RÔSØŸ™ a¨¨Q­°­°AÓ6×<Ñ<Ó>ÀÇÁÐPQÐSTÐWXÕSXÐ[\ÕS\Ð^_Ó@`×@fÑ@fÓ@hÐi“ñ *ð �H‰H�Q˜˜q� !Ó$×*Ñ*¨4°­7Ô3Ø�J‰J�q˜$ �( AÓ&×,Ñ,¨T°!­WÔ5÷ @G÷  ll×Mô  ˜$Ÿ*™* a¯©¸ÈÔNÐN÷! @G÷  @Gú÷  ll÷  llú×M×Mús=   Ä 7R=Ä77R*	Å.K.RÑR*	Ñ$R=ÒR'Ò"R*	Ò*R:Ò5R=Ò=S	c                óÔ  € V P                   '       Ed8   \        VP                  VP                  4      '       Ed   VP	                  ^4      ^8w  d!   VP                  \        P                  R7      pV P                  V P                  8X  dF   \        V P                  WP                  VR7      p\        V P                  W`P                  VRR7      # V P                  V4      '       d   V P!                  V4      # \        V P                  WP                  4      p\        V P                  W`P                  V P#                  V4      RR7      # TpV P                  V4      pV P%                  V4      .p\'        W`P                  W4R7      pVe.   W`P)                  V P%                  V4      4      R,          ,           pV P                  V4      pV P%                  V4      pV P+                  V4      .p\'        W`P                  W4R7      pV P                  V P                  8w  dE   V P,                  '       d"   \'        V.V P.                  W4R7      pW,           # V P#                  V4      pW,           # )r   r�   ©rX   Tr  )rÆ   rÇ   )r   r   NN)rÞ   rE   r   r   rŸ   r„   r   rR   r5   r™   r›   r  r  r	  r  r  r  r
  r  rÊ   r  rû   r   rú   )r¤   r   ÚtembrÆ   rÇ   Úhiddenrm   s   &&&&&& r   r®   ÚResnetBlock.forward\  sÎ  € Ø�?�?‰?Ô0°·±¸1¿7¹7×CÓCà�x‰x˜‹{˜aÔØ—L‘L¬u×/BÑ/B�LÓC�Ø×Ñ 4×#4Ñ#4Ô4Ü˜tŸz™z¨1¯j©j¸fÔE�Ü! $§*¡*¨a·±ÀÈtÔTÐTØ×#Ñ# A×&Ò&Ø×*Ñ*¨1Ó-Ð-Ü˜4Ÿ:™: q¯*©*Ó5ˆAÜ˜dŸj™j¨!¯Z©Z¸T×=NÑ=NÈqÓ=QÐ^bÔcÐcàˆØ�J‰J�q‹MˆØ�j‰j˜‹mÐˆÜ  §J¡J¸mÔkˆàÒØ—N‘N 4§:¡:¨dÓ#3Ó4°]ÕCÕCˆAà�J‰J�q‹MˆØ�J‰J�q‹MˆØ�l‰l˜1‹oÐˆÜ  §J¡J¸mÔkˆà×Ñ˜t×0Ñ0Ô0Ø×%×%Ð%Ü(¨!¨¨d×.@Ñ.@ÐP]Ô}�ð �sˆ
ð ×%Ñ% aÓ(�à�sˆ
r*   )r  r	  rú   rû   rÞ   r5   r
  r  r  r™   r  r  r   )NNNN)r±   r²   r³   r´   r3   ré   r6   r¢   r  r  r®   rµ   r¶   r·   r¸   s   @@r   rù   rù     s[   ù‡ € ð&?°Dð &?Èð &?Øð&?Ø,/ð&?Ø9<¿¹ð&?ØMVð&?Øch÷&?òPDòO÷6 ô  r*   rù   c                 ó8  € \         P                  ! WP                  R 7      p\        V P                  R,          4      R,          p\
        P                  ! V P                  4      pV P                  ^ ,          V P                  ^,          ,          VP                  ^,          ,          V P                  4       ,          pV P                  4       ^8X  d   ^MRpWg,          p^p	W…8”  d9   ^\        P                  ! \        P                  ! W…,          ^4      4      ,          p	  V P                  ^,          V	,          ^ 8X  d   V P                  ^,          V	,          MV P                  ^,          p
\        ^ V P                  ^,          V
4       FŽ  pWº,           p\         P                  ! V RW¼13,          V4      V,          p\         P                  P                  P                  V^R7      P!                  ^ ^^4      p?\         P                  ! W.4      VRRW¼13&   ?K�  	   V#   \"         dp   p\
        P$                  ! T4       \
        P&                  ! R4       T	^,          p	T	^€8”  d   Th\(        P*                  ! RP-                  T	4      4        Rp?EKv  Rp?ii ; i)	r   g      @Tr   r   z9out of memory error, increasing steps and trying again {}Nr   g      à¿)r   Ú
zeros_liker   rO   r   r   Úget_free_memoryÚelement_sizer   Úceilr   rM   Úbmmr    r!   Úsoftmaxrf   Ú	ExceptionÚraise_non_oomÚsoft_empty_cacheÚloggingÚwarningÚformat)ÚqÚkÚvÚr1rW   Úmem_free_totalÚtensor_sizeÚmodifierÚmem_requiredÚstepsÚ
slice_sizeÚirt   Ús1Ús2Úes   &&&             r   Úslice_attentionr9  ~  só  € Ü	×	Ò	˜!§H¡HÔ	-€BÜ�—‘˜•Ó Õ%€Eä%×5Ò5°a·h±hÓ?€Nà—'‘'˜!•*˜qŸw™w q�zÕ)¨A¯G©G°A­JÕ6¸¿¹Ó9IÕI€KØ—N‘NÓ$¨Ô)‰q¨s€HØÕ)€LØ€EàÔ$Ø”D—I’IœdŸhšh |Õ'DÀaÓHÓIÕJˆà
ð	gØ12·±¸µ¸eÕ1CÈÔ0I˜Ÿ™ � uÖ,ÈqÏwÉwÐWXÍzˆJÜ˜1˜aŸg™g a�j¨*Ö5�Ø•n�Ü—Y’Y˜q  A E �{¨AÓ.°Õ6�ä—X‘X×(Ñ(×0Ñ0°¸Ð0Ó;×CÑCÀAÀaÈÓJ�Øä"'§)¢)¨AÓ"2��1�a˜˜�;‘Úñ 6ð ð €Iøô ô 	gÜ×*Ò*¨1Ô-Ü×-Ò-¨dÔ3Ø�Q�JˆEØ�sŒ{Ø�Ü�OŠOÐW×^Ñ^Ð_dÓe×fÓfûð	gús   Ä C<H ÈJÈ*A#JÊJc                 ó  € V P                   pV^ ,          pV^,          pV P                  WER4      p V P                  ^ ^^4      p VP                  WER4      pVP                  WER4      p\        WV4      pVP                  V4      p?V# re   )r   rg   rf   r9  )r+  r,  r-  Ú
orig_shaper]   rl   r.  Úh_s   &&&     r   Únormal_attentionr=  £  s�   € à—‘€JØ�1�€AØ�1�€Aà	�	‰	�!˜Ó€AØ	�	‰	�!�Q˜Ó€AØ	�	‰	�!˜Ó€AØ	�	‰	�!˜Ó€Aä	˜˜qÓ	!€BØ	�‰�JÓ	€BØ
Ø€Ir*   c           
      óü  aa€ V P                   pV^ ,          oV^,          o\        VV3R lWV34      w  rp \        P                  P	                  WVRR7      pVP                  ^^4      P                  V4      pV#   \         dt    \        T P                  SRS4      TP                  SRS4      P                  ^^4      TP                  SRS4      P                  ^^4      4      P                  T4      p T# i ; i)r   c                 óf   <€ V P                  SSR4      P                  ^^4      P                  4       # ©r   r   ©rr   Ú	transposer„   ©ÚtÚBÚCs   &€€r   Ú<lambda>Ú$xformers_attention.<locals>.<lambda>¹  s(   ø€ �!—&‘&˜˜A˜rÓ"×,Ñ,¨Q°Ó2×=Ñ=Ô?r*   N)Ú	attn_biasr   )
r   ÚmapÚxformersr3   Úmemory_efficient_attentionrB  rg   ÚNotImplementedErrorr9  rr   )r+  r,  r-  r;  rX   rE  rF  s   &&&  @@r   Úxformers_attentionrN  ³  sû   ù€ à—‘€JØ�1�€AØ�1�€AÜÝ?Ø	
ˆqˆ	ó�G€Aˆ!ð
HÜ�l‰l×5Ñ5°a¸AÈÐ5ÓNˆØ�m‰m˜A˜qÓ!×)Ñ)¨*Ó5ˆð €Jøô ô HÜ˜aŸf™f Q¨¨AÓ.°·±°q¸"¸aÓ0@×0JÑ0JÈ1ÈaÓ0PÐRS×RXÑRXÐYZÐ\^Ð`aÓRb×RlÑRlÐmnÐpqÓRrÓs×{Ñ{ð  }Gó  H‰Ø€JðHús   ¸AA= Á=A:C;Ã:C;c           	      ó|  aa€ V P                   pV^ ,          oV^,          oRp\        VV3R lWV34      w  rp \        P                  P	                  WVRRRR7      pVP                  ^^4      P                  V4      pV'       dp   \        V P                  SRS4      VP                  SRS4      P                  ^^4      VP                  SRS4      P                  ^^4      4      P                  V4      pX#   \         d9   p\        P                  ! T4       \        P                  ! R4       Rp Rp?L·Rp?ii ; i)	r   Fc                 óh   <€ V P                  S^SR4      P                  ^^4      P                  4       # r@  rA  rC  s   &€€r   rG  Ú#pytorch_attention.<locals>.<lambda>Ë  s*   ø€ �!—&‘&˜˜A˜q "Ó%×/Ñ/°°1Ó5×@Ñ@ÔBr*   Nr–   )Ú	attn_maskÚ	dropout_pÚ	is_causalz?scaled_dot_product_attention OOMed: switched to slice attentionTr   )r   rJ  r=   r3   Úscaled_dot_product_attentionrB  rg   r%  r   r&  r(  r)  r9  rr   )	r+  r,  r-  r;  Úoom_fallbackrX   r8  rE  rF  s	   &&&    @@r   Úpytorch_attentionrW  Ä  s"  ù€ à—‘€JØ�1�€AØ�1�€AØ€LÜÝBØ	
ˆqˆ	ó�G€Aˆ!ð
Ü�i‰i×4Ñ4°Q¸1ÈÐX[ÐglÐ4ÓmˆØ�m‰m˜A˜qÓ!×)Ñ)¨*Ó5ˆ÷
 Ü˜aŸf™f Q¨¨AÓ.°·±°q¸"¸aÓ0@×0JÑ0JÈ1ÈaÓ0PÐRS×RXÑRXÐYZÐ\^Ð`aÓRb×RlÑRlÐmnÐpqÓRrÓs×{Ñ{ð  }Gó  HˆØ€Jøô ô Ü×&Ò& qÔ)Ü�ŠÐYÔZØ�ûðús   ºAC8 Ã8D;Ä.D6Ä6D;c                  ó  € \         P                  ! 4       '       d   \        P                  ! R 4       \        # \         P
                  ! 4       '       d   \        P                  ! R4       \        # \        P                  ! R4       \        # )zUsing xformers attention in VAEzUsing pytorch attention in VAEzUsing split attention in VAE)r   Úxformers_enabled_vaer(  ÚinforN  Úpytorch_attention_enabled_vaerW  r=  © r*   r   Úvae_attentionr]  Û  sY   € Ü×,Ò,×.Ò.Ü�ŠÐ6Ô7Ü!Ð!Ü	×	7Ò	7×	9Ò	9Ü�ŠÐ5Ô6Ü Ð ä�ŠÐ3Ô4ÜÐr*   c                   óT   a a€ ] tR tRt o]P
                  ]3V 3R lltR tRt	Vt
V ;t# )Ú	AttnBlockiæ  c                óø   <€ \         SV `  4        Wn        V! V4      V n        V! VV^^^ R7      V n        V! VV^^^ R7      V n        V! VV^^^ R7      V n        V! VV^^^ R7      V n        \        4       V n	        R# )r   rÜ   N)
r¡   r¢   r5   r’   r+  r,  r-  Úproj_outr]  Úoptimized_attention)r¤   r5   rß   rý   r©   s   &&&&€r   r¢   ÚAttnBlock.__init__ç  sš   ø€ Ü‰ÑÔØ&Ôá˜KÓ(ˆŒ	Ù˜Ø!,Ø-.Ø()Ø)*ô	,ˆŒñ
 ˜Ø!,Ø-.Ø()Ø)*ô	,ˆŒñ
 ˜Ø!,Ø-.Ø()Ø)*ô	,ˆŒñ
   Ø(3Ø45Ø/0Ø01ô	3ˆŒô $1£?ˆÖ r*   c                óä   € TpV P                  V4      pV P                  V4      pV P                  V4      pV P                  V4      pV P	                  W4V4      pV P                  V4      pW,           # r   )r’   r+  r,  r-  rb  ra  )r¤   r   r<  r+  r,  r-  s   &&    r   r®   ÚAttnBlock.forward  sb   € ØˆØ�Y‰Y�r‹]ˆØ�F‰F�2‹JˆØ�F‰F�2‹JˆØ�F‰F�2‹Jˆà×%Ñ% a¨AÓ.ˆà�]‰]˜2Óˆà�tˆr*   )r5   r,  r’   rb  ra  r+  r-  )r±   r²   r³   r´   r3   ré   r6   r¢   r®   rµ   r¶   r·   r¸   s   @@r   r_  r_  æ  s   ù‡ € Ø,/¯J©JÀ	÷ 3÷8ò r*   r_  Úvanillac                 ó   € \        WR 7      # )©rß   )r_  )r5   Ú	attn_typeÚattn_kwargsrß   s   &&&&r   Ú	make_attnrk    s   € Ü�[Ô2Ð2r*   c                   ó^   a a€ ] tR tRt oRRRRRRRRRR	R
R/V 3R lltRR ltR tRtVtV ;t	# )ÚModeli  Úch_multrû   r–   Úresamp_with_convTÚuse_timestepÚuse_linear_attnFri  rf  c               ó¢	  <€ \         SV `  4        V'       d   R pWn        V P                  ^,          V n        \	        V4      V n        W@n        W�n        W€n        W n	        V P                  '       d’   \        P                  ! 4       V n        \        P                  ! \        P                  V P                  V P                  4      \        P                  V P                  V P                  4      .4      V P                  n        \        P#                  VV P                  ^^^R7      V n        T	pR\'        V4      ,           p\        P                  ! 4       V n        \+        V P
                  4       EF%  p\        P                  ! 4       p\        P                  ! 4       pWV,          ,          pWV,          ,          p\+        V P                  4       FQ  pVP-                  \/        VVV P                  VR7      4       TpWÕ9   g   K5  VP-                  \1        VVR7      4       KS  	  \        P                  ! 4       pVVn        VVn        WðP
                  ^,
          8w  d   \7        VV4      Vn        V^,          pV P(                  P-                  V4       EK(  	  \        P                  ! 4       V n        \/        XVV P                  VR7      V P:                  n        \1        VVR7      V P:                  n        \/        VVV P                  VR7      V P:                  n         \        P                  ! 4       V n!        \E        \+        V P
                  4      4       EFD  p\        P                  ! 4       p\        P                  ! 4       pWV,          ,          pWV,          ,          p\+        V P                  ^,           4       Fx  pVV P                  8X  d   WV,          ,          pVP-                  \/        VV,           VV P                  VR7      4       TpWÕ9   g   K\  VP-                  \1        VVR7      4       Kz  	  \        P                  ! 4       pVVn        VVn        V^ 8w  d   \G        VV4      Vn$        V^,          pV PB                  PK                  ^ V4       EKG  	  \M        V4      V n'        \        P#                  VV^^^R7      V n(        R# )ÚlinearrÜ   )r5   r™   rü   rû   )ri  N©r   ))r¡   r¢   ÚchÚtemb_chr   Únum_resolutionsÚnum_res_blocksÚ
resolutionr5   rp  r    ÚModuler  Ú
ModuleListr3   r  Údenseré   Úconv_inÚtupleÚdownrM   rÄ   rù   rk  ÚblockÚattnrî   Ú
downsampleÚmidÚblock_1Úattn_1Úblock_2ÚupÚreversedr×   ÚupsampleÚinsertr6   Únorm_outÚconv_out)r¤   ru  Úout_chrn  rx  Úattn_resolutionsrû   ro  r5   ry  rp  rq  ri  Úcurr_resÚ
in_ch_multÚi_levelr€  r�  Úblock_inÚ	block_outÚi_blockr  Úskip_inr‡  r©   s   &$$$$$$$$$$$$           €r   r¢   ÚModel.__init__  s¥  ø€ ô 	‰ÑÔßØ ˆIØŒØ—w‘w˜q•yˆŒÜ" 7›|ˆÔØ,ÔØ$ŒØ&Ôà(ÔØ××ÐäŸ	š	›ˆDŒIÜ ŸmšmÜ—
‘
˜4Ÿ7™7Ø $§¡ó.ä—
‘
˜4Ÿ<™<Ø $§¡ó.ð-ó ˆD�I‰IŒOô —z‘z +Ø'+§w¡wØ34Ø./Ø/0ð	 "ó 2ˆŒð ˆØœ% ›.Õ(ˆ
Ü—M’M“OˆŒ	Ü˜T×1Ñ1×2ˆGÜ—M’M“OˆEÜ—=’=“?ˆDØ WÕ-Õ-ˆHØ 7Õ+Õ+ˆIÜ  ×!4Ñ!4Ö5�Ø—‘œ[°XØ6?Ø7;·|±|Ø18ô:ô ;ð %�ØÖ/Ø—K‘K¤	¨(¸iÔ HÖIñ 6ô —9’9“;ˆDØˆDŒJØˆDŒIØ×.Ñ.¨qÕ0Ô0Ü",¨XÐ7GÓ"H�”Ø# q�=�Ø�I‰I×Ñ˜T×"ñ' 3ô, —9’9“;ˆŒÜ&°8Ø4<Ø59·\±\Ø/6ô8ˆ�‰Ôô $ H¸	ÔBˆ�‰ŒÜ&°8Ø4<Ø59·\±\Ø/6ô8ˆ�‰Ôô —-’-“/ˆŒÜ¤ d×&:Ñ&:Ó ;×<ˆGÜ—M’M“OˆEÜ—=’=“?ˆDØ 7Õ+Õ+ˆIØ Õ)Õ)ˆGÜ  ×!4Ñ!4°QÕ!6Ö7�Ø˜d×1Ñ1Ô1Ø ¨GÕ!4Õ4�GØ—‘œ[°X¸gÕ5EØ6?Ø7;·|±|Ø18ô:ô ;ð %�ØÖ/Ø—K‘K¤	¨(¸iÔ HÖIñ 8ô —’“ˆBØˆBŒHØˆBŒGØ˜!Œ|Ü& xÐ1AÓB�”Ø# a�<�Ø�G‰G�N‰N˜1˜b×!ñ+ =ô0 " (Ó+ˆŒÜŸ
™
 8Ø(.Ø45Ø/0Ø01ð	 #ó 3ˆŽr*   c           	     óî  € Ve   \         P                  ! W3^R7      pV P                  '       dn   Vf   Q h\        W P                  4      pV P
                  P                  ^ ,          ! V4      p\        V4      pV P
                  P                  ^,          ! V4      pMR pV P                  V4      .p\        V P                  4       EF	  p\        V P                  4       F›  pV P                  V,          P                  V,          ! VR,          V4      p\        V P                  V,          P                  4      ^ 8”  d+   V P                  V,          P                  V,          ! V4      pVP!                  V4       K�  	  W`P                  ^,
          8w  g   KÑ  VP!                  V P                  V,          P#                  VR,          4      4       EK  	  VR,          pV P$                  P'                  W„4      pV P$                  P)                  V4      pV P$                  P+                  W„4      p\-        \        V P                  4      4       Fø  p\        V P                  ^,           4       Fª  pV P.                  V,          P                  V,          ! \         P                  ! W…P1                  4       .^R7      V4      p\        V P.                  V,          P                  4      ^ 8”  g   K€  V P.                  V,          P                  V,          ! V4      pK¬  	  V^ 8w  g   KÖ  V P.                  V,          P3                  V4      pKú  	  V P5                  V4      p\        V4      pV P7                  V4      pV# )Nr   r   )r   r	   rp  r)   ru  r  r|  r-   r}  rM   rw  rx  r  r€  r   r�  rÄ   r‚  rƒ  r„  r…  r†  rˆ  r‡  rÂ   r‰  r‹  rŒ  )	r¤   r   rD  Úcontextr  Úhsr‘  r”  rm   s	   &&&&     r   r®   ÚModel.forwardz  s�  € àÒä—	’	˜1˜,¨AÔ.ˆAØ××Ðà’=Ð �=Ü)¨!¯W©WÓ5ˆDØ—9‘9—?‘? 1Ö% dÓ+ˆDÜ Ó%ˆDØ—9‘9—?‘? 1Ö% dÓ+‰DàˆDð �l‰l˜1‹oÐˆÜ˜T×1Ñ1×2ˆGÜ  ×!4Ñ!4Ö5�Ø—I‘I˜gÕ&×,Ñ,¨WÖ5°b¸µf¸dÓC�Ü�t—y‘y Õ)×.Ñ.Ó/°!Ô3ØŸ	™	 'Õ*×/Ñ/°Ö8¸Ó;�AØ—	‘	˜!–ñ	 6ð
 ×.Ñ.¨qÕ0Ö0Ø—	‘	˜$Ÿ)™) GÕ,×7Ñ7¸¸2½Ó?×@ñ 3ð ˆr�FˆØ�H‰H×Ñ˜QÓ%ˆØ�H‰H�O‰O˜AÓˆØ�H‰H×Ñ˜QÓ%ˆô  ¤ d×&:Ñ&:Ó ;Ö<ˆGÜ  ×!4Ñ!4°QÕ!6Ö7�Ø—G‘G˜GÕ$×*Ñ*¨7Ö3Ü—I’I˜q§&¡&£(˜m°Ô3°Tó;�ä�t—w‘w˜wÕ'×,Ñ,Ó-°Ö1ØŸ™ Õ(×-Ñ-¨gÖ6°qÓ9’Añ	 8ð
 ˜!Ž|Ø—G‘G˜GÕ$×-Ñ-¨aÓ0’ñ =ð �M‰M˜!ÓˆÜ˜‹OˆØ�M‰M˜!ÓˆØˆr*   c                ó.   € V P                   P                  # r   )rŒ  r}   )r¤   s   &r   Úget_last_layerÚModel.get_last_layerª  s   € Ø�}‰}×#Ñ#Ð#r*   )ru  r}  rŒ  r  r5   rƒ  r‹  rx  rw  ry  r  rv  r‡  rp  ©r   rG   rò   é   r÷   )
r±   r²   r³   r´   r¢   r®   rœ  rµ   r¶   r·   r¸   s   @@r   rm  rm    sQ   ù‡ € ðb3¨ið b3Ø+.ðb3ØAEðb3à*.ðb3à@Eðb3àQZ÷b3ôH.÷`$ò $r*   rm  c                   ó`   a a€ ] tR tRt oRRRRRRRRRR	R
RRR	RRRR	/	V 3R lltR tRtVtV ;t# )ÚEncoderi®  rn  rû   r–   ro  TÚdouble_zrq  Fri  rf  Úconv3dÚtime_compressNrÞ   c               óú  <€ \         SV `  4        V'       d   R pWn        ^ V n        T;'       d    V'       * ;V n        p\        V4      V n        W@n        W�n        W€n	        RV n
        V'       d.   V'       g   \        pRV n
        M\        p\        P                  pM \        P                  p\        P                  pV! VV P                  ^^^R7      V n        ^V n        T	pR\%        V4      ,           pVV n        \(        P*                  ! 4       V n        \/        V P                  4       EF„  p\(        P*                  ! 4       p\(        P*                  ! 4       pVVV,          ,          pWV,          ,          p\/        V P                  4       FU  pVP1                  \3        VVV P                  VVVR7      4       TpVV9   g   K8  VP1                  \5        VVVR7      4       KW  	  \(        P6                  ! 4       pVVn        VVn        VV P                  ^,
          8w  dt   ^pVe7   V P                  ^,
          V,
          \<        P>                  ! V4      8”  d   R	pMV ;P"                  ^,          un        \A        VVVVVR7      Vn!        V^,          pV P,                  P1                  V4       EK‡  	  Ve   Wðn        \(        P6                  ! 4       V n"        \3        XVV P                  VVVR7      V PD                  n#        \5        VVVR7      V PD                  n$        \3        VVV P                  VVVR7      V PD                  n%        \M        V4      V n'        T! TV'       d
   ^V
,          MT
^^^R7      V n(        R# )
rs  FTrÜ   ©r5   r™   rü   rû   rß   rÞ   )ri  rß   N)rŸ   rß   rÞ   rt  )r   rG   rG   ))r¡   r¢   ru  rv  rÞ   r   rw  rx  ry  r5   Úcarriedr�   rÌ   r3   r£   ré   r}  r¤  r~  r�  r    r{  r  rM   rÄ   rù   rk  rz  r€  r�  r   Úlog2rî   r‚  rƒ  r„  r…  r†  r6   r‹  rŒ  )r¤   ru  r�  rn  rx  rŽ  rû   ro  r5   ry  Ú
z_channelsr¢  rq  ri  r£  r¤  rÞ   Úignore_kwargsrß   Úmid_attn_conv_opr�  r�  r‘  r€  r�  r’  r“  r”  r  rŸ   r©   s   &$$$$$$$$$$$$$$$$,            €r   r¢   ÚEncoder.__init__¯  sã  ø€ ô
 	‰ÑÔßØ ˆIØŒØˆŒØ'1×'@Ð'@¸&´jÐ@ˆŒ˜*Ü" 7›|ˆÔØ,ÔØ$ŒØ&ÔØˆŒçß#Ü'�Ø#�•ä%�Ü"Ÿz™zÑä—j‘jˆGÜ"Ÿz™zÐñ ˜{Ø'+§w¡wØ34Ø./Ø/0ô	2ˆŒð ˆÔØˆØœ% ›.Õ(ˆ
Ø$ˆŒÜ—M’M“OˆŒ	Ü˜T×1Ñ1×2ˆGÜ—M’M“OˆEÜ—=’=“?ˆDØ˜* WÕ-Õ-ˆHØ 7Õ+Õ+ˆIÜ  ×!4Ñ!4Ö5�Ø—‘œ[°XØ6?Ø7;·|±|Ø18Ø18Ø4>ô@ô Að %�ØÐ/Ö/Ø—K‘K¤	¨(¸iÐQXÔ YÖZñ 6ô —9’9“;ˆDØˆDŒJØˆDŒIØ˜$×.Ñ.¨qÕ0Ô0Ø�Ø Ò,Ø×,Ñ,¨qÕ0°7Õ:¼d¿iºiÈÓ>VÔVØ!*˜øà×&Ò&¨!Õ+Õ&Ü",¨XÐ7GÐPVÐ`gÐt~Ô"�”Ø# q�=�Ø�I‰I×Ñ˜T×"ñ7 3ð: Ò$Ø!.Ôô —9’9“;ˆŒÜ&°8Ø4<Ø59·\±\Ø/6Ø/6Ø2<ô>ˆ�‰Ôô $ H¸	ÐK[Ô\ˆ�‰ŒÜ&°8Ø4<Ø59·\±\Ø/6Ø/6Ø2<ô>ˆ�‰Ôô " (Ó+ˆŒÙ ß8@¨¨*®ÀjØ45Ø/0Ø01ô	3ˆŽr*   c           
     ó¬  € R pV P                   '       dž   VR,          .pVP                  ^,          V P                  8”  do   V P                  pV\        P                  ! VRR^^VP                  ^,          ^,
          V,          V,          ,           1RR3,          V^,          ^R7      ,          pTpMV.p. pR p\        V4       EF¤  w  rx. p	V\        V4      ^,
          8X  d   R p	V P                  '       dG   \        VP                  VP                  4      '       d!   VP                  \        P                  R7      pV.p\        W€P                  Wi4      p
\        V P                   4       Fæ  p\        V P"                  4       FŽ  pV P$                  V,          P&                  V,          ! W¢Wi4      p
\        V P$                  V,          P(                  4      ^ 8”  g   K[  V^ 8X  g   Q hV P$                  V,          P(                  V,          ! V
4      p
K�  	  W°P                   ^,
          8w  g   KÃ  V P$                  V,          P+                  W¦V	4      p
Kè  	  VP-                  V
4       T	pEK§  	  \/        V^R7      p?V P0                  P3                  WÒ4      pV P0                  P5                  V4      pV P0                  P7                  WÒ4      pV P                  '       dG   \        VP                  VP                  4      '       d!   \9        V P:                  WÐP<                  4      # \?        V P=                  V4      4      .p\        WÐP:                  4      pV# )Nr   r   r�   rä   ) r§  r   r¤  r   ÚsplitÚ	enumerater   rÞ   rE   r   r   r„   rR   rÊ   r}  rM   rw  rx  r  r€  r�  r‚  rÄ   r   rƒ  r„  r…  r†  r›   rŒ  r‹  r-   )r¤   r   r  r
   ÚtcrX   rÆ   r5  Úx1rÇ   Úh1r‘  r”  rm   s   &&            r   r®   ÚEncoder.forward  s•  € àˆà�<�<ˆ<Ø�NÕ#Ð$ˆBØ�w‰w�q�z˜D×.Ñ.Ô.Ø×'Ñ'�Ø”e—k’k ! A q¨!¨Q°1·7±7¸1µ:Àµ>ÀbÕ2HÈBÕ1NÕ-NÐ*NÐPQÐSTÐ$TÕ"UÐWYÐ\]ÕW]ÐefÔgÕg�Ø‰Aà�ˆAØˆàˆä˜q—\‰EˆAØˆNØ”C˜“F˜Q•JŒØ!%�ð ��ˆÔ#4°R·Y±YÀÇÁ×#IÒ#IØ—]‘]´×1DÑ1D�]ÓE�Ø�ˆBÜ% b¯,©,¸ÓVˆBä  ×!5Ñ!5Ö6�Ü$ T×%8Ñ%8Ö9�GØŸ™ 7Õ+×1Ñ1°'Ö:¸2À]Óc�BÜ˜4Ÿ9™9 WÕ-×2Ñ2Ó3°aÖ7Ø  Aœv˜˜vØ!ŸY™Y wÕ/×4Ñ4°WÖ=¸bÓAšñ	  :ð
 ×2Ñ2°1Õ4Ö4ØŸ™ 7Õ+×6Ñ6°rÈ.ÓY’Bñ 7ð �J‰J�rŒNØ*‹Mñ+ "ô.   ¨Ô+ˆØð �H‰H×Ñ˜QÓ%ˆØ�H‰H�O‰O˜AÓˆØ�H‰H×Ñ˜QÓ%ˆð �?�?ˆ?Ô0°·±¸1¿7¹7×CÒCÜ˜dŸm™m¨Q·±Ó>Ð>Ü˜4Ÿ=™=¨Ó+Ó,Ð.ˆÜ  §M¡MÓ2ˆØˆr*   )r§  ru  r}  rŒ  r  rÞ   r�  r5   rƒ  r‹  rx  rw  ry  rv  r¤  rž  r°   r¸   s   @@r   r¡  r¡  ®  sm   ù‡ € ð^3¨ið ^3Ø+.ð^3ØAEð^3à26ð^3àHMð^3àYbð^3ð ð^3ð .2ð^3ð ?D÷^3÷@4ò 4r*   r¡  c                   ó‚   a a€ ] tR tRt oRRRRRRRRR	RR
]P
                  R]R]RRRRRR/V 3R lltR t	R t
RtVtV ;t# )ÚDecoderiF  rn  rû   r–   ro  TÚtanh_outFrq  Úconv_out_opÚ	resnet_opÚattn_opr£  r¤  NrÞ   c               ó   <€ \         SV `  4        Wn        ^ V n        \	        V4      V n        W@n        W�n        W€n        W°n	        RV n
        T;'       d    V'       * ;V n        pV'       dE   V'       g    V\        8X  d   \        p\        pRV n
        M\        p\        p\        P                   pM \        P"                  p\        P"                  pWV P
                  ^,
          ,          ,          pV	^V P
                  ^,
          ,          ,          p^V
VV3V n        \&        P(                  ! RP+                  V P$                  \,        P.                  ! V P$                  4      4      4       V! V
V^^^R7      V n        \2        P4                  ! 4       V n        V! VVV P                  VVVR7      V P6                  n        V! VVR7      V P6                  n        V! VVV P                  VVVR7      V P6                  n        \2        P>                  ! 4       V n         \C        \E        V P
                  4      4       EF2  p\2        P>                  ! 4       p\2        P>                  ! 4       pWV,          ,          p\E        V P                  ^,           4       FN  pVPG                  V! VVV P                  VVVR7      4       TpVV9   g   K5  VPG                  V! VVR7      4       KP  	  \2        P4                  ! 4       pVVn$        VVn%        V^ 8w  dB   RpVe   V\L        PN                  ! V4      8”  d   R
p\Q        VVVVVR	7      Vn)        V^,          pV P@                  PU                  ^ V4       EK5  	  \W        V4      V n,        V! VV^^^R7      V n-        R# )r   FTz+Working with z of shape {} = {} dimensions.rÜ   r¦  rh  rØ   N)rß   rÔ   rÞ   )râ   rØ   rØ   ).r¡   r¢   ru  rv  r   rw  rx  ry  r5   r¶  r§  rÞ   rù   r�   rÌ   r3   r£   ré   Úz_shaper(  Údebugr*  ÚnpÚprodr}  r    rz  rƒ  r„  r…  r†  r{  r‡  rˆ  rM   rÄ   r€  r�  r   r¨  r×   r‰  rŠ  r6   r‹  rŒ  ) r¤   ru  r�  rn  rx  rŽ  rû   ro  r5   ry  r©  r¶  rq  r·  r¸  r¹  r£  r¤  rÞ   Úignorekwargsrß   r«  r’  r�  r‘  r€  r�  r“  r”  r‡  rÔ   r©   s    &$$$$$$$$$$$$$$$$$$,           €r   r¢   ÚDecoder.__init__G  s÷  ø€ ô 	‰ÑÔØŒØˆŒÜ" 7›|ˆÔØ,ÔØ$ŒØ&ÔØ ŒØˆŒØ'1×'@Ð'@¸&´jÐ@ˆŒ˜*çß#¨	´[Ô(@Ü'�Ü+�Ø#�•ä%�Ü)�ä"Ÿz™zÑä—j‘jˆGÜ"Ÿz™zÐð ˜d×2Ñ2°1Õ4Õ5Õ5ˆØ  T×%9Ñ%9¸!Õ%;Õ!<Õ<ˆØ˜* X¨hÐ7ˆŒÜ�ŠÐC×JÑJØ�L‰Lœ"Ÿ'š' $§,¡,Ó/ó1ô 	2ñ ˜zØ'/Ø34Ø./Ø/0ô	2ˆŒô —9’9“;ˆŒÙ$°Ø4<Ø59·\±\Ø/6Ø/6Ø2<ô>ˆ�‰Ôñ " (Ð4DÔEˆ�‰ŒÙ$°Ø4<Ø59·\±\Ø/6Ø/6Ø2<ô>ˆ�‰Ôô —-’-“/ˆŒÜ¤ d×&:Ñ&:Ó ;×<ˆGÜ—M’M“OˆEÜ—=’=“?ˆDØ 7Õ+Õ+ˆIÜ  ×!4Ñ!4°QÕ!6Ö7�Ø—‘™Y°8Ø6?Ø7;·|±|Ø18Ø18Ø4>ô@ô Að %�ØÐ/Ö/Ø—K‘K¡¨¸'Ô BÖCñ 8ô —’“ˆBØˆBŒHØˆBŒGØ˜!Œ|Ø"�Ø Ò,Ø¤§¢¨=Ó!9Ô9Ø'6˜ä& xÐ1AÈ7Ðamð  {Eô  F�”Ø# a�<�Ø�G‰G�N‰N˜1˜b×!ñ3 =ô8 " (Ó+ˆŒÙ# HØ(.Ø45Ø/0Ø01ô	3ˆŽr*   c                ó¢  a aa	€ S P                  VP                  \        P                  R 7      4      oS P                  P                  SR4      oS P                  P                  S4      oS P                  P                  SR4      oS P                  o	\        P                  ! \        VV	V 3R l\        ^S	4       4       4      SP                  SP                  R7      p\        \        S	4      4       EF�  pS P                  V,          pRp\!        VP"                  4       Få  w  rgVf�   VP%                  S4      '       d   \'        SVP(                  ^ 4      pMm\+        Y"P-                  4       VS	^,
          8  d   SP-                  4       M^ ,
          VP(                  SP.                  ^,          SP.                  ^,          4      pV! SRVR7      o\1        VP2                  4      ^ 8”  g   KÌ  VP2                  V,          ! S4      oKç  	  V^ 8w  g   EK!  VP5                  S\+        W"P-                  4       SP.                  ^,          ^SP.                  ^,          ,          ^SP.                  ^,          ,          4      R7      oEK’  	  \7        S P8                  SS P:                  4      oS P<                  '       d   \        P>                  ! S4      oS# )r�   Nc              3   ó  <"  € T F  pSP                   V,          P                  R,          P                  SP                  ^,          SV,
          ,          ,          SP                  ^,          SV,
          ,          ,          x € K�  	  R# 5i)r   Nr   )r‡  r€  r™   r   )Ú.0r5  rm   ru   r¤   s   & €€€r   Ú	<genexpr>Ú(Decoder.forward_fused.<locals>.<genexpr>µ  sr   øé € ð  Jñ  ~IÐxy˜dŸg™g a�j×.Ñ.¨rÕ2×?Ñ?À1Ç7Á7È1Å:ÐRSÐVWÕRWÕCXÕYÐ]^×]dÑ]dÐefÕ]gÐlmÐpqÕlqÕ]r×sÒsó  ~Iùs   ƒBB
)r   r   )r  r  ) r}  r„   r   rR   rƒ  r„  r…  r†  rw  rQ   rJ   rM   r   r   rˆ  r‡  r¯  r€  r  rp   r™   rv   rK   r   r   r�  r‰  r›   rŒ  r‹  r¶  Útanh)
r¤   Úzrs   r‘  Úlevelr  r”  r€  rm   ru   s
   f&      @@r   Úforward_fusedÚDecoder.forward_fused­  sd  ú€ ð �L‰L˜Ÿ™´E×4GÑ4G˜ÓHÓIˆØ�H‰H×Ñ˜Q Ó%ˆØ�H‰H�O‰O˜AÓˆØ�H‰H×Ñ˜Q Ó%ˆØ× Ñ ˆÜ�kŠkœ#ö  Jô  ~Cð  DEð  GHô  ~Ió  Jó  Jð  RS÷  RYñ  RYð  bc÷  bjñ  bjô  kˆÜ¤ a£×)ˆGØ—G‘G˜GÕ$ˆEØˆFÜ"+¨E¯K©KÖ"8‘�Ø’>Ø×,Ñ,¨Q×/Ò/Ü!1°!°U×5GÑ5GÈÓ!K™ä!'¨¯Y©Y«[ÈÐSTÐWXÕSXÌ¸A¿G¹G¼IÐ^_Õ-`Ðbg×btÑbtÐvw×v}Ñv}Ð~õ  wAð  CD÷  CJñ  CJð  KLõ  CMó  "N˜Ù˜!˜T¨&Ô1�Ü�u—z‘z“? QÖ&ØŸ
™
 7Ö+¨AÓ.’Añ #9ð ˜!�|Ø—N‘N 1¬&°·i±i³kÀ1Ç7Á7È1Å:ÈqÐST×SZÑSZÐ[\ÕS]Í~Ð_`Ðcd×cjÑcjÐklÕcmÕ_mÓ*n�NÓo“ñ *ô �t—}‘} a¨¯©Ó7ˆØ�=�=ˆ=Ü—
’
˜1“ˆAØˆr*   c           	     ó  € V P                   '       d˜   \        VP                  VP                  4      '       dr   \	        VP
                  ^ ,          4       Uu. uF  q0P                  WV^,            4      NK  	  pp\        V4      ^8X  d
   V^ ,          # \        P                  ! V4      # Rp\        V.V P                  4      pV P                  P                  ! We3/ VB pV P                  P                  ! V3/ VB pV P                  P                  ! We3/ VB pV P                   '       d   \        P"                  ! V^^R7      pMV.p. pRp\%        V4       EF�  w  r8. p	V\        V4      ^,
          8X  d   Rp	\'        \	        V P(                  4      4       Fß  p
\	        V P*                  ^,           4       F�  pV P,                  V
,          P.                  V,          ! W…Wy3/ VB p\        V P,                  V
,          P0                  4      ^ 8”  g   K\  V^ 8X  g   Q hV P,                  V
,          P0                  V,          ! V3/ VB pK’  	  V
^ 8w  g   K¼  V P,                  V
,          P3                  W‡V	4      pKá  	  V P5                  V4      p\7        V4      .p\        W€P8                  Wy4      pV P:                  '       d   \        P<                  ! V4      pVP?                  V4       T	pEK“  	  \A        V^R7      pV# u upi )r   Nr   )!rÞ   rE   r   r   rM   r   rÉ  r   r   r	   rÊ   r}  rƒ  r„  r…  r†  r§  r®  r¯  rˆ  rw  rx  r‡  r€  r�  r‰  r‹  r-   rŒ  r¶  rÆ  rÄ   r   )r¤   rÇ  r¨   r5  rX   r  rm   rÆ   r²  rÇ   r‘  r”  s   &&,         r   r®   ÚDecoder.forwardÉ  sh  € Ø�?�?ˆ?Ô0°·±¸1¿7¹7×CÒCÜ;@ÀÇÁÈÅÔ;LÓMÑ;L°a×%Ñ% a¨!¨a­% jÖ1Ñ;LˆCÐMÜ  ›X¨œ]�3�q•6Ð>´·	²	¸#³Ð>ð ˆô ! !  d§l¡lÓ3ˆð �H‰H×Ò˜QÑ/¨Ñ/ˆØ�H‰H�OŠO˜AÑ( Ñ(ˆØ�H‰H×Ò˜QÑ/¨Ñ/ˆà�<�<ˆ<Ü—’˜A˜q aÔ(‰Aà�ˆAØˆàˆô ˜q—\‰EˆAØˆNØ”C˜“F˜Q•JŒØ!%�Ü#¤E¨$×*>Ñ*>Ó$?Ö@�Ü$ T×%8Ñ%8¸Õ%:Ö;�GØŸ™ Õ)×/Ñ/°Ö8¸À=ÑkÐdjÑk�BÜ˜4Ÿ7™7 7Õ+×0Ñ0Ó1°AÖ5Ø  Aœv˜˜vØ!ŸW™W WÕ-×2Ñ2°7Ö;¸BÑIÀ&ÑIšñ	  <ð
 ˜a–<ØŸ™ Õ)×2Ñ2°2ÀnÓU’Bñ Að —‘˜rÓ"ˆBÜ Ó#Ð%ˆBÜ% b¯-©-¸ÓWˆBØ�}�}ˆ}Ü—Z’Z “^�Ø�J‰J�rŒNØ*‹Mñ' "ô* " #¨1Ô-ˆàˆ
ùò] Ns   Á"K<)r§  ru  r}  rŒ  rÞ   r5   rƒ  r‹  rx  rw  ry  r¶  rv  r‡  r»  rž  )r±   r²   r³   r´   r3   ré   rù   r_  r¢   rÉ  r®   rµ   r¶   r·   r¸   s   @@r   rµ  rµ  F  s�   ù‡ € ðd3¨ið d3Ø+.ðd3ØAEðd3à27ðd3àINðd3ð !ŸZ™Zðd3ð 'ð	d3ð
 #ðd3ð ðd3ð  $ðd3ð "÷d3òL÷80ò 0r*   rµ  )Fr   )é    i   )r   NF)Nr   NFr÷   )0r   r   Útorch.nnr    Únumpyr½  r(  r=   r   Ú	comfy.opsÚcomfy.quant_opsr3   Údisable_weight_initrY  rK  Úxformers.opsr   r)   r-   r6   rE   rL   rc   rp   rv   r   r†   r›   rz  r�   rÊ   rÌ   rŽ   r×   rì   rî   rù   r9  r=  rN  rW  r]  r_  ré   rk  rm  r¡  rµ  r\  r*   r   Ú<module>rÔ     s^  ðã Û Ý Û Û å "Û Û Ø‡i�i×#Ñ#€à×(Ò(×*Ò*ÛÛòôò.'ô
aò4ð €ôò(~òQòGòôCô �B—I‘Iô ôô,�"—)‘)ô ò$Yô#ˆr�y‰yô #òLô$�—‘ô ôDg�"—)‘)ô gòR#òJò ò"ò.	 ô(�—	‘	ô (ðV &/¸DÈ#Ï*É*ô 3ôV$ˆB�I‰Iô V$ôrUˆb�i‰iô Uôpsˆb�i‰iö sr*   