+
    ƒ°ñjŒW  ã                   óÖ  € ^ RI t ^ RIHt ^ RIt^ RIt^ RIHt ^ RIH	t	 ]P                  P                  t
 ! R R]P                  4      tR$R ltR t ! R R	]P                  4      t ! R
 R]P                  4      tR tR t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R  R!]P                  4      t ! R" R#]P                  4      tR# )%é    N)Úoptimized_attention)ÚWNConv1dc                   ó&   a € ] tR t^t o R tRtV tR# )Ú	Transposec                ó&   € VP                  RR4      # )é   éþÿÿÿéÿÿÿÿ)Ú	transpose©ÚselfÚxÚkwargss   &&,Ú;C:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\audio\vae_sa3.pyÚforwardÚTranspose.forward   s   € Ø�{‰{˜2˜rÓ"Ð"ó    © N©Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   Ú__static_attributes__Ú__classdictcell__©Ú__classdict__s   @r   r   r      s   ø‡ € ÷#ð #r   r   c           	      ó   € V P                   V,          pWV,          ,
          V,          pV^ 8”  d^   \        V P                   4      pWEV&   \        P                  ! V \        P                  ! WPP
                  V P                  R7      .VR7      p V # )r   ©ÚdeviceÚdtype©Údim)ÚshapeÚlistÚtorchÚcatÚzerosr    r!   )r   Úsizer#   Ú	input_lenÚpad_lenÚ	pad_shapes   &&&   r   Ú_zero_pad_modulo_sequencer-      sj   € Ø—‘˜•€IØ $Õ&Õ&¨$Õ.€GØ�„{Ü˜Ÿ™“Mˆ	Ø �#‰Ü�IŠI�qœ%Ÿ+š+ i¿¹ÈÏÉÔPÐQÐWZÔ[ˆØ€Hr   c           
     ó   € \         P                  ! WR7      P                  ^4      p\         P                  ! WR7      P                  ^ 4      pWT,
          P                  4       V8„  p\         P                  ! V\         P
                  ! R\         P                  ! V4      P                  ^,          W#R7      \         P                  ! ^W#R7      4      # )u[   Additive attention mask enforcing a Â±window local window (matches flash_attn window_size).©r    r   )é   )	r&   ÚarangeÚ	unsqueezeÚabsÚwhereÚfullÚfinfoÚminr(   )Úseq_lenÚwindowr    r!   ÚiÚjÚout_of_windows   &&&&   r   Ú_sliding_window_maskr=      sŒ   € ä�Š�WÔ,×6Ñ6°qÓ9€AÜ�Š�WÔ,×6Ñ6°qÓ9€AØ•U—K‘K“M FÑ*€MÜ�;Š;ØÜ�
Š
�4œŸš UÓ+×/Ñ/°!Õ3¸FÔPÜ�Š�A˜fÔ2óð r   c                   ó<   a a€ ] tR t^&t oRV 3R lltR tRtVtV ;t# )ÚDynamicTanhc                óJ  <€ \         SV `  4        \        P                  ! \        P
                  ! ^W4R7      4      V n        \        P                  ! \        P
                  ! WVR7      4      V n        \        P                  ! \        P
                  ! WVR7      4      V n        R# )r0   ©r!   r    N)	ÚsuperÚ__init__ÚnnÚ	Parameterr&   ÚemptyÚalphaÚgammaÚbeta)r   r#   Ú
init_alphar!   r    r   Ú	__class__s   &&&&&,€r   rC   ÚDynamicTanh.__init__'   s_   ø€ Ü‰ÑÔÜ—\’\¤%§+¢+¨a°uÔ"LÓMˆŒ
Ü—\’\¤%§+¢+¨cÀvÔ"NÓOˆŒ
Ü—L’L¤§¢¨SÀfÔ!MÓNˆŽ	r   c                óR  € \         P                  P                  V P                  V4      p\         P                  P                  V P                  V4      p\         P                  P                  V P
                  V4      pV\        P                  ! W!,          4      ,          V,           # ©N)ÚcomfyÚopsÚcast_to_inputrG   rH   rI   r&   Útanh)r   r   rG   rH   rI   s   &&   r   r   ÚDynamicTanh.forward-   sk   € Ü—	‘	×'Ñ'¨¯
©
°AÓ6ˆÜ—	‘	×'Ñ'¨¯
©
°AÓ6ˆÜ�y‰y×&Ñ& t§y¡y°!Ó4ˆØ”u—z’z %¥)Ó,Õ,¨tÕ3Ð3r   )rG   rI   rH   )g      @NN©	r   r   r   r   rC   r   r   r   Ú__classcell__©rK   r   s   @@r   r?   r?   &   s   ù‡ € ÷O÷4ò 4r   r?   c                   óF   a a€ ] tR t^4t oRV 3R lltRR ltR tRtVtV ;t	# )ÚRotaryEmbeddingc           	     óº   <€ \         SV `  4        W#W^,
          ,          ,          ,          pV P                  R\        P                  ! V^,          WER7      4       R# )r   Úinv_freqrA   N)rB   rC   Úregister_bufferr&   rF   )r   r#   ÚbaseÚbase_rescale_factorr!   r    rK   s   &&&&&&€r   rC   ÚRotaryEmbedding.__init__5   s@   ø€ Ü‰ÑÔØ¨c¸1µW­oÕ>Õ>ˆØ×Ñ˜Z¬¯ª°S¸AµXÀUÔ)ZÖ[r   c                óp   € \         P                  ! W\         P                  R 7      pV P                  V4      # )r   )r&   r1   Úfloat32r   )r   r8   r    r!   Úts   &&&& r   Úforward_from_seq_lenÚ$RotaryEmbedding.forward_from_seq_len:   s$   € Ü�LŠL˜´u·}±}ÔEˆØ�|‰|˜A‹Ðr   c           	     ó
  € \         P                  ! VP                  4       \        P                  P                  V P                  \         P                  VP                  R 7      4      p\         P                  ! W"3RR7      pVR3# )rA   r"   ç      ð?r
   )
r&   ÚouterÚfloatrO   Úmodel_managementÚcast_torZ   r`   r    r'   )r   ra   Úfreqss   && r   r   ÚRotaryEmbedding.forward>   s^   € Ü—’˜AŸG™G›I¤u×'=Ñ'=×'EÑ'EÀdÇmÁmÔ[`×[hÑ[hÐqr×qyÑqyÐ'EÓ'zÓ{ˆÜ—	’	˜5˜.¨bÔ1ˆØ�bˆyÐr   r   )i'  re   NNrN   )
r   r   r   r   rC   rb   r   r   r   rU   rV   s   @@r   rX   rX   4   s   ù‡ € ÷\ô
÷ò r   rX   c                 ó˜   € V P                   R,          ^,          p\        P                  ! V RVR13,          ) V RRV13,          3RR7      # )r0   .Nr"   r
   )r$   r&   r'   )r   Úds   & r   Ú_rotate_halfrn   D   sB   € Ø	�‰���qÕ€AÜ�9Š9�q˜˜a™b˜•z�k 1 S¨"¨1¨" W¥:Ð.°BÔ7Ð7r   c                 óˆ  € V P                   pVP                  R,          pV P                  R,          pW) R pV RRV13,          V RVR13,          reWQP                  4       ,          \        V4      VP	                  4       ,          ,           p\
        P                  ! VP                  V4      VP                  V4      3RR7      # )r0   N.r"   r
   r	   )r!   r$   Úcosrn   Úsinr&   r'   Úto)ra   rj   Ú	out_dtypeÚrot_dimr8   Út_rotÚt_passs   &&     r   Ú_apply_rotary_pos_embrw   I   s›   € Ø—‘€IØ�k‰k˜"�o€GØ�g‰g�b�k€GØ�(�)Ð€EØ�c˜8˜G˜8�mÕ$ a¨¨W©X¨Õ&6ˆ6Ø—I‘I“KÕ¤,¨uÓ"5¸¿	¹	»Õ"CÕC€EÜ�9Š9�e—h‘h˜yÓ)¨6¯9©9°YÓ+?Ð@ÀbÔIÐIr   c                   ó@   a a€ ] tR t^St oRV 3R lltRR ltRtVtV ;t# )Ú	Attentionc
                ó¨  <€ \         SV `  4        W,          V n        WPn        W0n        T	P                  YV'       d   ^M^,          RWxR7      V n        V	P                  WRWxR7      V n        VR8X  d'   \        W'VR7      V n	        \        W'VR7      V n
        R# VR8X  d3   V	P                  W$WxR7      V n	        V	P                  W$WxR7      V n
        R# R# )é   F©Úbiasr!   r    ÚdytrA   Úrms)Úepsr!   r    N)rB   rC   Ú	num_headsÚdifferentialÚqk_normÚLinearÚto_qkvÚto_outr?   Úq_normÚk_normÚRMSNorm)r   r#   Ú	dim_headsrƒ   Úqk_norm_epsr‚   Úzero_init_outputr!   r    Ú
operationsr   rK   s   &&&&&&&&&&,€r   rC   ÚAttention.__init__T   sÅ   ø€ ô 	‰ÑÔØÕ)ˆŒØ(ÔØŒà ×'Ñ'ØŸ\™¨qÕ1¸ÀUð (ó [ˆŒà ×'Ñ'¨°uÀEÐ'ÓYˆŒà�eÔÜ% iÀVÔLˆDŒKÜ% iÀVÔLˆDŽKØ˜ÔØ$×,Ñ,¨YÈuÐ,ÓdˆDŒKØ$×,Ñ,¨YÈuÐ,ÓdˆDŽKñ r   c                óö  € VP                   w  rVpV P                  pV P                  V4      p	V P                  '       dÉ   V	P	                  ^RR7      w  r«rÍp?	V
P                  WVVR4      P                  ^^4      p
VP                  WVVR4      P                  ^^4      pVP                  WVVR4      P                  ^^4      pVP                  WVVR4      P                  ^^4      pVP                  WVVR4      P                  ^^4      pM€V	P	                  ^RR7      w  r«p?	V
P                  WVVR4      P                  ^^4      p
VP                  WVVR4      P                  ^^4      pVP                  WVVR4      P                  ^^4      pV P                  R8w  d«   V
P                  VP                  ppV P                  V
4      P                  V4      p
V P                  V4      P                  V4      pV P                  '       dA   V P                  X4      P                  V4      pV P                  X4      P                  V4      pVeÔ   Vw  ppV
P                  VP                  pp\        V
P                  4       V4      P                  V4      p
\        VP                  4       V4      P                  V4      pV P                  '       dS   \        XP                  4       V4      P                  V4      p\        XP                  4       V4      P                  V4      pV P                  '       d-   \        W«WÈVRRR7      \        XXWÈVRRR7      ,
          p?
????M\        W«WÈVRRR7      p?
??V P                  V4      # )r{   r"   ÚnoneTF)ÚmaskÚskip_reshapeÚlow_precision_attentionr
   )r$   r�   r…   r‚   ÚchunkÚviewr   rƒ   r!   r‡   rr   rˆ   rw   rg   r   r†   )r   r   Úrotary_pos_embr‘   r   ÚBÚNÚ_ÚhÚqkvÚqÚkÚvÚq_diffÚk_diffÚq_dtypeÚk_dtyperj   Úouts   &&&&,              r   r   ÚAttention.forwardg   sö  € Ø—'‘'‰ˆˆaØ�N‰Nˆà�k‰k˜!‹nˆØ××ÐØ&)§i¡i°°r iÓ&:Ñ#ˆA�!˜VØØ—‘�q˜Q Ó#×-Ñ-¨a°Ó3ˆAØ—‘�q˜Q Ó#×-Ñ-¨a°Ó3ˆAØ—‘�q˜Q Ó#×-Ñ-¨a°Ó3ˆAØ—[‘[  q¨"Ó-×7Ñ7¸¸1Ó=ˆFØ—[‘[  q¨"Ó-×7Ñ7¸¸1Ó=‰Fà—i‘i  r�iÓ*‰GˆA�!ØØ—‘�q˜Q Ó#×-Ñ-¨a°Ó3ˆAØ—‘�q˜Q Ó#×-Ñ-¨a°Ó3ˆAØ—‘�q˜Q Ó#×-Ñ-¨a°Ó3ˆAà�<‰<˜6Ô!Ø Ÿw™w¨¯©�WˆGØ—‘˜A“×!Ñ! 'Ó*ˆAØ—‘˜A“×!Ñ! 'Ó*ˆAØ× × Ð ØŸ™ VÓ,×/Ñ/°Ó8�ØŸ™ VÓ,×/Ñ/°Ó8�àÒ%Ø%‰HˆE�1Ø Ÿw™w¨¯©�WˆGÜ% a§g¡g£i°Ó7×:Ñ:¸7ÓCˆAÜ% a§g¡g£i°Ó7×:Ñ:¸7ÓCˆAØ× × Ð Ü.¨v¯|©|«~¸uÓE×HÑHÈÓQ�Ü.¨v¯|©|«~¸uÓE×HÑHÈÓQ�à××ÐÜ& q¨Q¸È4ÐinÔoÜ(¨°¸ÀDÐW[ÐuzÔ{õ|ˆCà�1�a˜¡ä% a¨A°tÈ$ÐhmÔnˆCØ�1�aà�{‰{˜3ÓÐr   )r‚   rˆ   r�   r‡   rƒ   r†   r…   )é@   r�   g�íµ ÷Æ°>FTNNN)NNrT   rV   s   @@r   ry   ry   S   s   ù‡ € ÷e÷&- ô - r   ry   c                   ó&   a € ] tR t^—t o R tRtV tR# )Ú_Sinc                ó<   € \         P                  ! R V,          4      # )gê.DTû!	@)r&   rq   ©r   r   s   &&r   r   Ú_Sin.forward˜   s   € Ü�yŠy˜¨Õ*Ó+Ð+r   r   Nr   r   s   @r   r§   r§   —   s   ø‡ € ÷,ð ,r   r§   c                   ó<   a a€ ] tR t^œt oRV 3R lltR tRtVtV ;t# )Ú_GLUc                ón   <€ \         SV `  4        W0n        VP                  W^,          WER7      V n        R# )r   rA   N)rB   rC   Úactr„   Úproj)r   Údim_inÚdim_outÚ
activationr!   r    r�   rK   s   &&&&&&&€r   rC   Ú_GLU.__init__�   s.   ø€ Ü‰ÑÔØŒØ×%Ñ% f¸­kÀÐ%ÓVˆŽ	r   c                ó|   € V P                  V4      pVP                  ^RR7      w  rWP                  V4      ,          # )r   r"   r
   )r¯   r”   r®   )r   r   Úgates   && r   r   Ú_GLU.forward¢   s4   € Ø�I‰I�a‹LˆØ—'‘'˜! �'Ó$‰ˆØ—8‘8˜D“>Õ!Ð!r   )r®   r¯   )NNNrT   rV   s   @@r   r¬   r¬   œ   s   ù‡ € ÷W÷
"ò "r   r¬   c                   ó<   a a€ ] tR t^¨t oRV 3R lltR tRtVtV ;t# )ÚFeedForwardc	                ób  <€ \         SV `  4        \        W,          4      p
V'       d   \        4       M\        P
                  ! 4       p\        P                  ! \        WW¶WxR 7      \        P                  ! 4       VP                  W¡V'       * WgR7      \        P                  ! 4       4      V n
        R# ))r!   r    r�   r|   N)rB   rC   Úintr§   rD   ÚSiLUÚ
Sequentialr¬   ÚIdentityr„   Úff)r   r#   ÚmultÚno_biasrŒ   Ú
sinusoidalr!   r    r�   r   Ú	inner_dimr®   rK   s   &&&&&&&&&,  €r   rC   ÚFeedForward.__init__©   so   ø€ ä‰ÑÔÜ˜�
“Oˆ	ß"ŒdŒf¬¯ª«	ˆÜ—-’-Ü� ¸&ÔXÜ�KŠK‹MØ×Ñ˜i°w´;ÀeÐÓ[Ü�KŠK‹Mó	
ˆŽr   c                ó$   € V P                  V4      # rN   ©r¾   r   s   &&,r   r   ÚFeedForward.forwardµ   s   € Ø�w‰w�q‹zÐr   rÅ   )é   FTFNNNrT   rV   s   @@r   r¸   r¸   ¨   s   ù‡ € ÷

÷ò r   r¸   c                   ó@   a a€ ] tR t^¹t oRV 3R lltRR ltRtVtV ;t# )ÚTransformerBlockc                ó˜  <€ \         SV `  4        Vf   / pVf   / pV	f   / p	\        W!4      pVR8X  d   \        MVP                  p/ V	CRV
RV/CpV! V3/ VB V n        \        V3RVRVRV
RVRV/VB V n        V! V3/ VB V n        \        V3RVRV
RVRV/VB V n
        V'       d   \        V^,          W«R7      V n        R # R V n        R # )Nr~   r!   r    rŠ   rŒ   r�   rA   )rB   rC   r7   r?   r‰   Úpre_normry   Ú	self_attnÚff_normr¸   r¾   rX   Úrope)r   r#   rŠ   ÚcausalÚzero_init_branch_outputsÚ	norm_typeÚadd_ropeÚattn_kwargsÚ	ff_kwargsÚnorm_kwargsr!   r    r�   r   ÚNormÚnorm_kwrK   s   &&&&&&&&&&&&&,  €r   rC   ÚTransformerBlock.__init__º   s  ø€ ô 	‰ÑÔØÒØˆKØÒØˆIØÒØˆKÜ˜	Ó'ˆ	à'¨5Ô0�{°j×6HÑ6HˆØC�[ÐC '¨5°(¸FÑCˆá˜SÑ, GÑ,ˆŒÜ" 3ñ 2°)ð 2Ø4Lð2à).ð2à7=ð2àJTð2ð &1ñ2ˆŒñ ˜CÑ+ 7Ñ+ˆŒÜ˜cñ ^Ð4Lð ^Ø$)ð^Ø28ð^ØEOð^ØS\ñ^ˆŒçS[”O I°¥N¸%ÔOˆŽ	ÐaeˆŽ	r   c                ó2  € V P                   e9   V P                   P                  VP                  R,          VP                  R7      MR pWP	                  V P                  V4      WBR7      ,           pWP                  V P                  V4      4      ,           pV# )Nr/   )r–   r‘   r	   )rÎ   rb   r$   r    rÌ   rË   r¾   rÍ   )r   r   r‘   r   rÎ   s   &&&, r   r   ÚTransformerBlock.forwardÓ   su   € à—)‘)Ò'ð �y‰y×-Ñ-¨a¯g©g°b­kÀ!Ç(Á(Ð-ÔKØ-1ð 	à—‘˜tŸ}™}¨QÓ/À�ÓPÕPˆØ—‘˜Ÿ™ Q›Ó(Õ(ˆØˆr   )r¾   rÍ   rË   rÎ   rÌ   )r¥   FTr~   FNNNNNNrN   rT   rV   s   @@r   rÉ   rÉ   ¹   s   ù‡ € ÷f÷2ô r   rÉ   c                   óT   a a€ ] tR t^Ût oRV 3R lltRR ltRR ltRR ltRtVt	V ;t
# )	ÚTransformerResamplingBlockc                óF  <€ \         SV `  4        VR9  d   \        RV: 24      hW@n        W0n        W�n        W n        Wàn        WPn        VR 8X  d   TMTpW8w  d   \        YV'       d   ^M^RVR7      M\        P                  ! 4       V n        W€n        V P                  Wƒ4      V n        V P!                  V4      w  V n        V n        V n        V'       d   ^MV P$                  p\        P(                  ! \*        P,                  ! ^VVVVR7      4      V n        V'       d   RMRpRV'       d   RMRR	R
RV/pRR
/p. p\1        V4       F;  pVV,
          V8  pVP3                  \5        VVRRVRVRVRRRV/VVVVR7      4       K=  	  \        P6                  ! V4      V n        R# )Úencoderz)type must be 'encoder' or 'decoder', got Úsame)Úpaddingr}   rA   r~   Úrms_normrƒ   r   r‹   çü©ñÒMbP?r‚   r€   FTr¿   rÀ   rÁ   )rŠ   rÏ   rÐ   rÑ   rÒ   rÓ   rÔ   rÕ   r!   r    r�   N)rÞ   Údecoder)rB   rC   Ú
ValueErrorÚtypeÚstrideÚ
chunk_sizeÚchunk_midpoint_shiftÚvariable_strideÚtransformer_depthr   rD   r½   ÚmappingÚsliding_window_latentsÚ_get_sliding_window_sizeÚsliding_window_seqÚ_get_seg_sizesÚinput_seg_sizeÚoutput_seg_sizeÚsub_chunk_sizerE   r&   rF   Ú
new_tokensÚrangeÚappendrÉ   Ú
ModuleListÚtransformers)r   Úin_channelsÚout_channelsræ   rå   rê   rŠ   r‚   Úsliding_windowrç   rè   r~   Úff_multÚmapping_biasré   Úsinusoidal_blocksÚconv_mappingr!   r    r�   r   Útransformer_dimÚ	token_seqrÑ   rÓ   rÕ   r÷   r:   rÁ   rK   s   &&&&&&&&&&&&&&&&&&&&,        €r   rC   Ú#TransformerResamplingBlock.__init__Ü   s   ø€ ô
 	‰ÑÔØÐ-Ô-ÜÐHÈÉÐQÓRÐRàŒ	ØŒØ$ŒØ$8Ô!Ø.ÔØ!2Ôà*.°)Ô*;™,Àˆð 'Ô6ô ! Ç¹AÐSTÐ^dÐkwÕxÜ<>¿KºK»Mð 	Œð '5Ô#Ø"&×"?Ñ"?ÀÓ"WˆÔØIM×I\ÑI\Ð]cÓIdÑFˆÔ˜TÔ1°4Ô3Fç(‘A¨d×.BÑ.Bˆ	ÜŸ,š,¤u§{¢{°1°iÀÐX]ÐflÔ'mÓnˆŒç ‘E jˆ	Ø ¯3¡%°E¸=È$Ø% |ð5ˆà˜d�mˆØˆÜÐ(Ö)ˆAØ+¨aÕ/Ð3DÑDˆJØ×ÑÔ 0ØØ#ØØ)-Ø#ØØ'Ø! 7¨I°u¸lÈJÐWØ'Ø F°zô!ö ñ *ô ŸMšM¨,Ó7ˆÖr   c                ód   € Vf   R # V Uu. uF  qDV^,           V,           ,          NK  	  up# u upi rN   r   )r   r9   ræ   Úprepend_cond_lengthÚws   &&&& r   rí   Ú3TransformerResamplingBlock._get_sliding_window_size  s2   € ØŠ>ÙÙ@FÓGÁ¸1�V˜a•ZÐ"5Õ5×6Ð6ÁÑGÐGùÒGs   ‹-c                ó~   € V^,           V,           pV P                   R8X  d   TM^pV P                   R8X  d   ^MTpWEV3# )r0   rÞ   )rå   )r   ræ   r  rò   rð   rñ   s   &&&   r   rï   Ú)TransformerResamplingBlock._get_seg_sizes  s@   € Ø !�Ð&9Õ9ˆØ#'§9¡9°	Ô#9™¸qˆØ#Ÿy™y¨IÔ5™!¸6ˆØ°Ð>Ð>r   c                ó  € VP                   ^ ,          pVf2   V P                  pV P                  pV P                  pV P                  pM0V P                  V4      w  rVpV P                  V P                  V4      pV P                  R8X  dB   V P                  ^ 8”  d    Vf   V P                  MTp	\        WRR7      pV P                  V4      pV P                  ^ 8”  Ed   VP                  ^ ^^4      pV P                  R8w  d5   Ve   ^M"V P                  Ve   TMV P                  ,          p	\        W4      pVP                   ^,          p
VP                  RWZ4      pV P                   P#                  VP                   ^ ,          VR4      p\$        P&                  ! V\(        P*                  P-                  W±4      .RR7      p?VP                  VRV
4      pVf5   V P                  V P                  Ve   TMV P                  ,          ,           pVfù   V P.                  '       dç   V P                  ^,          pX^,          pVP                  RWÊ4      pV P0                  RV  F  pV! V4      pK  	  VP                  VRV
4      p\$        P&                  ! VRRV1R3,          WRV) R1R3,          .^R7      p?VP                  RWÊ4      p?V P0                  VR  F  pV! V4      pK  	  VP                  VRV
4      pVRWî) 1R3,          pM�VfC   VP                  RXV
4      pV P0                   F  pV! V4      pK  	  VP                  VRV
4      pMW\3        VP                   ^,          V^ ,          VP4                  VP6                  4      pV P0                   F  pV! VVR7      pK  	  VP                  RWz4      pVRV) R1R3,          pVP                  VRV
4      P9                  ^^4      pV P                  R8X  d   V P                  V4      pV# )	r   NrÞ   r"   ºNNN)r‘   rã   r
   r	   )r$   rð   rñ   rò   rî   rï   rí   rì   rå   rê   rç   r-   rë   Úpermuteræ   Úreshaperó   Úexpandr&   r'   rO   rP   rQ   rè   r÷   r=   r    r!   r   )r   r   ræ   r   r—   Ú	input_segÚ
output_segÚ	sub_chunkrú   Úpad_modÚCró   Ú	eff_chunkÚsplitÚshiftÚlayerÚshiftedÚ	attn_masks   &&&,              r   r   Ú"TransformerResamplingBlock.forward  s–  € Ø�G‰G�A�JˆàŠ>Ø×+Ñ+ˆIØ×-Ñ-ˆJØ×+Ñ+ˆIØ!×4Ñ4‰Nà/3×/BÑ/BÀ6Ó/JÑ,ˆI 9Ø!×:Ñ:¸4×;VÑ;VÐX^Ó_ˆNà�9‰9˜	Ô!Ø×%Ñ%¨Ô)Ø-;Ò-C˜$Ÿ/š/È�Ü-¨a¸bÔA�Ø—‘˜Q“ˆAà×!Ñ! AÕ%Ø—	‘	˜!˜Q Ó"ˆAà�y‰y˜IÔ%Ø-Ò9™!Ø—O‘O°&Ò2D©È$Ï+É+ÕVð ä-¨aÓ9�à—‘˜•
ˆAØ—	‘	˜"˜iÓ+ˆAàŸ™×/Ñ/°·±¸µ
¸JÈÓKˆJÜ—	’	˜1œeŸi™i×5Ñ5°jÓDÐEÈ2ÔNˆAØà—	‘	˜!˜R Ó#ˆAàÒ%Ø ŸO™O¨d¯o©oÈFÒL^Á&Ðdh×doÑdoÕ.pÕp�	àÒ%¨$×*C×*CÐ*CØ×.Ñ.°!Õ3�Ø! Q��à—I‘I˜b )Ó/�Ø!×.Ñ.¨v°Ó6�EÙ˜a›’Añ 7à—I‘I˜a  QÓ'�äŸ)š) Q q¨&¨5¨&°! |¥_°a¸1¸u¸f¹gÀq¸=Õ9IÐ$JÐPQÔR�ØØ—O‘O B¨	Ó5�ØØ!×.Ñ.¨u¨vÓ6�EÙ˜a›’Añ 7à—I‘I˜a  QÓ'�Ø�a˜˜v˜ qÐ(Õ)‘ØÒ'Ø—I‘I˜b )¨QÓ/�Ø!×.Ô.�EÙ˜a›’Añ /à—I‘I˜a  QÓ'‘ä0°·±¸µ¸^ÈAÕ=NÐPQ×PXÑPXÐZ[×ZaÑZaÓb�	Ø!×.Ô.�EÙ˜a iÔ0’Añ /ð —	‘	˜"˜iÓ+ˆAØ�!�j�[‘\ 1Ð$Õ%ˆAØ—	‘	˜!˜R Ó#×-Ñ-¨a°Ó3ˆAà�9‰9˜	Ô!Ø—‘˜Q“ˆAàˆr   )rè   rç   rð   rë   ró   rñ   rì   rî   ræ   rò   rê   r÷   rå   ré   )rÞ   é   é€   TNr  FTr  TFr   FNNN©r   rN   )r   r   r   r   rC   rí   rï   r   r   r   rU   rV   s   @@r   rÜ   rÜ   Û   s"   ù‡ € ÷/8ôbHô
?÷Hô Hr   rÜ   c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚSAMEEncoderic  c
                óÚ  <€ \         SV `  4        V.V Uu. uF  q²V,          NK  	  up,           p. p\        \        V4      4       FL  pVP	                  \        RR WÎ,          RWÎ^,           ,          RW^,          RRRWn,          RVRVRV	/V
B 4       KN  	  V\        4       V	P                  VR,          W7VR	7      \        4       .,          p\        P                  ! V4      V n
        R
# u upi )rø   rù   ræ   rå   rÞ   rê   r!   r    r�   rA   Nr   r
   )rB   rC   rô   Úlenrõ   rÜ   r   r„   rD   rö   Úlayers)r   rø   ÚchannelsÚ
latent_dimÚc_multsÚstridesÚtransformer_depthsr!   r    r�   r   ÚcÚchannel_dimsr   r:   rK   s   &&&&&&&&&&,    €r   rC   ÚSAMEEncoder.__init__d  s  ø€ ô 	‰ÑÔØ#�}¹gÓ'F¹g¸°1¯¨¹gÑ'FÕFˆØˆÜ”s˜7“|Ö$ˆAØ�M‰MÔ4ñ MØ(�OðMØ:FÈ1ÅuÕ:MðMà•zðMà(1ðMð #5Õ"7ðMð ð	Mð %+ð	Mð 8Bð	Mð FLñ	Mö Nñ %ð 	Ü‹KØ×Ñ˜l¨2Õ.°
ÐPVÐÓWÜ‹Kð
õ 	
ˆô
 —m’m FÓ+ˆŽùò (Gs   –C(c                ó<   € V P                    F  pV! V4      pK  	  V# rN   ©r   ©r   r   r   r  s   &&, r   r   ÚSAMEEncoder.forwardx  ó   € Ø—[”[ˆEÙ�a“ŠAñ !àˆr   r*  )	r   r  é    ©r0   r   rÇ   é   ©r   rÇ   r0  r0  ©r  r  r  r  NNNrT   rV   s   @@r   r  r  c  s   ù‡ € ÷,÷(ò r   r  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚSAMEDecoderi~  c                ó  <€ \         SV `  4        Vf   ^ .\        V4      ,          pV.V Uu. uF  qÂV,          NK  	  up,           p\        4       V
P	                  W=R,          W‰R7      \        4       .p\        \        V4      ^,
          RR4       FT  pVP                  \        RRWß^,           ,          RWß,          RW_,          RRRWo,          RW,          R	VR
V	RV
/	VB 4       KV  	  \        P                  ! V4      V n
        R # u upi )NrA   rø   rù   ræ   rå   rã   rê   rý   r!   r    r�   r
   r   )rB   rC   r  r   r„   rô   rõ   rÜ   rD   rö   r   )r   rù   r!  r"  r#  r$  r%  rý   r!   r    r�   r   r&  r'  r   r:   rK   s   &&&&&&&&&&&,    €r   rC   ÚSAMEDecoder.__init__  s5  ø€ ô 	‰ÑÔØÒ$Ø!" ¤c¨'£lÕ 2ÐØ$�~¹wÓ(G¹w¸!°A¯¨¹wÑ(GÕGˆä‹KØ×Ñ˜j°rÕ*:À%ÐÓWÜ‹Kð
ˆô
 ”s˜7“| aÕ'¨¨RÖ0ˆAØ�M‰MÔ4ñ MØ(¨Q­Õ/ðMØ>J½oðMà•zðMà(1ðMð #5Õ"7ðMð #4Õ"6ð	Mð
 ðMð
 %+ðMð
 8BðMð
 FLñMö Nñ 1ô —m’m FÓ+ˆŽùò )Hs   ­Dc                ó<   € V P                    F  pV! V4      pK  	  V# rN   r*  r+  s   &&, r   r   ÚSAMEDecoder.forward•  r-  r   r*  )
r   r  r.  r/  r1  r2  NNNNrT   rV   s   @@r   r4  r4  ~  s   ù‡ € ÷,÷,ò r   r4  c                   óF   a a€ ] tR tRt oRV 3R lltRR ltR tRtVtV ;t	# )ÚSoftNormBottlenecki›  c                óJ  <€ \         S
V `  4        W n        W0n        \        P
                  ! \        P                  ! ^V^WgR7      4      V n        \        P
                  ! \        P                  ! ^V^WgR7      4      V n	        \        P
                  ! \        P                  ! ^V^WgR7      4      V n
        V'       d?   V P                  R\        P
                  ! \        P                  ! ^WgR7      RR7      4       V'       d!   V P                  4        F
  p	RV	n        K  	  R# R# )r0   rA   Úrunning_stdF)Úrequires_gradN)rB   rC   Únoise_augment_dimÚnoise_regularizerD   rE   r&   rF   Úscaling_factorr}   Únoise_scaling_factorÚregister_parameterÚ
parametersr=  )r   r#   r>  r?  Ú
auto_scaleÚfreezer!   r    r   ÚprK   s   &&&&&&&&, €r   rC   ÚSoftNormBottleneck.__init__œ  sÌ   ø€ ä‰ÑÔØ!2ÔØ 0ÔÜ Ÿlšl¬5¯;ª;°q¸#¸qÈÔ+]Ó^ˆÔÜ—L’L¤§¢¨Q°°Q¸eÔ!SÓTˆŒ	Ü$&§L¢L´·²¸QÐ@QÐSTÐ\aÔ1qÓ$rˆÔ!ßØ×#Ñ# M´2·<²<Ü—’˜A UÔ:È%ô4Qô RçØ—_‘_Ö&�Ø"'�–ó 'ñ r   c                ód  € V\         P                  P                  V P                  V4      ,          \         P                  P                  V P                  V4      ,           p\        V R 4      '       d2   V\         P                  P                  V P                  V4      ,          pV'       d   V/ 3# V# )r<  )rO   rP   rQ   r@  r}   Úhasattrr<  )r   r   Úreturn_infor   s   &&&,r   ÚencodeÚSoftNormBottleneck.encode«  s   € Ø”—	‘	×'Ñ'¨×(;Ñ(;¸QÓ?Õ?Ü—	‘	×'Ñ'¨¯	©	°1Ó5õ6ˆä�4˜×'Ò'Ø”E—I‘I×+Ñ+¨D×,<Ñ,<¸aÓ@Õ@ˆAßØ�b�5ˆLØˆr   c           	     ó  € \        V R 4      '       d2   V\        P                  P                  V P                  V4      ,          pV P
                  '       d{   \        V R 4      '       d   V P                  MVP                  RRR7      p\        P                  ! V4      \        P                  P                  W14      ,          R,          pW,           pV P                  ^ 8”  d¤   \        P                  P                  V P                  V4      \        P                  ! VP                  ^ ,          V P                  VP                  R,          VP                  VP                  R7      ,          p\        P                  ! W.^R7      pV# )r<  T)r#   Úkeepdimrâ   r   r"   r
   )rI  rO   rP   rQ   r<  r?  Ústdr&   Ú
randn_liker>  rA  Úrandnr$   r    r!   r'   )r   r   r   ÚscalingÚnoises   &&,  r   ÚdecodeÚSoftNormBottleneck.decode´  s  € Ü�4˜×'Ò'Ø”E—I‘I×+Ñ+¨D×,<Ñ,<¸aÓ@Õ@ˆAØ× × Ð Ü*1°$¸×*FÒ*F�d×&Ò&ØŸ5™5 R°˜5Ó6ð ä×$Ò$ QÓ'¬%¯)©)×*AÑ*AÀ'Ó*MÕMÐPTÕTˆEØ•	ˆAØ×!Ñ! AÔ%Ü—I‘I×+Ñ+¨D×,EÑ,EÀqÓIÌEÏKÊKØ—‘˜•
˜D×2Ñ2°A·G±G¸BµKÈÏÉÐXY×X_ÑX_ôMaõ aˆEä—	’	˜1˜*¨!Ô,ˆAØˆr   )r}   r>  r?  rA  r@  )r.  r   FFFNN)F)
r   r   r   r   rC   rK  rT  r   r   rU   rV   s   @@r   r:  r:  ›  s   ù‡ € ÷(ô÷ò r   r:  c                   óD   a a€ ] tR tRt oV 3R ltR tR tR tRtVt	V ;t
# )ÚPatchedPretransformiÃ  c                óJ   <€ \         SV `  4        Wn        W n        R V n        R# )FN)rB   rC   r!  Ú
patch_sizeÚenable_grad)r   r!  rY  r   rK   s   &&&,€r   rC   ÚPatchedPretransform.__init__Ä  s    ø€ Ü‰ÑÔØ ŒØ$ŒØ ˆÖr   c           
     ó  € V P                   VP                  R,          V P                   ,          ,
          V P                   ,          pV^ 8”  d;   \        P                  ! V\        P                  ! VRRRV13,          4      .RR7      pV# )r0   r	  Nr"   r
   )rY  r$   r&   r'   Ú
zeros_like)r   r   r+   s   && r   Ú_padÚPatchedPretransform._padÊ  se   € Ø—?‘? Q§W¡W¨R¥[°4·?±?Õ%BÕBÀdÇoÁoÕUˆØ�QŒ;Ü—	’	˜1œe×.Ò.¨q°°A°x¸°x°Õ/@ÓAÐBÈÔKˆAØˆr   c                óà   € V P                  V4      pVP                  w  r#pV P                  pWE,          pVP                  W#We4      P	                  ^ ^^^4      P                  W#V,          V4      # r  )r^  r$   rY  r  r
  )r   r   r—   r  ÚTrš   ÚLs   &&     r   rK  ÚPatchedPretransform.encodeÐ  s_   € Ø�I‰I�a‹LˆØ—'‘'‰ˆˆaØ�O‰OˆØ�Fˆà�y‰y˜˜qÓ$×,Ñ,¨Q°°1°aÓ8×@Ñ@ÀÈÅEÈ1ÓMÐMr   c                ó¼   € VP                   w  r#pV P                  pW5,          pVP                  W&WT4      P                  ^ ^^^4      P                  W&WE,          4      # r  )r$   rY  r  r
  )r   r   r—   ÚChrb  rš   r  s   &&     r   rT  ÚPatchedPretransform.decodeØ  sP   € Ø—7‘7‰ˆˆqØ�O‰OˆØ�Gˆà�y‰y˜˜qÓ$×,Ñ,¨Q°°1°aÓ8×@Ñ@ÀÀqÅuÓMÐMr   )r!  rZ  rY  )r   r   r   r   rC   r^  rK  rT  r   r   rU   rV   s   @@r   rW  rW  Ã  s!   ù‡ € õ!òòN÷Nò Nr   rW  c                   ó¢   a a€ ] tR tRt oRtR	V 3R llt]P                  ! 4       R 4       t]P                  ! 4       R 4       t	R t
R tRtVtV ;t# )
ÚSA3AudioVAEià  zOSA3 VAE. State dict keys match checkpoint after stripping 'pretransform.model.'c                ó8  <€ \         SV `  4        V
f   \        p
\        ^RR7      V n        \        RR^@VRWgW‰V
R7
      p\        RRRRVR^.R	^.R
RRV.RR/VB V n        \        RRRRVR^.R	^.R
RRV.RV.RV/VB V n	        \        R^ RRRW‰R7      V n        R # )Né   )r!  rY  T)
r‚   r~   rŠ   rú   ré   rç   rè   r!   r    r�   rø   i   r!  r#  r$  r"  r%  rþ   Frù   rý   )r#   r>  r?  rD  rE  r!   r    r   )rB   rC   rP   rW  ÚpretransformÚdictr  rÞ   r4  rã   r:  Ú
bottleneck)r   r!  r%  rý   rú   Údecoder_conv_mappingrç   rè   r!   r    r�   Úcommon_kwargsrK   s   &&&&&&&&&&& €r   rC   ÚSA3AudioVAE.__init__ã  s"  ø€ ô 	‰ÑÔØÒÜˆJä/¸ÀsÔKˆÔäØ 4°2Ø)¸4Ø!Ø°:ô	
ˆô #ñ 
Øð
Ø&.ð
Ø9:¸ð
ØFHÀTð
àð
à0BÐ/Cð
ð ð
ð #0ñ
ˆŒô
 #ñ 
Øð
Ø'/ð
Ø:;¸ð
ØGIÀdð
àð
à0BÐ/Cð
àXiÐWjð
ð .ð
ð 2?ñ
ˆŒô
 -Ø q¸4Ø DØô
ˆŽr   c                ó8   € V P                   P                  V4      # rN   )rk  rK  r©   s   &&r   Ú_pretransform_encodeÚ SA3AudioVAE._pretransform_encode  ó   € à× Ñ ×'Ñ'¨Ó*Ð*r   c                ó8   € V P                   P                  V4      # rN   )rk  rT  r©   s   &&r   Ú_pretransform_decodeÚ SA3AudioVAE._pretransform_decode  rt  r   c                ó€   € V P                  V4      pV P                  V4      pV P                  P                  V4      pV# rN   )rr  rÞ   rm  rK  r©   s   &&r   rK  ÚSA3AudioVAE.encode  s8   € Ø×%Ñ% aÓ(ˆØ�L‰L˜‹OˆØ�O‰O×"Ñ" 1Ó%ˆØˆr   c                ó€   € V P                   P                  V4      pV P                  V4      pV P                  V4      pV# rN   )rm  rT  rã   rv  r©   s   &&r   rT  ÚSA3AudioVAE.decode  s8   € Ø�O‰O×"Ñ" 1Ó%ˆØ�L‰L˜‹OˆØ×%Ñ% aÓ(ˆØˆr   )rm  rã   rÞ   rk  )
rj  é   r0  NFr  FNNN)r   r   r   r   Ú__doc__rC   r&   Úno_gradrr  rv  rK  rT  r   r   rU   rV   s   @@r   rh  rh  à  sQ   ù‡ € ÙY÷
ð@ ‡]‚]ƒ_ñ+ó ð+ð ‡]‚]ƒ_ñ+ó ð+ò÷ò r   rh  )r	   )r&   Útorch.nnrD   Ú	comfy.opsrO   Úcomfy.model_managementÚcomfy.ldm.modules.attentionr   Úcomfy.ldm.audio.autoencoderr   rP   Údisable_weight_initÚModuler   r-   r=   r?   rX   rn   rw   ry   r§   r¬   r¸   rÉ   rÜ   r  r4  r:  rW  rh  r   r   r   Ú<module>r†     s%  ðÛ Ý ã Û Ý ;Ý 0à‡i�i×#Ñ#€ô#�—	‘	ô #ô
ò	ô4�"—)‘)ô 4ô�b—i‘iô ò 8ò
JôA �—	‘	ô A ôH,ˆ2�9‰9ô ,ô
	"ˆ2�9‰9ô 	"ô�"—)‘)ô ô"�r—y‘yô ôDE §¡ô EôP�"—)‘)ô ô6�"—)‘)ô ô:%˜Ÿ™ô %ôPN˜"Ÿ)™)ô Nô:5�"—)‘)ö 5r   