+
    ‚°ñjÄ#  ã                   óê  € R t ^ RIt^ RIHt ^ RIHt ^ RIt^ RIt^ RI	H
t
  ! R R]P                  4      t ! R R]P                  4      t ! R	 R
]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      tR# )z)MERT-v2 ConvNeXt/Conformer audio encoder.N)Únn)Ú
functional)Úoptimized_attention_for_devicec                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )ÚMelFrontendc           
     ón  <€ \         SV `  4        V P                  R \        P                  ! ^€V\        P
                  R7      4       V P                  R\        P                  ! ^€V\        P
                  R7      4       \        P                  ! 4       V n        V P                  P                  R\        P                  ! RV\        P
                  R7      4       \        P                  ! 4       V n	        V P                  P                  R\        P                  ! R^€V\        P
                  R7      4       R# )Úmel_mean©ÚdeviceÚdtypeÚmel_stdÚwindowé   Úfbi  N)
ÚsuperÚ__init__Úregister_bufferÚtorchÚemptyÚfloat32r   ÚModuleÚspectrogramÚ	mel_scale)Úselfr
   Ú	__class__s   &&€Ú>C:\Ai_Coding\apps\studio\ComfyUI\comfy\audio_encoders\mert2.pyr   ÚMelFrontend.__init__   s¿   ø€ Ü‰ÑÔØ×Ñ˜Z¬¯ª°SÀÌuÏ}É}Ô)]Ô^Ø×Ñ˜Y¬¯ª°CÀÌeÏmÉmÔ(\Ô]ÜŸ9š9›;ˆÔØ×Ñ×(Ñ(¨´5·;²;¸tÈFÔZ_×ZgÑZgÔ3hÔiÜŸš›ˆŒØ�‰×&Ñ& t¬U¯[ª[¸¸sÈ6ÔY^×YfÑYfÔ-gÖhó    c           	     ó¸  € \         P                  P                  V P                  P                  V4      p\
        P                  ! VR ^ðR VRR7      P                  4       P                  4       pVP                  RR	4      \         P                  P                  V P                  P                  V4      ,          pRVP                  R4      P                  4       ,          p\         P                  P                  V P                  V4      p\         P                  P                  V P                  V4      pVRRR13,          V,
          VP                  R4      ,          # )
r   T)Ún_fftÚ
hop_lengthÚ
win_lengthr   Úreturn_complexg      $@g»½×Ùß|Û=ºNNNNçñhãˆµøä>éÿÿÿÿéþÿÿÿ)ÚcomfyÚopsÚcast_to_inputr   r   r   ÚstftÚabsÚsquareÚ	transposer   r   Ú	clamp_minÚlog10r   r   )r   Úwaveformr   ÚspectrumÚmelÚmeanÚstds   &&     r   ÚforwardÚMelFrontend.forward   sø   € Ü—‘×(Ñ(¨×)9Ñ)9×)@Ñ)@À(ÓKˆÜ—:’:˜h¨d¸sÈtØ%+¸DôBßBEÁ#Ã%ÏÉËð 	à× Ñ   RÓ(¬5¯9©9×+BÑ+BÀ4Ç>Á>×CTÑCTÐV^Ó+_Õ_ˆØ�S—]‘] 5Ó)×/Ñ/Ó1Õ1ˆÜ�y‰y×&Ñ& t§}¡}°hÓ?ˆÜ�i‰i×%Ñ% d§l¡l°HÓ=ˆØ�A�s˜�s�F•˜dÕ" c§m¡m°DÓ&9Õ9Ð9r   )r   r   ©N©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r5   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r   r      s   ù‡ € ÷i÷:ò :r   r   c                   ó&   a € ] tR t^!t o R tRtV tR# )Ú	Transposec                ó&   € VP                  ^^4      # )é   )r-   ©r   Úxs   &&r   r5   ÚTranspose.forward"   s   € Ø�{‰{˜1˜aÓ Ð r   © N)r9   r:   r;   r<   r5   r=   r>   )rA   s   @r   rC   rC   !   s   ø‡ € ÷!ð !r   rC   c                   ó<   a a€ ] tR t^&t oRV 3R lltR tRtVtV ;t# )ÚGlobalResponseNormc           
     óð   <€ \         SV `  4        \        P                  ! \        P
                  ! ^^WVR7      4      V n        \        P                  ! \        P
                  ! ^^WVR7      4      V n        R# )rE   r	   N)r   r   r   Ú	Parameterr   r   ÚweightÚbias)r   Údimr
   r   r   s   &&&&€r   r   ÚGlobalResponseNorm.__init__'   sL   ø€ Ü‰ÑÔÜ—l’l¤5§;¢;¨q°!°SÈuÔ#UÓVˆŒÜ—L’L¤§¢¨Q°°3ÈUÔ!SÓTˆŽ	r   c                óh  € \         P                  P                  V^RR7      pW"P                  RRR7      R,           ,          p\        P
                  P                  V P                  V4      p\        P
                  P                  V P                  V4      pWAV,          ,          V,           V,           # )rE   T)rP   Úkeepdimç�íµ ÷Æ°>r%   )	r   ÚlinalgÚvector_normr3   r'   r(   r)   rN   rO   )r   rG   Ú	magnitudeÚ
normalizedrN   rO   s   &&    r   r5   ÚGlobalResponseNorm.forward,   s‚   € Ü—L‘L×,Ñ,¨Q°A¸tÐ,ÓDˆ	Ø§.¡.°RÀ .Ó"FÈÕ"MÕNˆ
Ü—‘×(Ñ(¨¯©°aÓ8ˆÜ�y‰y×&Ñ& t§y¡y°!Ó4ˆØ˜Z�Õ(¨4Õ/°!Õ3Ð3r   )rO   rN   )NNr8   r@   s   @@r   rK   rK   &   s   ù‡ € ÷U÷
4ò 4r   rK   c                   ó<   a a€ ] tR t^4t oRV 3R lltR tRtVtV ;t# )ÚConvNextLayerc                ó¶  <€ \         SV `  4        \        P                  ! \	        4       VP                  W^^WVR7      \	        4       4      V n        \        P                  ! VP                  VRW#R7      VP                  V^V,          W#R7      \        P                  ! 4       \        ^V,          W#R7      VP                  ^V,          WVR7      4      V n        R# )é   )ÚpaddingÚgroupsr
   r   rT   ©Úepsr
   r   r	   N)r   r   r   Ú
SequentialrC   ÚConv1dÚdepthwise_blockÚ	LayerNormÚLinearÚGELUrK   Úpointwise_block©r   rP   r
   r   Ú
operationsr   s   &&&&&€r   r   ÚConvNextLayer.__init__5   s³   ø€ Ü‰ÑÔÜ!Ÿ}š}Ü‹K˜×*Ñ*¨3°QÀÈ#ÐdiÐ*ÓjÔluÓlwó 
ˆÔô  "Ÿ}š}Ø× Ñ  ¨$°vÐ ÓKØ×Ñ˜c 1 s¥7°6ÐÓGÌÏÊËÜ˜q 3�w¨vÔCØ×Ñ˜a #�g sÀÐÓGó	 
ˆÖr   c                óN   € WP                  V P                  V4      4      ,           # r7   )rh   rd   rF   s   &&r   r5   ÚConvNextLayer.forwardA   s!   € Ø×'Ñ'¨×(<Ñ(<¸QÓ(?Ó@Õ@Ð@r   )rd   rh   ©NNNr8   r@   s   @@r   r[   r[   4   s   ù‡ € ÷

÷Aò Ar   r[   c                   ó<   a a€ ] tR t^Et oRV 3R lltR tRtVtV ;t# )ÚConvNextBlockc                óœ  <€ \         S	V `  4        \        P                  ! 4       V n        W8w  g   V^8”  dT   \        P
                  ! VP                  VRWVR7      \        4       VP                  W^W5VR7      \        4       4      V n        \        P
                  ! \        V4       Uu. uF  p\        W%WgR7      NK  	  up!  V n        R# u upi )rE   rT   r`   )Ústrider
   r   ©r
   r   rj   N)r   r   r   ÚIdentityÚresampling_layerrb   re   rC   rc   Úranger[   Úconvnext_layers)
r   Úin_channelsÚout_channelsrr   Údepthr
   r   rj   Ú_r   s
   &&&&&&&& €r   r   ÚConvNextBlock.__init__F   s°   ø€ Ü‰ÑÔÜ "§¢£ˆÔØÔ&¨&°1¬*Ü$&§M¢MØ×$Ñ$ [°dÀ6Ð$ÓWÔYbÓYdØ×!Ñ! +¸QÀvÐdiÐ!ÓjÔluÓlwó%ˆDÔ!ô  "Ÿ}š}ÜdiÐjoÔdpó/
ÙdpÐ_`ŒM˜,¸U×ZÑdpñ/
ñ  ˆÖùò /
s   Â'C	c                óB   € V P                  V P                  V4      4      # r7   ©rw   ru   rF   s   &&r   r5   ÚConvNextBlock.forwardR   s   € Ø×#Ñ# D×$9Ñ$9¸!Ó$<Ó=Ð=r   r~   rn   r8   r@   s   @@r   rp   rp   E   s   ù‡ € ÷
÷>ò >r   rp   c                   ó<   a a€ ] tR t^Vt oRV 3R lltR tRtVtV ;t# )Ú	Attentionc                óð   <€ \         SV `  4        W n        VP                  WW4R 7      V n        VP                  WW4R 7      V n        VP                  WW4R 7      V n        VP                  WW4R 7      V n        R# ©r	   N)r   r   Úheadsrf   Ú
query_projÚkey_projÚ
value_projÚout_proj)r   rP   r„   r
   r   rj   r   s   &&&&&&€r   r   ÚAttention.__init__W   so   ø€ Ü‰ÑÔØŒ
Ø$×+Ñ+¨C¸VÐ+ÓQˆŒØ"×)Ñ)¨#¸6Ð)ÓOˆŒØ$×+Ñ+¨C¸VÐ+ÓQˆŒØ"×)Ñ)¨#¸6Ð)ÓOˆŽr   c           
     ó&  € VP                   ^ ,          VP                   ^,          V P                  R3pV P                  V4      P                  V4      P	                  ^^4      pV P                  V4      P                  V4      P	                  ^^4      pV P                  V4      P                  V4      P	                  ^^4      p\        P                  P                  P                  WVV4      w  rVV P                  V! WVWpP                  RR7      4      # )é    T)Úskip_reshaper%   )Úshaper„   r…   Úreshaper-   r†   r‡   r'   Ú	quant_opsÚckÚapply_rope_split_halfrˆ   )r   rG   Ú	positionsÚ	attentionr�   ÚqÚkÚvs   &&&&    r   r5   ÚAttention.forward_   sÐ   € Ø—‘˜•˜QŸW™W Q�Z¨¯©°RÐ8ˆØ�O‰O˜AÓ×&Ñ& uÓ-×7Ñ7¸¸1Ó=ˆØ�M‰M˜!Ó×$Ñ$ UÓ+×5Ñ5°a¸Ó;ˆØ�O‰O˜AÓ×&Ñ& uÓ-×7Ñ7¸¸1Ó=ˆÜ�‰×!Ñ!×7Ñ7¸¸iÓH‰ˆØ�}‰}™Y q¨Q·
±
ÈÔNÓOÐOr   )r„   r†   rˆ   r…   r‡   rn   r8   r@   s   @@r   r�   r�   V   s   ù‡ € ÷P÷Pò Pr   r�   c                   ó<   a a€ ] tR t^ht oRV 3R lltR tRtVtV ;t# )ÚFeedForwardc                ó„   <€ \         SV `  4        VP                  WW4R 7      V n        VP                  W!W4R 7      V n        R# rƒ   )r   r   rf   Úw_1Úw_2)r   rP   Úintermediater
   r   rj   r   s   &&&&&&€r   r   ÚFeedForward.__init__i   s<   ø€ Ü‰ÑÔØ×$Ñ$ S¸vÐ$ÓSˆŒØ×$Ñ$ \¸vÐ$ÓSˆŽr   c                ój   € V P                  \        P                  ! V P                  V4      4      4      # r7   )rœ   ÚFÚgelur›   rF   s   &&r   r5   ÚFeedForward.forwardn   s"   € Ø�x‰xœŸš˜tŸx™x¨›{Ó+Ó,Ð,r   )r›   rœ   rn   r8   r@   s   @@r   r™   r™   h   s   ù‡ € ÷T÷
-ò -r   r™   c                   ó<   a a€ ] tR t^rt oRV 3R lltR tRtVtV ;t# )ÚConvolutionModulec                óþ  <€ \         SV `  4        VP                  VR W#R7      V n        \        P
                  ! \        4       VP                  W^,          ^RW#R7      \        P                  ! ^R7      VP                  W^^VRW#R7      \        P
                  ! \        4       VP                  VR W#R7      \        4       4      \        P                  ! 4       VP                  W^RW#R7      \        4       4      V n
        R# )r$   r`   F)rO   r
   r   ©rP   )r^   r_   rO   r
   r   N)r   r   re   Ú
layer_normr   rb   rC   rc   ÚGLUrg   Ú
conv_blockri   s   &&&&&€r   r   ÚConvolutionModule.__init__s   sÏ   ø€ Ü‰ÑÔØ$×.Ñ.¨s¸ÀVÐ.ÓYˆŒÜŸ-š-Ü‹K˜×*Ñ*¨3°aµ¸ÀÈvÐ*ÓcÔeg×ekÒekÐpqÔerØ×Ñ˜c¨°B¸sÈÐW]ÐÓkÜ�MŠMœ)›+ z×';Ñ';¸CÀTÐRXÐ';Ó'fÔhqÓhsÓtÜ�GŠG‹I�z×(Ñ(¨°1¸5ÈÐ(Ó]Ô_hÓ_jó	
ˆŽr   c                óB   € V P                  V P                  V4      4      # r7   ©r©   r§   rF   s   &&r   r5   ÚConvolutionModule.forward}   s   € Ø�‰˜tŸ™¨qÓ1Ó2Ð2r   r¬   rn   r8   r@   s   @@r   r¤   r¤   r   s   ù‡ € ÷
÷3ò 3r   r¤   c                   ó<   a a€ ] tR t^�t oRV 3R lltR tRtVtV ;t# )ÚConformerBlockc                ó‚  <€ \         SV `  4        VP                  VR WER7      V n        \	        WWEVR7      V n        VP                  VR WER7      V n        \        WWEVR7      V n        \        WWVR7      V n
        VP                  VR WER7      V n        \	        WWEVR7      V n        VP                  VR WER7      V n        R# )r$   r`   rs   N)r   r   re   Úffn1_layer_normr™   Úffn1Úattn_layer_normr�   Úattnr¤   Úconv_moduleÚffn2_layer_normÚffn2Úfinal_layer_norm)r   rP   r�   r„   r
   r   rj   r   s   &&&&&&&€r   r   ÚConformerBlock.__init__‚   s¸   ø€ Ü‰ÑÔØ)×3Ñ3°C¸TÈ&Ð3Ó^ˆÔÜ ¸&ÐZdÔeˆŒ	Ø)×3Ñ3°C¸TÈ&Ð3Ó^ˆÔÜ˜c°ÐQ[Ô\ˆŒ	Ü,¨SÀuÔdˆÔØ)×3Ñ3°C¸TÈ&Ð3Ó^ˆÔÜ ¸&ÐZdÔeˆŒ	Ø *× 4Ñ 4°S¸dÈ6Ð 4Ó _ˆÖr   c                óX  € VR V P                  V P                  V4      4      ,          ,           pWP                  V P                  V4      W#4      ,           pWP	                  V4      ,           pVR V P                  V P                  V4      4      ,          ,           pV P                  V4      # )g      à?)r²   r±   r´   r³   rµ   r·   r¶   r¸   )r   rG   r’   r“   s   &&&&r   r5   ÚConformerBlock.forward�   sŠ   € Ø��d—i‘i × 4Ñ 4°QÓ 7Ó8Õ8Õ8ˆØ—	‘	˜$×.Ñ.¨qÓ1°9ÓHÕHˆØ× Ñ  Ó#Õ#ˆØ��d—i‘i × 4Ñ 4°QÓ 7Ó8Õ8Õ8ˆØ×$Ñ$ QÓ'Ð'r   )r´   r³   rµ   r²   r±   r·   r¶   r¸   rn   r8   r@   s   @@r   r¯   r¯   �   s   ù‡ € ÷	`÷(ò (r   r¯   c                   óF   a a€ ] tR t^•t oRV 3R lltR tRR ltRtVtV ;t	# )ÚMERT2c
                óÂ  <€ \         SV `  4        W,          V n        \        VR 7      V n        ^€.VO5p\
        P                  ! \        ^4       U
u. uF4  p
\        WZ,          WZ^,           ,          RV
,          Wj,          WxV	R7      NK6  	  up
!  V n	        \
        P                  ! \        V4       Uu. uF  p\        WW7W‰R7      NK  	  up4      V n        R# u up
i u upi ))r
   rs   N)rE   é   r¿   )r   r   Úhead_dimr   Úfeature_extractorr   rb   rv   rp   Úsubsampling_moduleÚ
ModuleListr¯   Úlayers)r   rP   r�   r„   rÄ   ÚchannelsÚdepthsr
   r   rj   Úir{   r   s   &&&&&&&&&&  €r   r   ÚMERT2.__init__–   sË   ø€ ä‰ÑÔØ�ˆŒÜ!,°FÔ!;ˆÔØÐ#˜(Ñ#ˆÜ"$§-¢-ä˜1”Xó2
á�ô ˜(�+ x°Aµ¥¸	À!½ÀfÅiÐX^ð  yC÷  DÙñ2
ñ #ˆÔô —m’mÜqvÐw}Ôq~ó%
Ùq~ÐlmŒN˜3¨eÈ%×gÑq~ñ%
ó ˆŽùò	2
ùò%
s   Á:CÂ2Cc           
     ó˜  € R R\         P                  ! ^ V P                  ^VP                  \         P                  R7      V P                  ,          ,          ,          p\         P                  ! VP
                  ^,          VP                  \         P                  R7      P                  VP                  4      R,          VP                  VP                  4      ,          pVP                  4       VP                  4       rT\         P                  ! WE) WT3RR7      P                  ^^VP
                  ^,          R^^4      P                  4       # )g      ð?i'  r	   r¦   )r#   Nr%   )r   ÚarangerÀ   r
   r   r�   Útor   ÚcosÚsinÚstackrŽ   Úfloat)r   rG   ÚinverseÚanglesrÌ   rÍ   s   &&    r   Úposition_embeddingsÚMERT2.position_embeddings¤   sä   € Ø˜¤5§<¢<°°4·=±=À!ÈAÏHÉHÔ\a×\iÑ\iÔ#jÐmq×mzÑmzÕ#zÕ{Õ|ˆä—’˜aŸg™g a�j°·±ÄÇÁÔO×RÑRÐST×SZÑSZÓ[Ð\cÕdÐgn×gqÑgqÐrs×ryÑryÓgzÕzˆØ—:‘:“< §¡£ˆSÜ�{Š{˜C  sÐ0°bÔ9×AÑAÀ!ÀQÈÏÉÐPQÍ
ÐTVÐXYÐ[\Ó]×cÑcÓeÐer   c                ó¾  € V P                  V4      p\        P                  P                  W$4      P	                  ^ R7      pWE^ ,          ,          pV'       d   V.MRpV P                  V4      p\        VP                  4      p	\        VR,          V P                  4       F8  w  r«V! WHV	4      pWdV
,          ,           pV'       g   K'  VP                  V4       K:  	  Wg3# )r‹   r¦   N:rE   NN)rÂ   r'   r(   r)   ÚsoftmaxrÒ   r   r
   ÚziprÄ   Úappend)r   r2   Úlayer_weightÚoutput_hidden_statesrG   ÚweightsÚmixedÚstatesr’   r“   rN   Úlayers   &&&&        r   r5   ÚMERT2.forward«   s·   € Ø×#Ñ# CÓ(ˆÜ—)‘)×)Ñ)¨,Ó:×BÑBÀqÐBÓIˆØ˜A•J•ˆß,�!‘°$ˆØ×,Ñ,¨QÓ/ˆ	Ü2°1·8±8Ó<ˆ	Ü  ¨¥¨d¯k©kÖ:‰MˆFÙ�a IÓ.ˆAØ �JÕ&ˆEß#Ñ#Ø—‘˜aÖ ñ	 ;ð
 ˆ}Ðr   )rÁ   rÀ   rÄ   rÂ   )	é   i   é   é   )é€   i   rß   )é   é   é   NNN)F)
r9   r:   r;   r<   r   rÒ   r5   r=   r>   r?   r@   s   @@r   r½   r½   •   s   ù‡ € ÷òf÷ô r   r½   )Ú__doc__r   r   Útorch.nnr   r    Ú	comfy.opsr'   Úcomfy.quant_opsÚcomfy.ldm.modules.attentionr   r   r   rC   rK   r[   rp   r�   r™   r¤   r¯   r½   rI   r   r   Ú<module>rë      s¾   ðÙ /ã Ý Ý $ã Û Ý Fô:�"—)‘)ô :ô*!�—	‘	ô !ô
4˜Ÿ™ô 4ôA�B—I‘Iô Aô">�B—I‘Iô >ô"P�—	‘	ô Pô$-�"—)‘)ô -ô3˜Ÿ	™	ô 3ô(�R—Y‘Yô (ô("ˆB�I‰Iö "r   