+
    ‚°ñj‹*  ã                   óô  € ^ RI t ^ RIHt ^ RIHt  ! R R]P
                  4      t ! R R]P
                  4      t ! R R]P
                  4      t ! R	 R
]P
                  4      t	 ! R R]P
                  4      t
 ! R R]P
                  4      t ! R R]P
                  4      t ! R R]P
                  4      t ! R R]P
                  4      t ! R R]P
                  4      t ! R R]P
                  4      tR# )é    N)Úoptimized_attention_maskedc                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )ÚLayerNormConvc	           
     óŠ   <€ \         S	V `  4        VP                  WW4WWVR 7      V n        VP	                  VRWvR7      V n        R# )©Úkernel_sizeÚstrideÚbiasÚdeviceÚdtypeT)Úelementwise_affiner   r   N)ÚsuperÚ__init__ÚConv1dÚconvÚ	LayerNormÚ
layer_norm©
ÚselfÚin_channelsÚout_channelsr   r	   r
   r   r   Ú
operationsÚ	__class__s
   &&&&&&&&&€ÚAC:\Ai_Coding\apps\studio\ComfyUI\comfy\audio_encoders\wav2vec2.pyr   ÚLayerNormConv.__init__   sM   ø€ Ü‰ÑÔØ×%Ñ% kÈ[Ðnrð  JOÐ%ó  PˆŒ	Ø$×.Ñ.¨|ÐPTÐ]cÐ.ÓqˆŽó    c                óÔ   € V P                  V4      p\        P                  P                  P	                  V P                  VP                  RR4      4      P                  RR4      4      # )é   éþÿÿÿéÿÿÿÿ)r   ÚtorchÚnnÚ
functionalÚgelur   Ú	transpose©r   Úxs   &&r   ÚforwardÚLayerNormConv.forward   sM   € Ø�I‰I�a‹LˆÜ�x‰x×"Ñ"×'Ñ'¨¯©¸¿¹ÀBÈÓ8KÓ(L×(VÑ(VÐWYÐ[]Ó(^Ó_Ð_r   ©r   r   ©FNNN©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r(   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r   r      s   ù‡ € ÷r÷
`ò `r   r   c                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )ÚLayerGroupNormConvc	           
     óŠ   <€ \         S	V `  4        VP                  WW4WWVR 7      V n        VP	                  W"RWvR7      V n        R# )r   T)Ú
num_groupsÚnum_channelsÚaffiner   r   N)r   r   r   r   Ú	GroupNormr   r   s
   &&&&&&&&&€r   r   ÚLayerGroupNormConv.__init__   sP   ø€ Ü‰ÑÔØ×%Ñ% kÈ[Ðnrð  JOÐ%ó  PˆŒ	Ø$×.Ñ.¸,ÐjnÐw}Ð.ó  LˆŽr   c                ó”   € V P                  V4      p\        P                  P                  P	                  V P                  V4      4      # ©N)r   r!   r"   r#   r$   r   r&   s   &&r   r(   ÚLayerGroupNormConv.forward   s3   € Ø�I‰I�a‹LˆÜ�x‰x×"Ñ"×'Ñ'¨¯©¸Ó(:Ó;Ð;r   r*   r+   r,   r4   s   @@r   r7   r7      s   ù‡ € ÷L÷
<ò <r   r7   c                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )Ú
ConvNoNormc	           
     óX   <€ \         S	V `  4        VP                  WW4WWVR 7      V n        R# )r   N)r   r   r   r   r   s
   &&&&&&&&&€r   r   ÚConvNoNorm.__init__   s2   ø€ Ü‰ÑÔØ×%Ñ% kÈ[Ðnrð  JOÐ%ó  PˆŽ	r   c                óv   € V P                  V4      p\        P                  P                  P	                  V4      # r?   )r   r!   r"   r#   r$   r&   s   &&r   r(   ÚConvNoNorm.forward   s*   € Ø�I‰I�a‹LˆÜ�x‰x×"Ñ"×'Ñ'¨Ó*Ð*r   )r   r+   r,   r4   s   @@r   rB   rB      s   ù‡ € ÷P÷+ò +r   rB   c                   ó<   a a€ ] tR t^$t oRV 3R lltR tRtVtV ;t# )ÚConvFeatureEncoderc                óN  <€ \         SV `  4        V'       d‰   \        P                  ! \	        ^V^
^RWTVR7      \	        W^^W%WFR7      \	        W^^W%WFR7      \	        W^^W%WFR7      \	        W^^W%WFR7      \	        W^^W%WFR7      \	        W^^W%WFR7      .4      V n        R# \        P                  ! \        ^V^
^W%WFR7      \        W^^W%WFR7      \        W^^W%WFR7      \        W^^W%WFR7      \        W^^W%WFR7      \        W^^W%WFR7      \        W^^W%WFR7      .4      V n        R# )é   T)r   r	   r
   r   r   r   N)r   r   r"   Ú
ModuleListr   Úconv_layersr7   rB   )r   Úconv_dimÚ	conv_biasÚ	conv_normr   r   r   r   s   &&&&&&&€r   r   ÚConvFeatureEncoder.__init__%   sh  ø€ Ü‰ÑÔßÜ!Ÿ}š}Ü˜a °rÀ!È$ÐW]ð  xBô  CÜ˜h¸aÈÐPYÐpuô  NÜ˜h¸aÈÐPYÐpuô  NÜ˜h¸aÈÐPYÐpuô  NÜ˜h¸aÈÐPYÐpuô  NÜ˜h¸aÈÐPYÐpuô  NÜ˜h¸aÈÐPYÐpuô  Nð.ó  ˆDÖô  "Ÿ}š}Ü" 1 h¸BÀqÈyÐotô  MÜ˜8¸1ÀQÈYÐmrô  KÜ˜8¸1ÀQÈYÐmrô  KÜ˜8¸1ÀQÈYÐmrô  KÜ˜8¸1ÀQÈYÐmrô  KÜ˜8¸1ÀQÈYÐmrô  KÜ˜8¸1ÀQÈYÐmrô  Kð.ó  ˆDÖr   c                ó~   € VP                  ^4      pV P                   F  pV! V4      pK  	  VP                  ^^4      # )rJ   )Ú	unsqueezerL   r%   )r   r'   r   s   && r   r(   ÚConvFeatureEncoder.forward<   s;   € Ø�K‰K˜‹Nˆà×$Ô$ˆDÙ�Q“ŠAñ %ð �{‰{˜1˜aÓ Ð r   )rL   )FTNNNr,   r4   s   @@r   rH   rH   $   s   ù‡ € ÷÷.!ò !r   rH   c                   ó<   a a€ ] tR t^Et oRV 3R lltR tRtVtV ;t# )ÚFeatureProjectionc                ó†   <€ \         SV `  4        VP                  VR WCR7      V n        VP	                  WWCR7      V n        R# )çñhãˆµøä>©Úepsr   r   ©r   r   N)r   r   r   r   ÚLinearÚ
projection)r   rM   Ú	embed_dimr   r   r   r   s   &&&&&&€r   r   ÚFeatureProjection.__init__F   s>   ø€ Ü‰ÑÔØ$×.Ñ.¨x¸UÈ6Ð.Ó_ˆŒØ$×+Ñ+¨HÈÐ+Ó\ˆŽr   c                óJ   € V P                  V4      pV P                  V4      pV# r?   ©r   r\   r&   s   &&r   r(   ÚFeatureProjection.forwardK   s#   € Ø�O‰O˜AÓˆØ�O‰O˜AÓˆØˆr   r`   ©NNNr,   r4   s   @@r   rU   rU   E   s   ù‡ € ÷]÷
ò r   rU   c                   ó<   a a€ ] tR t^Qt oRV 3R lltR tRtVtV ;t# )ÚPositionalConvEmbeddingc                ó0  <€ \         SV `  4        \        P                  ! VVVV^,          VR7      V n        \
        P                  P                  P                  P                  V P                  R^R7      V n        \        P                  ! 4       V n
        R# )r   )r   ÚpaddingÚgroupsÚweight)ÚnameÚdimN)r   r   r"   r   r   r!   ÚutilsÚparametrizationsÚweight_normÚGELUÚ
activation)r   r]   r   rg   r   s   &&&&€r   r   Ú PositionalConvEmbedding.__init__R   sn   ø€ Ü‰ÑÔÜ—I’IØØØ#Ø 1Õ$Øô
ˆŒ	ô —H‘H—N‘N×3Ñ3×?Ñ?ÀÇ	Á	ÐPXÐ^_Ð?Ó`ˆŒ	ÜŸ'š'›)ˆŽr   c                óª   € VP                  ^^4      pV P                  V4      RRRR13,          pV P                  V4      pVP                  ^^4      pV# )rJ   :NNNNr    )r%   r   ro   r&   s   &&r   r(   ÚPositionalConvEmbedding.forward^   sQ   € Ø�K‰K˜˜1ÓˆØ�I‰I�a‹L˜˜A˜s ˜s˜Õ#ˆØ�O‰O˜AÓˆØ�K‰K˜˜1ÓˆØˆr   )ro   r   )é   é€   é   r,   r4   s   @@r   rd   rd   Q   s   ù‡ € ÷
$÷ò r   rd   c                   ó@   a a€ ] tR t^ft oRV 3R lltRR ltRtVtV ;t# )ÚTransformerEncoderc	                ó  <€ \         S
V `  4        \        VR 7      V n        \        P
                  ! \        V4       U	u. uF  p	\        VVVVWvVR7      NK  	  up	4      V n        VP                  VRWvR7      V n
        WPn        R# u up	i ))r]   )r]   Ú	num_headsÚ	mlp_ratioÚdo_stable_layer_normr   r   r   rW   rX   N)r   r   rd   Úpos_conv_embedr"   rK   ÚrangeÚTransformerEncoderLayerÚlayersr   r   r{   )r   r]   ry   Ú
num_layersrz   r{   r   r   r   Ú_r   s   &&&&&&&&& €r   r   ÚTransformerEncoder.__init__g   s�   ø€ ô 	‰ÑÔä5À	ÔJˆÔÜ—m’mô ˜:Ô&ó	%
ñ '�ô $Ø#Ø#Ø#Ø%9Ø°z÷ñ 'ñ	%
ó 	ˆŒð %×.Ñ.¨y¸eÈFÐ.Ó`ˆŒØ$8Ö!ùò	%
s   ¾Bc                ó   € WP                  V4      ,           pRpV P                  '       g   V P                  V4      pV P                   F  pW13,          pV! W4      pK  	  V P                  '       d   V P                  V4      pW13,          pW3# )N© )r|   r{   r   r   )r   r'   ÚmaskÚall_xÚlayers   &&&  r   r(   ÚTransformerEncoder.forward�   s€   € Ø×#Ñ# AÓ&Õ&ˆØˆØ×(×(Ð(Ø—‘ Ó"ˆAØ—[”[ˆEØ�T�MˆEÙ�a“ŠAñ !ð ×$×$Ð$Ø—‘ Ó"ˆAØ��ˆØˆxˆr   )r{   r   r   r|   )rs   é   r‰   ç      @TNNNr?   r,   r4   s   @@r   rw   rw   f   s   ù‡ € ÷9÷4ô r   rw   c                   ó@   a a€ ] tR t^�t oRV 3R lltRR ltRtVtV ;t# )Ú	Attentionc                ó  <€ \         SV `  4        Wn        W n        W,          V n        VP                  WW5VR 7      V n        VP                  WW5VR 7      V n        VP                  WW5VR 7      V n        VP                  WW5VR 7      V n	        R# ))r
   r   r   N)
r   r   r]   ry   Úhead_dimr[   Úk_projÚv_projÚq_projÚout_proj)r   r]   ry   r
   r   r   r   r   s   &&&&&&&€r   r   ÚAttention.__init__�   sŠ   ø€ Ü‰ÑÔØ"ŒØ"ŒØ!Õ.ˆŒà ×'Ñ'¨	À4Ð^cÐ'ÓdˆŒØ ×'Ñ'¨	À4Ð^cÐ'ÓdˆŒØ ×'Ñ'¨	À4Ð^cÐ'ÓdˆŒØ"×)Ñ)¨)ÀTÐ`eÐ)ÓfˆŽr   c                óÂ   € Ve   Q hV P                  V4      pV P                  V4      pV P                  V4      p\        W4WPP                  4      pV P                  V4      # r?   )r‘   r�   r�   r   ry   r’   )r   r'   r…   ÚqÚkÚvÚouts   &&&    r   r(   ÚAttention.forward›   sR   € Ø’Ð�Ø�K‰K˜‹NˆØ�K‰K˜‹NˆØ�K‰K˜‹Nˆä(¨¨q·.±.ÓAˆØ�}‰}˜SÓ!Ð!r   )r]   rŽ   r�   ry   r’   r‘   r�   )TNNNr?   r,   r4   s   @@r   rŒ   rŒ   �   s   ù‡ € ÷	g÷"ô "r   rŒ   c                   ó<   a a€ ] tR t^¥t oRV 3R lltR tRtVtV ;t# )ÚFeedForwardc                óÄ   <€ \         SV `  4        VP                  V\        W,          4      WCR 7      V n        VP                  \        W,          4      WVR 7      V n        R# )rZ   N)r   r   r[   ÚintÚintermediate_denseÚoutput_dense)r   r]   rz   r   r   r   r   s   &&&&&&€r   r   ÚFeedForward.__init__¦   sT   ø€ Ü‰ÑÔØ",×"3Ñ"3°I¼sÀ9ÕCXÓ?YÐbhÐ"3Ó"vˆÔØ&×-Ñ-¬c°)Õ2GÓ.HÈ)ÐjoÐ-ÓpˆÖr   c                óœ   € V P                  V4      p\        P                  P                  P	                  V4      pV P                  V4      pV# r?   )rž   r!   r"   r#   r$   rŸ   r&   s   &&r   r(   ÚFeedForward.forward«   sA   € Ø×#Ñ# AÓ&ˆÜ�H‰H×Ñ×$Ñ$ QÓ'ˆØ×Ñ˜aÓ ˆØˆr   )rž   rŸ   rb   r,   r4   s   @@r   r›   r›   ¥   s   ù‡ € ÷q÷
ò r   r›   c                   ó@   a a€ ] tR t^²t oRV 3R lltRR ltRtVtV ;t# )r~   c                óÜ   <€ \         SV `  4        \        WWeVR 7      V n        VP	                  WVR7      V n        \        WWeVR 7      V n        VP	                  WVR7      V n        W@n	        R# )©r   r   r   rZ   N)
r   r   rŒ   Ú	attentionr   r   r›   Úfeed_forwardÚfinal_layer_normr{   )	r   r]   ry   rz   r{   r   r   r   r   s	   &&&&&&&&€r   r   Ú TransformerEncoderLayer.__init__³   si   ø€ ô 	‰ÑÔä" 9ÀÐ`jÔkˆŒà$×.Ñ.¨yÈuÐ.ÓUˆŒÜ'¨	ÀVÐeoÔpˆÔØ *× 4Ñ 4°YÐUZÐ 4Ó [ˆÔØ$8Ö!r   c                ó^  € TpV P                   '       d   V P                  V4      pV P                  WR 7      pW1,           pV P                   '       g8   V P                  V4      pV P                  WP	                  V4      ,           4      # WP	                  V P                  V4      4      ,           # ))r…   )r{   r   r¦   r¨   r§   )r   r'   r…   Úresiduals   &&& r   r(   ÚTransformerEncoderLayer.forwardÄ   s�   € ØˆØ×$×$Ð$Ø—‘ Ó"ˆAØ�N‰N˜1ˆNÓ(ˆØ�LˆØ×(×(Ð(Ø—‘ Ó"ˆAØ×(Ñ(¨×->Ñ->¸qÓ-AÕ)AÓBÐBà×(Ñ(¨×)>Ñ)>¸qÓ)AÓBÕBÐBr   )r¦   r{   r§   r¨   r   )rs   r‰   rŠ   TNNNr?   r,   r4   s   @@r   r~   r~   ²   s   ù‡ € ÷9÷"
Cô 
Cr   r~   c                   óD   a a€ ] tR t^Ñt oRtRV 3R lltRR ltRtVtV ;t	# )ÚWav2Vec2ModelzComplete Wav2Vec 2.0 model.c           
     ó  <€ \         SV `  4        R p\        WÅWjW›R7      V n        \	        WÁW©VR7      V n        \        P                  ! \        P                  ! WV	R7      4      V n
        Wpn        \        VVVVW©VR7      V n        R# )i   )rO   rN   r   r   r   r¥   rZ   )r]   ry   r€   r{   r   r   r   N)r   r   rH   Úfeature_extractorrU   Úfeature_projectionr"   Ú	Parameterr!   ÚemptyÚmasked_spec_embedÚdo_normalizerw   Úencoder)r   r]   Ú	final_dimry   r€   rO   rN   rµ   r{   r   r   r   rM   r   s   &&&&&&&&&&&& €r   r   ÚWav2Vec2Model.__init__Ô   s‚   ø€ ô 	‰ÑÔàˆÜ!3°HÐ]fð  ~Cô  "[ˆÔÜ"3°HÐPVÐpzÔ"{ˆÔä!#§¢¬e¯kªk¸)ÐZ_Ô.`Ó!aˆÔØ(Ôä)ØØØ!Ø!5Ø°:ô
ˆŽr   c                óp  € \         P                  ! V^R7      pV P                  '       dG   WP                  4       ,
          \         P                  ! VP	                  4       R,           4      ,          pV P                  V4      pV P                  V4      pVP                  w  rVpV P                  V4      w  rW3# )rJ   )rj   gH¯¼šò×z>)	r!   Úmeanrµ   ÚsqrtÚvarr°   r±   Úshaper¶   )	r   r'   Úmask_time_indicesÚreturn_dictÚfeaturesÚ
batch_sizeÚseq_lenr�   r†   s	   &&&&     r   r(   ÚWav2Vec2Model.forwardñ   sˆ   € Ü�JŠJ�q˜aÔ ˆà××ÐØ—V‘V“X•¤§¢¨A¯E©E«G°d­NÓ!;Õ;ˆAà×)Ñ)¨!Ó,ˆØ×*Ñ*¨8Ó4ˆØ!)§¡Ñˆ
˜Qà—<‘< Ó)‰ˆØˆxˆr   )rµ   r¶   r°   r±   r´   )i   é   ru   é   TTTTNNN)NF)
r-   r.   r/   r0   Ú__doc__r   r(   r1   r2   r3   r4   s   @@r   r®   r®   Ñ   s   ù‡ € Ù%÷
÷:ô r   r®   )r!   Útorch.nnr"   Úcomfy.ldm.modules.attentionr   ÚModuler   r7   rB   rH   rU   rd   rw   rŒ   r›   r~   r®   r„   r   r   Ú<module>rÊ      sÄ   ðÛ Ý Ý Bô`�B—I‘Iô `ô<˜Ÿ™ô <ô+�—‘ô +ô!˜Ÿ™ô !ôB	˜Ÿ	™	ô 	ô˜bŸi™iô ô*&˜Ÿ™ô &ôR"�—	‘	ô "ô,
�"—)‘)ô 
ôC˜bŸi™iô Cô>+�B—I‘Iö +r   