+
    ƒ°ñjÉF  ã                   óÖ  € ^ RI t ^ RIHt ^ RIHu Ht ^ RIHt ^ RIH	t	H
t
 ^ RIt]P                  P                  t^t ! R R]P                   4      t ! R R]P$                  4      t ! R R	]P$                  4      t ! R
 R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      tR t ! R R]P$                  4      tR# )é    N)Ú	rearrange)Úvae_attentionÚtorch_cat_if_neededc                   óF   a a€ ] tR t^t oRtV 3R ltRV 3R lltRtVtV ;t	# )ÚCausalConv3dz
Causal 3d convolusion.
c                ó¾   <€ \         SV `  ! V/ VB  ^V P                  ^ ,          ,          V n        ^ V P                  ^,          V P                  ^,          3V n        R# )é   N)ÚsuperÚ__init__ÚpaddingÚ_padding)ÚselfÚargsÚkwargsÚ	__class__s   &*,€Ú5C:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\wan\vae.pyr   ÚCausalConv3d.__init__   sG   ø€ Ü‰Ò˜$Ð) &Ò)Ø˜DŸL™L¨�OÕ+ˆŒØ˜4Ÿ<™<¨�?¨D¯L©L¸­OÐ<ˆŽó    c                ó  <€ Ve   W4,          pR W4&   Vf*   VP                   ^,          ^8X  d   \        SV `	  VRR7      # V P                  ^ 8”  d¤   V P                  pVe?   VP	                  VP
                  4      p\        ^ WRP                   ^,          ,
          4      p\        VP                   4      pWV^&   \        P                  ! WaP
                  VP                  R7      p\        WrV.^R7      p?\        SV `	  V4      # )NÚcausal_zero)Úautopad)ÚdeviceÚdtype©Údim)Úshaper
   Úforwardr   Útor   ÚmaxÚlistÚtorchÚzerosr   r   )	r   ÚxÚcache_xÚ
cache_listÚ	cache_idxÚpadding_neededÚpadding_shaper   r   s	   &&&&&   €r   r   ÚCausalConv3d.forward   sÖ   ø€ ØÒ!Ø Õ+ˆGØ$(ˆJÑ!àŠ?˜qŸw™w q�z¨Qœô ‘7‘? 1¨m�?Ó<Ð<à�=‰=˜1ÔØ!Ÿ]™]ˆNØÒ"Ø!Ÿ*™* Q§X¡XÓ.�Ü!$ Q¨¿¹ÀqÕ9IÕ(IÓ!J�Ü  §¡›MˆMØ-˜!ÑÜ—k’k -¿¹ÈÏÉÔPˆGÜ# W°qÐ$9¸qÔAˆAØä‰w‰˜qÓ!Ð!r   )r   r   )NNN©
Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__Ú__doc__r   r   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r   r      s   ù‡ € ñõ=÷
"÷ "r   r   c                   ó<   a a€ ] tR t^2t oRV 3R lltR tRtVtV ;t# )ÚRMS_normc                ód  <€ \         SV `  4        V'       g   RMRpV'       d   V.VO5MV3pW n        VR,          V n        \        P
                  ! \        P                  ! V4      4      V n        V'       d2   \        P
                  ! \        P                  ! V4      4      V n
        R# RV n
        R# )é   g      à?N)r8   r8   r8   )r8   r8   )r
   r   Úchannel_firstÚscaleÚnnÚ	Parameterr!   ÚonesÚgammar"   Úbias)r   r   r9   Úimagesr?   Úbroadcastable_dimsr   r   s   &&&&&  €r   r   ÚRMS_norm.__init__4   sw   ø€ Ü‰ÑÔß.4™Y¸&Ðß.;�Ð*Ð)Ò*À#Àˆà*ÔØ˜#•XˆŒ
Ü—\’\¤%§*¢*¨UÓ"3Ó4ˆŒ
ß8<”B—L’L¤§¢¨UÓ!3Ó4ˆŽ	À$ˆŽ	r   c                ó&  € \         P                  ! YP                  '       d   ^MRR7      V P                  ,          V P                  P                  V4      ,          V P                  e"   V P                  P                  V4      ,           # ^ ,           # )r8   r   éÿÿÿÿ)ÚFÚ	normalizer9   r:   r>   r   r?   )r   r#   s   &&r   r   ÚRMS_norm.forward>   s†   € Ü�{Š{Ø×+×+Ð+‘A°ô6Ø8<¿
¹
õCØEIÇZÁZÇ]Á]ÐSTÓEUõVØlp×luÑluò  mBÐY]×YbÑYb×YeÑYeÐfgÓYhõJð 	Jð HIõJð 	Jr   )r?   r9   r>   r:   ©TTF©	r+   r,   r-   r.   r   r   r0   r1   r2   r3   s   @@r   r6   r6   2   s   ù‡ € ÷G÷Jò Jr   r6   c                   óD   a a€ ] tR t^Ct oV 3R ltR^ .R3R ltRtVtV ;t# )ÚResamplec           
     óz  <€ VR9   g   Q h\         SV `  4        Wn        W n        VR8X  dR   \        P
                  ! \        P                  ! RRR7      \        P                  W^,          ^^R7      4      V n	        R
# VR8X  dl   \        P
                  ! \        P                  ! RRR7      \        P                  W^,          ^^R7      4      V n	        \        W^,          RRR7      V n        R
# VR8X  dI   \        P
                  ! \        P                  ! R4      \        P                  W^RR7      4      V n	        R
# VR8X  d]   \        P
                  ! \        P                  ! R4      \        P                  W^RR7      4      V n	        \        WRRRR	7      V n        R
# \        P                  ! 4       V n	        R
# )ÚnoneÚ
upsample2dÚ
upsample3dÚdownsample2dÚdownsample3dznearest-exact)Úscale_factorÚmode©r   )Ústride)rU   r   N)rM   rN   rO   rP   rQ   )ç       @rV   )é   r8   r8   )r8   r   r   )r   r8   r   r8   )r	   r	   )r	   r8   r8   )r   r   r   )r
   r   r   rS   r;   Ú
SequentialÚUpsampleÚopsÚConv2dÚresampler   Ú	time_convÚ	ZeroPad2dÚIdentity)r   r   rS   r   s   &&&€r   r   ÚResample.__init__E   s[  ø€ Øð (ô (ð 	(ð (ä‰ÑÔØŒØŒ	ð �<ÔÜŸMšMÜ—’¨¸ÔHÜ—
‘
˜3 q¥¨!°Q�
Ó7ó9ˆDŽMð �\Ô!ÜŸMšMÜ—’¨¸ÔHÜ—
‘
˜3 q¥¨!°Q�
Ó7ó9ˆDŒMô *Ø˜1•W˜i°ô<ˆDŽNð �^Ô#ÜŸMšMÜ—’˜\Ó*Ü—
‘
˜3 Q¨v�
Ó6ó8ˆDŽMð �^Ô#ÜŸMšMÜ—’˜\Ó*Ü—
‘
˜3 Q¨v�
Ó6ó8ˆDŒMô *Ø˜)¨I¸yôJˆDŽNô ŸKšK›MˆDŽMr   NFc           
     óŒ  € VP                  4       w  rVrxp	V P                  R 8X  dì   Veè   V^ ,          p
W*,          f   RW*&   V^ ;;,          ^,          uu&   MºVRR\        ) R1RR3,          pW*,          R8X  d   V P                  V4      pMV P                  WV
,          4      pW²V
&   V^ ;;,          ^,          uu&   VP	                  V^WgW‰4      p\
        P                  ! VR,          VR	,          3^4      pVP	                  WVV^,          W‰4      pVP                  ^,          p\        VR4      pV P                  V4      p\        VRVR7      pV P                  R8X  då   Veá   V^ ,          p
W*,          f   WV
&   M³VRRR
R1RR3,          pV P                  \
        P                  ! W*,          RRR
R1RR3,          V.^4      4      pW²V
&   W*^,           ,          pVe$   \
        P                  ! WÁ.^4      pRW*^,           &   VP                  ^,          ^8X  d   V'       g   WV
^,           &   RpV^ ;;,          ^,          uu&   V# )rO   NÚRepºNNNúb c t h w -> (b t) c h wz(b t) c h w -> b c t h w©ÚtrQ   )rc   r   rc   rc   rc   rc   )rc   r8   rc   rc   rc   rc   rD   )ÚsizerS   ÚCACHE_Tr]   Úreshaper!   Ústackr   r   r\   Úcat)r   r#   Ú
feat_cacheÚfeat_idxÚfinalÚbÚcrf   ÚhÚwÚidxr$   Ú
deferred_xs   &&&&&        r   r   ÚResample.forwardf   s  € ØŸ™›‰ˆˆa�AØ�9‰9˜Ô$ØÒ%Ø˜q•k�Ø•?Ò*Ø&+�J‘OØ˜Q—K 1Õ$”Kð    1¤w h¡i°°AÐ 5Õ6�GØ!•¨%Ô/Ø ŸN™N¨1Ó-™à ŸN™N¨1¸­oÓ>˜Ø&-˜s‘OØ˜Q—K 1Õ$“KàŸ	™	 ! Q¨¨aÓ3�AÜŸš QÐ'7Õ%8¸!Ð<LÕ:MÐ$NØ$%ó'�AàŸ	™	 !¨¨A­¨qÓ4�AØ�G‰G�A�JˆÜ�aÐ3Ó4ˆØ�M‰M˜!ÓˆÜ�aÐ3°qÔ9ˆà�9‰9˜Ô&ØÒ%Ø˜q•k�Ø•?Ò*Ø&'˜s’Oð    1 b¡c¨1¨a Õ0�GØŸ™ÜŸ	š	 :¥?°1°a¸¹¸aÀ°?Õ#CÀQÐ"GÈÓKóM�Aà&-˜s‘Oà!+°!­GÕ!4�JØ!Ò-Ü!ŸIšI z o°qÓ9˜Ø.2˜
¨¥7Ñ+à—w‘w˜q•z Q”¯uØ./ 3¨¥7Ñ+Ø ˜à˜—˜qÕ “Øˆr   )r   rS   r\   r]   rI   r3   s   @@r   rK   rK   C   s    ù‡ € õ*ðB %)°A°3¸e÷ 1ô 1r   rK   c                   óH   a a€ ] tR t^št oRV 3R lltR^ .R3R ltRtVtV ;t# )ÚResidualBlockc                ó´  <€ \         SV `  4        Wn        W n        \        P
                  ! \        VR R7      \        P                  ! 4       \        W^^R7      \        VR R7      \        P                  ! 4       \        P                  ! V4      \        W"^^R7      4      V n
        W8w  d   \        W^4      V n        R# \        P                  ! 4       V n        R# )F©r@   rT   N)r
   r   Úin_dimÚout_dimr;   rX   r6   ÚSiLUr   ÚDropoutÚresidualr_   Úshortcut)r   rz   r{   Údropoutr   s   &&&&€r   r   ÚResidualBlock.__init__œ   s™   ø€ Ü‰ÑÔØŒØŒô ŸšÜ�V EÔ*¬B¯GªG«IÜ˜¨!°QÔ7Ü�W UÔ+¬R¯WªW«Y¼¿
º
À7Ó8KÜ˜¨1°aÔ8ó	:ˆŒð Ô ô % V°aÓ8ˆŽÜ&(§k¢k£mð 	Žr   NFc                ó$  € TpV P                    Fh  p\        V\        4      '       dH   VeD   V^ ,          pVRR\        ) R 1RR3,          pV! WVR7      pW‚V&   V^ ;;,          ^,          uu&   K`  V! V4      pKj  	  WP	                  V4      ,           # )Nrc   )r%   r&   )r~   Ú
isinstancer   rh   r   )	r   r#   rl   rm   rn   Úold_xÚlayerrs   r$   s	   &&&&&    r   r   ÚResidualBlock.forwardª   s‡   € ØˆØ—]”]ˆEÜ˜%¤×.Ò.°:Ò3IØ˜q•k�Ø˜A˜q¤7 (¡)¨Q°Ð1Õ2�Ù˜!¸cÔB�Ø")˜3‘Ø˜—˜qÕ •á˜!“H’ñ #ð —=‘= Ó'Õ'Ð'r   )rz   r{   r~   r   )ç        rI   r3   s   @@r   rw   rw   š   s   ù‡ € ÷4ð %)°A°3¸e÷ (ô (r   rw   c                   óH   a a€ ] tR t^¸t oRtV 3R ltR^ .R3R ltRtVtV ;t	# )ÚAttentionBlockz+
Causal self-attention with a single head.
c                óè   <€ \         SV `  4        Wn        \        V4      V n        \
        P                  W^,          ^4      V n        \
        P                  W^4      V n        \        4       V n
        R# )rW   N)r
   r   r   r6   ÚnormrZ   r[   Úto_qkvÚprojr   Úoptimized_attention)r   r   r   s   &&€r   r   ÚAttentionBlock.__init__½   sR   ø€ Ü‰ÑÔØŒô ˜S“MˆŒ	Ü—j‘j ¨A¥g¨qÓ1ˆŒÜ—J‘J˜s¨Ó+ˆŒ	Ü#0£?ˆÖ r   NFc                ó$  € TpVP                  4       w  rgr‰p
\        VR 4      pV P                  V4      pV P                  V4      P	                  ^^R7      w  r¼pV P                  W¼V4      pV P                  V4      p\        VRVR7      pW,           # )rd   r   z(b t) c h w-> b c t h wre   )rg   r   r‹   rŒ   ÚchunkrŽ   r�   )r   r#   rl   rm   rn   Úidentityro   rp   rf   rq   rr   ÚqÚkÚvs   &&&&&         r   r   ÚAttentionBlock.forwardÇ   s�   € ØˆØŸ™›‰ˆˆa�AÜ�aÐ3Ó4ˆØ�I‰I�a‹Lˆð —+‘+˜a“.×&Ñ& q¨aÐ&Ó0‰ˆˆaØ×$Ñ$ Q¨1Ó-ˆð �I‰I�a‹LˆÜ�aÐ2°aÔ8ˆØ�|Ðr   )r   r‹   rŽ   r�   rŒ   r*   r3   s   @@r   r‰   r‰   ¸   s$   ù‡ € ñõ3ð %)°A°3¸e÷ ô r   r‰   c                   ó`   a a€ ] tR t^×t o^€^^. RO^. . ROR3V 3R lltR^ .R3R ltRtVtV ;t# )	Ú	Encoder3dFr‡   c	                óº  <€ \         SV `  4        Wn        W n        W@n        WPn        W`n        Wpn        ^.V,            U	u. uF  q‘V	,          NK  	  p
p	Rp\        W:^ ,          ^^R7      V n	        . p\        \        V
RR V
R,          4      4       F¨  w  pw  rï\        V4       F@  pVP                  \        WïV4      4       W¶9   d   VP                  \        V4      4       TpKB  	  V\!        V4      ^,
          8w  g   Kp  VV,          '       d   RMRpVP                  \#        VVR7      4       VR,          pKª  	  \$        P&                  ! V!  V n        \$        P&                  ! \        XWø4      \        V4      \        WÿV4      4      V n        \$        P&                  ! \-        VR	R
7      \$        P.                  ! 4       \        Wò^^R7      4      V n        R# u up	i )r8   ç      ð?rT   Nºr8   NNrQ   rP   ©rS   rV   Fry   rD   )r
   r   r   Úz_dimÚdim_multÚnum_res_blocksÚattn_scalesÚtemperal_downsampler   Úconv1Ú	enumerateÚzipÚrangeÚappendrw   r‰   ÚlenrK   r;   rX   ÚdownsamplesÚmiddler6   r|   Úhead)r   r   r�   Úinput_channelsrž   rŸ   r    r¡   r€   ÚuÚdimsr:   r¨   Úirz   r{   Ú_rS   r   s   &&&&&&&&&         €r   r   ÚEncoder3d.__init__Ù   sž  ø€ ô 	‰ÑÔØŒØŒ
Ø ŒØ,ÔØ&ÔØ#6Ô ð #$  x¦Ó0¡˜A�a—�¡ˆÐ0Øˆô " .°qµ'¸1ÀaÔHˆŒ
ð ˆÜ$-¬c°$°s¸°)¸TÀ"½XÓ.FÖ$GÑ ˆAÑ �ä˜>Ö*�Ø×"Ñ"¤=°À'Ó#JÔKØÔ'Ø×&Ñ&¤~°gÓ'>Ô?Ø ’ñ	 +ð ”C˜“M AÕ%Ö%Ø)<Ø÷*ô *‘~Ø*ð à×"Ñ"¤8¨G¸$Ô#?Ô@Ø˜•’ñ %Hô Ÿ=š=¨+Ñ6ˆÔô —m’mÜ˜' 7Ó4´nÀWÓ6MÜ˜'¨GÓ4ó6ˆŒô
 —M’MÜ�W UÔ+¬R¯WªW«YÜ˜¨°AÔ6ó8ˆŽ	ùò= 1s   Á GNc                ó„  € VeQ   V^ ,          pVRR\         ) R 1RR3,          pV P                  WV,          4      pWbV&   V^ ;;,          ^,          uu&   MV P                  V4      pV P                   F"  pVe   V! WW4R7      pVf    R # K  V! V4      pK$  	  V P                   F  pVe   V! WW4R7      pK  V! V4      pK  	  V P                   Fm  p\        V\        4      '       dM   VeI   V^ ,          pVRR\         ) R 1RR3,          pV! WV,          4      pWbV&   V^ ;;,          ^,          uu&   Ke  V! V4      pKo  	  V# )Nrc   )rn   )rh   r¢   r¨   r©   rª   rƒ   r   )r   r#   rl   rm   rn   rs   r$   r…   s   &&&&&   r   r   ÚEncoder3d.forward  s<  € ØÒ!Ø˜1•+ˆCØ˜˜1œw˜h™i¨¨AÐ-Õ.ˆGØ—
‘
˜1¨�oÓ.ˆAØ%�s‰OØ�Q�K˜1ÕŒKà—
‘
˜1“ˆAð ×%Ô%ˆEØÒ%Ù˜!¨Ô?�Ø’9Úñ ñ ˜!“H’ñ &ð —[”[ˆEØÒ%Ù˜!¨Ô?’á˜!“H’ñ	 !ð —Y”YˆEÜ˜%¤×.Ò.°:Ò3IØ˜q•k�Ø˜A˜q¤7 (¡)¨Q°Ð1Õ2�Ù˜!¨�_Ó-�Ø")˜3‘Ø˜—˜qÕ •á˜!“H’ñ ð ˆr   )
r    r¢   r   rž   r¨   rª   r©   rŸ   r¡   r�   ©r8   r	   é   r´   rH   rI   r3   s   @@r   r˜   r˜   ×   s:   ù‡ € ð ØØ !Ú&Ø !ØÚ%8Ø÷28ðh %)°A°3¸e÷ $ô $r   r˜   c                   ód   a a€ ] tR tRt o^€^^. RO^. . R	OR3V 3R lltR tR^ .3R ltRtVtV ;t	# )
Ú	Decoder3di4  r‡   c	                óª  <€ \         SV `  4        Wn        W n        W@n        WPn        W`n        Wpn        VR,          .VRRR1,          ,            U	u. uF  q‘V	,          NK  	  p
p	R^\        V4      ^,
          ,          ,          p\        W*^ ,          ^^R7      V n
        \        P                  ! \        V
^ ,          V
^ ,          V4      \        V
^ ,          4      \        V
^ ,          V
^ ,          V4      4      V n        . p\!        \#        V
RR V
R,          4      4       FÌ  w  pw  rïV^8X  g   V^8X  g   V^8X  d
   V^,          p\%        V^,           4       F@  pVP'                  \        WïV4      4       W¶9   d   VP'                  \        V4      4       TpKB  	  V\        V4      ^,
          8w  g   K•  W},          '       d   RMRpVP'                  \)        VVR7      4       VR,          pKÎ  	  \        P                  ! V!  V n        \        P                  ! \-        XR	R
7      \        P.                  ! 4       \        Wó^^R7      4      V n        R# u up	i )r8   Nrš   rT   r›   rO   rN   rœ   rV   Fry   rD   )r
   r   r   r�   rž   rŸ   r    Útemperal_upsampler§   r   r¢   r;   rX   rw   r‰   r©   r£   r¤   r¥   r¦   rK   Ú	upsamplesr6   r|   rª   )r   r   r�   Úoutput_channelsrž   rŸ   r    r¸   r€   r¬   r­   r:   r¹   r®   rz   r{   r¯   rS   r   s   &&&&&&&&&         €r   r   ÚDecoder3d.__init__6  sï  ø€ ô 	‰ÑÔØŒØŒ
Ø ŒØ,ÔØ&ÔØ!2Ôð #+¨2¥, °(¹4¸R¸4µ.Ö!@ÓAÑ!@˜A�a—�Ñ!@ˆÐAØ�aœ#˜h›-¨!Õ+Õ,Õ,ˆô " %¨a­°!¸QÔ?ˆŒ
ô —m’mÜ˜$˜q�' 4¨¥7¨GÓ4´nÀTÈ!ÅWÓ6MÜ˜$˜q�' 4¨¥7¨GÓ4ó6ˆŒð
 ˆ	Ü$-¬c°$°s¸°)¸TÀ"½XÓ.FÖ$GÑ ˆAÑ �à�AŒv˜˜aœ 1¨¤6Ø 1��Ü˜>¨AÕ-Ö.�Ø× Ñ ¤¨vÀÓ!HÔIØÔ'Ø×$Ñ$¤^°GÓ%<Ô=Ø ’ñ	 /ð ”C˜“M AÕ%Ö%Ø'8×';Ô';‘|À�Ø× Ñ ¤¨'¸Ô!=Ô>Ø˜•’ñ %Hô Ÿš¨	Ñ2ˆŒô —M’MÜ�W UÔ+¬R¯WªW«YÜ˜°1¸aÔ@óBˆŽ	ùò? Bs   ÁIc           
     óZ  € V^ ,          pRV^ &   V\        V P                  4      8¼  d–   V P                   Fr  p\        V\        4      '       dR   VeN   VRR\
        ) R1RR3,          pV! WcV^ ,          ,          4      pWƒV^ ,          &   V^ ;;,          ^,          uu&   Kj  V! V4      pKt  	  VP                  V4       R# V P                  V,          pVe   V! WcV4      pMV! V4      p\        V\        4      '       d‘   VP                  R8X  d€   VP                  ^,          ^8”  dh   \        ^ VP                  ^,          ^4       FB  p	V P                  V^,           VRRW™^,           1RR3,          .VVP                  4       V4       KD  	  ?R# V.p
?V P                  V^,           W£WE4       R# )r   Nrc   rO   )r§   r¹   rª   rƒ   r   rh   r¦   rK   rS   r   r¥   Úrun_upÚcopy)r   Ú	layer_idxÚx_refrl   rm   Ú
out_chunksr#   r…   r$   Ú	frame_idxÚ
next_x_refs   &&&&&&     r   r½   ÚDecoder3d.run_upk  sx  € Ø�!�HˆØˆˆa‰Øœ˜DŸN™NÓ+Ô+ØŸœ�Ü˜e¤\×2Ò2°zÒ7MØ  1¤w h¡i°°AÐ 5Õ6�GÙ˜a¨H°Q­KÕ!8Ó9�AØ.5˜x¨�{Ñ+Ø˜Q—K 1Õ$•Ká˜a›’Añ #ð ×Ñ˜aÔ Ùà—‘˜yÕ)ˆØÒ!Ù�a XÓ.‰Aá�a“ˆAä�eœX×&Ò&¨5¯:©:¸Ô+EÈ!Ï'É'ÐRSÍ*ÐWXÌ.Ü" 1 a§g¡g¨a¥j°!Ö4�	Ø—‘Ø •MØ�q˜!˜Y°1¥}Ð4°a¸Ð:Õ;Ð<ØØ—M‘M“OØöñ 5ð Ùà�Sˆ
ØØ�‰�I •M :¸8ÖPr   Nc                óR  € VeQ   V^ ,          pVRR\         ) R 1RR3,          pV P                  WV,          4      pWRV&   V^ ;;,          ^,          uu&   MV P                  V4      pV P                   F  pVe   V! WV4      pK  V! V4      pK  	  . pV P                  ^ V.W#V4       V# )Nrc   )rh   r¢   r©   r½   )r   r#   rl   rm   rs   r$   r…   rÁ   s   &&&&    r   r   ÚDecoder3d.forward�  sª   € àÒ!Ø˜1•+ˆCØ˜˜1œw˜h™i¨¨AÐ-Õ.ˆGØ—
‘
˜1¨�oÓ.ˆAØ%�s‰OØ�Q�K˜1ÕŒKà—
‘
˜1“ˆAð —[”[ˆEØÒ%Ù˜!¨Ó2’á˜!“H’ñ	 !ð ˆ
à�‰�A˜�s˜J°*Ô=ØÐr   )
r    r¢   r   rž   rª   r©   rŸ   r¸   r¹   r�   r³   )FTT)
r+   r,   r-   r.   r   r½   r   r0   r1   r2   r3   s   @@r   r¶   r¶   4  s@   ù‡ € ð ØØ!"Ú&Ø !ØÚ#6Ø÷3Bòj#QðJ %)°A°3÷ ô r   r¶   c                 óÌ   € ^ pV P                  4        FM  p\        V\        4      '       g,   \        V\        4      '       g   K1  VP                  R8X  g   KD  V^,          pKO  	  V# )r   rQ   )Úmodulesrƒ   r   rK   rS   )ÚmodelÚcountÚms   &  r   Úcount_cache_layersrÌ   ¨  sL   € Ø€EØ�]‰]Ž_ˆÜ�aœ×&Ò&¬:°a¼×+BÔ+BÀqÇvÁvÐQ_ÖG_Ø�Q�JŠEñ ð €Lr   c            	       ó\   a a€ ] tR tRt o^€^. RO^. . RO^^R3	V 3R lltR tR tRtVtV ;t	# )	ÚWanVAEi°  r‡   c
           
     óv  <€ \         S
V `  4        Wn        W n        W0n        W@n        WPn        W`n        VR R R1,          V n        \        W^,          WsVWPP                  V	4      V n
        \        V^,          V^,          ^4      V n        \        W"^4      V n        \        WWƒVWPP                  V	4      V n        R # )NrD   )r
   r   r   r�   rž   rŸ   r    r¡   r¸   r˜   Úencoderr   r¢   Úconv2r¶   Údecoder)r   r   r�   rž   rŸ   r    r¡   Úimage_channelsÚconv_out_channelsr€   r   s   &&&&&&&&&&€r   r   ÚWanVAE.__init__²  s«   ø€ ô 	‰ÑÔØŒØŒ
Ø ŒØ,ÔØ&ÔØ#6Ô Ø!4±T°r°TÕ!:ˆÔô ! ¨a¥i°È>Ø!,×.FÑ.FÈóQˆŒä! %¨!¥)¨U°Q­Y¸Ó:ˆŒ
Ü! %°Ó2ˆŒ
Ü  Ð->È.Ø!,×.DÑ.DÀgóOˆŽr   c           
     ó~  € ^ .pVP                   ^,          p^V^,
          ^,          ^,          ,           p^V^,
          ^,          ,           pRpV^8”  d   R.\        V P                  4      ,          p\        V4       F˜  p^ .pV^ 8X  d   V P                  VR,          VVR7      pK*  V P                  VRR^^V^,
          ,          ,           ^^V,          ,           1RR3,          VVWd^,
          8H  R7      pVf   K  \        P
                  ! XV.^4      pKš  	  V P                  X4      P                  ^^R7      w  ršV	# )r   Nrc   ©rl   rm   )rl   rm   rn   r   )rc   rc   :Nr8   Nrc   rc   )r   rÌ   rÐ   r¥   r!   rk   r¢   r‘   )r   r#   Úconv_idxrf   Úiter_Úfeat_mapr®   ÚoutÚout_ÚmuÚlog_vars   &&         r   ÚencodeÚWanVAE.encodeÍ  s3  € Ø�3ˆà�G‰G�A�JˆØ�!�a•%˜A• Õ"Õ"ˆØ�Q˜•U˜q•LÕ ˆØˆØ�1Œ9Ø�vÔ 2°4·<±<Ó @Õ@ˆHä�u–ˆAØ�sˆHØ�AŒvØ—l‘lØ�nÕ%Ø'Ø%ð #ó '’ð
 —|‘|Ø�a˜˜A  Q¨¥U¥�O¨A°°Aµ­IÐ5°q¸!Ð;Õ<Ø'Ø%Ø¨¥Ñ+ð	 $ó .�ð
 ’<ÙÜ—i’i  d ¨QÓ/’ñ ð" —j‘j “o×+Ñ+¨A°1Ð+Ó5‰ˆØˆ	r   c           
     ó  € ^VP                   ^,          ^,          ,           pRpV^8”  d   R.\        V P                  4      ,          pV P                  V4      p\	        V4       F…  p^ .pV^ 8X  d+   V P                  VRRWU^,           1RR3,          VVR7      pK7  V P                  VRR^^V^,
          ,          ,           ^^V,          ,           1RR3,          VVR7      pXV,          pK‡  	  \
        P                  ! X^4      # )r8   Nrc   r×   )r   rÌ   rÒ   rÑ   r¥   r!   rk   )	r   ÚzrÙ   rÚ   r#   r®   rØ   rÛ   rÜ   s	   &&       r   ÚdecodeÚWanVAE.decodeë  sú   € à�A—G‘G˜A•J !•OÕ#ˆØˆØ�1Œ9Ø�vÔ 2°4·<±<Ó @Õ@ˆHØ�J‰J�q‹MˆÜ�u–ˆAØ�sˆHØ�AŒvØ—l‘lØ�a˜˜A !�e˜G Q¨Ð)Õ*Ø'Ø%ð #ó '’ð
 —|‘|Ø�a˜˜A  Q¨¥U¥�O¨A°°Aµ­IÐ5°q¸!Ð;Õ<Ø'Ø%ð $ó '�ð �t•’ñ ô �yŠy˜˜aÓ Ð r   )r    r¢   rÑ   rÒ   r   rž   rÐ   rŸ   r¡   r¸   r�   r³   rH   )
r+   r,   r-   r.   r   rß   rã   r0   r1   r2   r3   s   @@r   rÎ   rÎ   °  s7   ù‡ € ð ØÚ&Ø !ØÚ%8Ø !Ø#$Ø÷Oò6÷<!ò !r   rÎ   )r!   Útorch.nnr;   Útorch.nn.functionalÚ
functionalrE   Úeinopsr   Ú(comfy.ldm.modules.diffusionmodules.modelr   r   Ú	comfy.opsÚcomfyrZ   Údisable_weight_initrh   ÚConv3dr   ÚModuler6   rK   rw   r‰   r˜   r¶   rÌ   rÎ   © r   r   Ú<module>rð      sÃ   ðó Ý ß Ð Ý ß Wã Ø‡i�i×#Ñ#€à
€ô"�3—:‘:ô "ôDJˆr�y‰yô Jô"Tˆr�y‰yô Tôn(�B—I‘Iô (ô<�R—Y‘Yô ô>Z�—	‘	ô Zôzq�—	‘	ô qòhôO!ˆR�Y‰Yö O!r   