+
    ƒ°ñjg  ã                   ó(  € ^ RI t ^ RIHt ^ RIHu Ht ^ RIHt ^RIH	t	H
t
Ht ^ RIt]P                  P                  t^t ! R R]P"                  4      tRtRR ltRR lt ! R R	]P"                  4      tR
 tR t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      tR t ! R R]P"                  4      t R# )é    N)Ú	rearrange)ÚAttentionBlockÚCausalConv3dÚRMS_normc                   óF   a a€ ] tR t^t oRV 3R lltR^ .3R ltRtVtV ;t# )ÚResamplec           
     ó~  <€ VR9   g   Q h\         SV `  4        Wn        W n        VR8X  dK   \        P
                  ! \        P                  ! RRR7      \        P                  W^^R7      4      V n	        R
# VR8X  dr   \        P
                  ! \        P                  ! RRR7      \        P                  W^^R7      4      V n	        \        W^,          V^^3V^,          ^ ^ 3R7      V n        R
# VR8X  dI   \        P
                  ! \        P                  ! R4      \        P                  W^RR7      4      V n	        R
# VR8X  d`   \        P
                  ! \        P                  ! R4      \        P                  W^RR7      4      V n	        \        WV^^3RRR	7      V n        R
# \        P                  ! 4       V n	        R
# )ÚnoneÚ
upsample2dÚ
upsample3dÚdownsample2dÚdownsample3dznearest-exact)Úscale_factorÚmode©Úpadding)Ústride)r   r   N)r
   r   r   r   r   )ç       @r   )r   é   r   r   )é   r   )r   r   r   )r   r   r   )ÚsuperÚ__init__Údimr   ÚnnÚ
SequentialÚUpsampleÚopsÚConv2dÚresampler   Ú	time_convÚ	ZeroPad2dÚIdentity)Úselfr   r   Útemporal_kernelÚ	__class__s   &&&&€Ú8C:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\wan\vae2_2.pyr   ÚResample.__init__   sq  ø€ Øð 
ô 
ð 	
ð 
ô 	‰ÑÔØŒØŒ	ð �<ÔÜŸMšMÜ—’¨¸/ÔJÜ—
‘
˜3 Q°�
Ó2óˆDŽMð �\Ô!ÜŸMšMÜ—’¨¸/ÔJÜ—
‘
˜3 Q°�
Ó2óˆDŒMô
 *Ø˜1•W˜°°1Ð5ÀÐSTÕ@TÐVWÐYZÐ?[ô]ˆDŽNà�^Ô#ÜŸMšMÜ—’˜\Ó*Ü—
‘
˜3 Q¨v�
Ó6ó8ˆDŽMð �^Ô#ÜŸMšMÜ—’˜\Ó*Ü—
‘
˜3 Q¨v�
Ó6ó8ˆDŒMô *Ø˜?¨A¨qÐ1¸)ÈYôXˆDŽNô ŸKšK›MˆDŽMó    Nc           
     ó�  € VP                  4       w  rErgpV P                  R 8X  Edð   VEeë   V^ ,          p	W),          f   RW)&   V^ ;;,          ^,          uu&   EM¼VRR\        ) R1RR3,          P                  4       p
V
P                  ^,          ^8  dg   W),          e]   W),          R8w  dP   \
        P                  ! W),          R,          P                  ^4      P                  V
P                  4      V
.^R7      p
V
P                  ^,          ^8  d_   W),          eU   W),          R8X  dH   \
        P                  ! \
        P                  ! V
4      P                  V
P                  4      V
.^R7      p
W),          R8X  d   V P                  V4      pMV P                  WV	,          4      pW¢V	&   V^ ;;,          ^,          uu&   VP                  V^WVWx4      p\
        P                  ! VR,          VR,          3^4      pVP                  WEV^,          Wx4      pVP                  ^,          p\        VR4      pVf+   V P                  R9   d   \        V P                   V^R7      pMV P!                  V4      p\        VRVR7      pV P                  R	8X  d´   Ve°   V^ ,          p	W),          f*   VP                  4       W)&   V^ ;;,          ^,          uu&   V# VRRR
R1RR3,          P                  4       p
V P                  \
        P                  ! W),          RRR
R1RR3,          V.^4      4      pW¢V	&   V^ ;;,          ^,          uu&   V# )r   NÚRepºNNN©r   zb c t h w -> (b t) c h w)Úscalez(b t) c h w -> b c t h w)Útr   éÿÿÿÿ©r+   r+   r/   r+   r+   )r+   r   r+   r+   r+   r+   )r+   r   r+   r+   r+   r+   )r   r   )Úsizer   ÚCACHE_TÚcloneÚshapeÚtorchÚcatÚ	unsqueezeÚtoÚdeviceÚ
zeros_liker    ÚreshapeÚstackr   Ústrip_applyr   )r#   ÚxÚ
feat_cacheÚfeat_idxÚbÚcr.   ÚhÚwÚidxÚcache_xs   &&&&       r&   ÚforwardÚResample.forward:   sÌ  € ØŸ™›‰ˆˆa�AØ�9‰9˜Õ$ØÓ%Ø˜q•k�Ø•?Ò*Ø&+�J‘OØ˜Q—K 1Õ$•Kà  1¤w h¡i°°AÐ 5Õ6×<Ñ<Ó>�GØŸ™ aÕ(¨1Ô,°µÒ1LØ&�O¨uÔ4ä"'§)¢)à *¥°Õ ?× IÑ IÈ!Ó L× OÑ OØ$+§N¡Nó!4à 'ðð
 !"ô#˜ð  Ÿ™ aÕ(¨1Ô,°µÒ1LØ&�O¨uÔ4Ü"'§)¢)ä %× 0Ò 0°Ó 9× <Ñ <¸W¿^¹^Ó LØ 'ðð !"ô#˜ð "•¨%Ô/Ø ŸN™N¨1Ó-™à ŸN™N¨1¸­oÓ>˜Ø&-˜s‘OØ˜Q—K 1Õ$“KØŸ	™	 ! Q¨¨aÓ3�AÜŸš QÐ'7Õ%8¸!Ð<LÕ:MÐ$NØ$%ó'�AàŸ	™	 !¨¨A­¨qÓ4�AØ�G‰G�A�JˆÜ�aÐ3Ó4ˆØÒ $§)¡)Ð/KÔ"KÜ˜DŸM™M¨1°AÔ6‰Aà—‘˜aÓ ˆAÜ�aÐ3°qÔ9ˆà�9‰9˜Ô&ØÒ%Ø˜q•k�Ø•?Ò*Ø&'§g¡g£i�J‘OØ˜Q—K 1Õ$“Kð ˆð    1 b¡c¨1¨a Õ0×6Ñ6Ó8�GØŸ™ÜŸ	š	 :¥?°1°a¸¹¸aÀ°?Õ#CÀQÐ"GÈÓKóM�Aà&-˜s‘OØ˜Q—K 1Õ$“KØˆr(   )r   r   r   r    ©é   ©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   rG   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r%   Ú__classdict__s   @@r&   r   r      s   ù‡ € ÷%*ðN %)°A°3÷ <ô <r(   r   c                 ó  € VP                  4       ) V,          V,          \        ,          ) pV^8:  d   Vf	   V ! V4      # VRJpVP                  R,          pV) V,          ) p\        ^ Wx4       EF  p	\	        WyV,           4      p
\        ^ W“,
          4      pV ! VP                  RV\	        WzV,           4      V,
          4      4      P                  RW›,
          V,          W©,
          V,          4      pVf<   VP                  ! . VP                  RR OWr,          NVP                  R,          N5!  pVP                  RW’,          W©,
          V,          4      pV'       d   VP                  V4       EK  VP                  V4       EK  	  V# )r   Néþÿÿÿr/   )
ÚnumelÚSTRIP_ELEMSr4   ÚrangeÚminÚmaxÚnarrowÚ	new_emptyÚadd_Úcopy_)Úfnr>   r-   ÚhaloÚoutÚnÚaddr1   ÚstepÚarA   ÚloÚyÚdsts   &&&&&         r&   r=   r=   |   s9  € à�7‰7‹9ˆ*�uÕ
˜uÕ
$¬Õ
3Ð4€AØˆA„v�#’+Ù�!‹uˆØ
�Tˆ/€CØ�7‰7�2�;€DØˆU�a�Zˆ=€DÜ�1�d×!ˆÜ�˜$•hÓˆÜ��A•HÓˆÙˆq�x‰x˜˜B¤ D¨d­(Ó 3°bÕ 8Ó9Ó:×AÑAÀ"ÀqÅvÐQVÕFVÐYZÕY^ÐbgÕXgÓhˆØŠ;Ø—+’+ÐG˜qŸw™w s¨˜|ÐG¨T­\ÐG¸1¿7¹7À2½;ÓGˆCØ�j‰j˜˜Q�Y¨­°%­Ó8ˆßØ�H‰H�Q�Kà�I‰I�a�Lñ "ð €Jr(   c                 ó8   € \        WV^^3V^,          ^^3R7      # )rJ   r   )r   )Úin_dimÚout_dimr$   s   &&&r&   Úconv3x3rm   ’   s'   € Ü˜¨/¸1¸aÐ)@È?Ð^_ÕK_ÐabÐdeÐJfÔgÐgr(   c                   óF   a a€ ] tR t^–t oRV 3R lltR^ .3R ltRtVtV ;t# )ÚResidualBlockc                ó¬  <€ \         SV `  4        Wn        W n        \        P
                  ! \        VR R7      \        P                  ! 4       \        WV4      \        VR R7      \        P                  ! 4       \        P                  ! V4      \        W"V4      4      V n
        W8w  d   \        W^4      V n        R# \        P                  ! 4       V n        R# )F©ÚimagesN)r   r   rk   rl   r   r   r   ÚSiLUrm   ÚDropoutÚresidualr   r"   Úshortcut)r#   rk   rl   Údropoutr$   r%   s   &&&&&€r&   r   ÚResidualBlock.__init__˜   s›   ø€ Ü‰ÑÔØŒØŒô ŸšÜ�V EÔ*Ü�GŠG‹IÜ�F _Ó5Ü�W UÔ+Ü�GŠG‹IÜ�JŠJ�wÓÜ�G oÓ6ó
ˆŒð Ô ô ˜¨!Ó,ð 	Žä&(§k¢k£mð 	Žr(   Nc                óR  a € Vf   \        V 3R lV^R7      # TpS P                   Fç  p\        V\        4      '       dÇ   VeÃ   V^ ,          pVRR\        ) R 1RR3,          P                  4       pVP                  ^,          ^8  dZ   W&,          eP   \        P                  ! W&,          R,          P                  ^4      P                  VP                  4      V.^R7      pV! WVR7      pWrV&   V^ ;;,          ^,          uu&   Kß  V! V4      pKé  	  VS P                  V4      ,           # )Nc                 ób   <€ SP                  V 4      P                  SP                  V 4      4      # ©N)ru   r^   rv   )Úsr#   s   &€r&   Ú<lambda>Ú'ResidualBlock.forward.<locals>.<lambda>®   s"   ø€ ¨¯©°qÓ)9×)>Ñ)>¸t¿}¹}ÈQÓ?OÔ)Pr(   )ra   r+   r,   )Ú
cache_listÚ	cache_idxr0   )r=   ru   Ú
isinstancer   r2   r3   r4   r5   r6   r7   r8   r9   rv   )r#   r>   r?   r@   Úold_xÚlayerrE   rF   s   f&&&    r&   rG   ÚResidualBlock.forward«   s  ø€ ØÒäÔPÐRSÐZ[Ô\Ð\ØˆØ—]”]ˆEÜ˜%¤×.Ò.°:Ò3IØ˜q•k�Ø˜A˜q¤7 (¡)¨Q°Ð1Õ2×8Ñ8Ó:�Ø—=‘= Õ# aÔ'¨J­OÒ,Gä#Ÿišià&�O¨NÕ;×EÑEÀaÓH×KÑKØ '§¡ó0à#ðð
 ô�Gñ ˜!¸cÔB�Ø")˜3‘Ø˜—˜qÕ •á˜!“H’ñ% #ð& �4—=‘= Ó'Õ'Ð'r(   )rk   rl   ru   rv   )ç        rJ   rK   rS   s   @@r&   ro   ro   –   s   ù‡ € ÷5ð& %)°A°3÷ (ô (r(   ro   c                 óÚ   € V^8X  d   V # V P                  4       ^8X  d   \        V RWR7      p V # V P                  4       ^8X  d   \        V RVVR7      p V # \        RV P                   24      h)r   z b c (h q) (w r) -> b (c r q) h w©ÚqÚrz$b c f (h q) (w r) -> b (c r q) f h wzInvalid input shape: )r   r   Ú
ValueErrorr4   ©r>   Ú
patch_sizes   &&r&   Úpatchifyr�   Æ   sz   € Ø�Q„ØˆØ‡u�uƒw�!„|ÜØÐ1°ZôOˆð €Hð 
�‰‹�AŒÜØØ2ØØô	
ˆð €Hô Ð0°·±°	Ð:Ó;Ð;r(   c                 óª   € V^8X  d   V # V P                  4       ^8X  d   \        V RWR7      p V # V P                  4       ^8X  d   \        V RVVR7      p V # )r   z b (c r q) h w -> b c (h q) (w r)r‡   z$b (c r q) f h w -> b c f (h q) (w r))r   r   r‹   s   &&r&   Ú
unpatchifyr�   Ù   sa   € Ø�Q„Øˆà‡u�uƒw�!„|ÜØÐ1°ZôOˆð €Hð 
�‰‹�AŒÜØØ2ØØô	
ˆð €Hr(   c                   óH   a a€ ] tR t^êt oRV 3R lltV3R lR ltRtVtV ;t# )Ú	AvgDown3Dc                ó6  <€ \         SV `  4        Wn        W n        W0n        W@n        V P                  V P
                  ,          V P
                  ,          V n        WP                  ,          V,          ^ 8X  g   Q hWP                  ,          V,          V n        R# ©r   N)r   r   Úin_channelsÚout_channelsÚfactor_tÚfactor_sÚfactorÚ
group_size©r#   r”   r•   r–   r—   r%   s   &&&&&€r&   r   ÚAvgDown3D.__init__ì   sp   ø€ ô 	‰ÑÔØ&ÔØ(ÔØ ŒØ ŒØ—m‘m d§m¡mÕ3°d·m±mÕCˆŒàŸ[™[Õ(¨<Õ7¸1Ô<Ð<Ð<Ø%¯©Õ3°|ÕCˆŽr(   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# ©r   r>   Úreturn©r5   ÚTensor)ÚformatrT   s   "€r&   Ú__annotate__ÚAvgDown3D.__annotate__ý   s#   ø€ ÷  ñ  ™Ÿ™ð  ©%¯,©,ñ  r(   c           
     óˆ  € V P                   VP                  ^,          V P                   ,          ,
          V P                   ,          p^ ^ ^ ^ V^ 3p\        P                  ! W4      pVP                  w  rErgpVP	                  VVW`P                   ,          V P                   WpP
                  ,          V P
                  W€P
                  ,          V P
                  4      pVP                  ^ ^^^^^^^4      P                  4       pVP	                  VWPP                  ,          W`P                   ,          WpP
                  ,          W€P
                  ,          4      pVP	                  VV P                  V P                  W`P                   ,          WpP
                  ,          W€P
                  ,          4      pVP                  ^R7      pV# )r   r,   )r–   r4   ÚFÚpadÚviewr—   ÚpermuteÚ
contiguousr˜   r•   r™   Úmean)	r#   r>   Úpad_tr¦   ÚBÚCÚTÚHÚWs	   &&       r&   rG   ÚAvgDown3D.forwardý   sU  € Ø—‘ §¡¨¥¨d¯m©mÕ!;Õ;¸t¿}¹}ÕLˆØ�!�Q˜˜5 !Ð$ˆÜ�EŠE�!‹MˆØŸ™‰ˆˆa�AØ�F‰FØØØ—‘ÕØ�M‰MØ—‘ÕØ�M‰MØ—‘ÕØ�M‰Mó	
ˆð �I‰I�a˜˜A˜q ! Q¨¨1Ó-×8Ñ8Ó:ˆØ�F‰FØØ—‘�OØ—‘ÕØ—‘ÕØ—‘Õó
ˆð �F‰FØØ×ÑØ�O‰OØ—‘ÕØ—‘ÕØ—‘Õó
ˆð �F‰F�qˆF‹MˆØˆr(   )r˜   r—   r–   r™   r”   r•   ©r   rK   rS   s   @@r&   r‘   r‘   ê   s   ù‡ € ÷D÷" ÷  ð  r(   r‘   c                   óX   a a€ ] tR tRt oRV3R lV 3R llltRV3R lR lltRtVtV ;t# )	ÚDupUp3Di   c                ó&   <€ V ^8„  d   QhRS[ RS[ /# )r   r”   r•   )Úint)r¡   rT   s   "€r&   r¢   ÚDupUp3D.__annotate__"  s#   ø€ ÷ Añ AáðAñ ñAr(   c                ó6  <€ \         SV `  4        Wn        W n        W0n        W@n        V P                  V P
                  ,          V P
                  ,          V n        W P                  ,          V,          ^ 8X  g   Q hW P                  ,          V,          V n        R# r“   )r   r   r”   r•   r–   r—   r˜   Úrepeatsrš   s   &&&&&€r&   r   ÚDupUp3D.__init__"  sp   ø€ ô 	‰ÑÔØ&ÔØ(Ôà ŒØ ŒØ—m‘m d§m¡mÕ3°d·m±mÕCˆŒàŸk™kÕ)¨KÕ7¸1Ô<Ð<Ð<Ø#§k¡kÕ1°[Õ@ˆŽr(   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# r�   rŸ   )r¡   rT   s   "€r&   r¢   r·   4  s#   ø€ ÷ ñ ™Ÿ™ð ¹U¿\¹\ñ r(   c                óò  € VP                  V P                  ^R7      pVP                  VP                  ^ 4      V P                  V P
                  V P                  V P                  VP                  ^4      VP                  ^4      VP                  ^4      4      pVP                  ^ ^^^^^^^4      P                  4       pVP                  VP                  ^ 4      V P                  VP                  ^4      V P
                  ,          VP                  ^4      V P                  ,          VP                  ^4      V P                  ,          4      pV'       d"   VRRV P
                  ^,
          R1RR3,          pV# )r   r,   r+   N)	Úrepeat_interleaver¹   r§   r1   r•   r–   r—   r¨   r©   )r#   r>   Úfirst_chunks   &&&r&   rG   ÚDupUp3D.forward4  s#  € Ø×Ñ §¡°!ÐÓ4ˆØ�F‰FØ�F‰F�1‹IØ×ÑØ�M‰MØ�M‰MØ�M‰MØ�F‰F�1‹IØ�F‰F�1‹IØ�F‰F�1‹Ió	
ˆð �I‰I�a˜˜A˜q ! Q¨¨1Ó-×8Ñ8Ó:ˆØ�F‰FØ�F‰F�1‹IØ×ÑØ�F‰F�1‹I˜Ÿ™Õ%Ø�F‰F�1‹I˜Ÿ™Õ%Ø�F‰F�1‹I˜Ÿ™Õ%ó
ˆ÷ Ø�!�Q˜Ÿ™¨Õ)Ñ*¨A¨qÐ0Õ1ˆAØˆr(   )r˜   r—   r–   r”   r•   r¹   r²   ©FrK   rS   s   @@r&   r´   r´      s    ù‡ € ÷Aõ A÷$÷ ò r(   r´   c                   óF   a a€ ] tR tRt oRV 3R lltR^ .3R ltRtVtV ;t# )ÚDown_ResidualBlockiM  c           
     ój  <€ \         SV `  4        \        TTV'       d   ^M^V'       d   ^M^R7      V n        . p\	        V4       F!  p	VP                  \        WW7R7      4       TpK#  	  V'       d)   V'       d   RMRp
VP                  \        W*VR7      4       \        P                  ! V!  V n
        R# )r   ©r–   r—   ©r$   r   r   ©r   r$   N)r   r   r‘   Úavg_shortcutrY   Úappendro   r   r   r   Údownsamples)r#   rk   rl   rw   ÚmultÚtemperal_downsampleÚ	down_flagr$   rÉ   Ú_r   r%   s   &&&&&&&&   €r&   r   ÚDown_ResidualBlock.__init__O  s–   ø€ ô 	‰ÑÔô &ØØß-‘Q°1ß#‘Q¨ô	
ˆÔð ˆÜ�t–ˆAØ×Ñœ}¨V¸gÔgÔhØŠFñ ÷
 ß%8‘>¸nˆDØ×Ñœx¨ÈOÔ\Ô]äŸ=š=¨+Ñ6ˆÖr(   Nc                ól   € TpV P                    F  pV! WV4      pK  	  WP                  V4      ,           # r{   )rÉ   rÇ   )r#   r>   r?   r@   Úx_copyÚmodules   &&&&  r&   rG   ÚDown_ResidualBlock.forwardn  s9   € ØˆØ×&Ô&ˆFÙ�q hÓ/ŠAñ 'ð ×$Ñ$ VÓ,Õ,Ð,r(   )rÇ   rÉ   ©FFrJ   rK   rS   s   @@r&   rÂ   rÂ   M  s   ù‡ € ÷7ð> %)°A°3÷ -ô -r(   rÂ   c                   óH   a a€ ] tR tRt oRV 3R lltR^ .R3R ltRtVtV ;t# )ÚUp_ResidualBlockiv  Fc           
     óŠ  <€ \         SV `  4        V'       d*   \        TTV'       d   ^M^V'       d   ^M^R7      V n        MRV n        . p\	        V4       F!  p	VP                  \        WW7R7      4       TpK#  	  V'       d)   V'       d   RMRp
VP                  \        W*VR7      4       \        P                  ! V!  V n
        R# )r   rÄ   NrÅ   r   r   rÆ   )r   r   r´   rÇ   rY   rÈ   ro   r   r   r   Ú	upsamples)r#   rk   rl   rw   rÊ   Útemperal_upsampleÚup_flagr$   r×   rÍ   r   r%   s   &&&&&&&&   €r&   r   ÚUp_ResidualBlock.__init__x  s    ø€ ô 	‰ÑÔçÜ 'ØØß/™°Qß%™¨1ô	!ˆDÕð !%ˆDÔð ˆ	Ü�t–ˆAØ×Ñœ]¨6¸GÔeÔfØŠFñ ÷
 ß#4‘<¸,ˆDØ×ÑœX gÈ/ÔZÔ[äŸš¨	Ñ2ˆŽr(   Nc                óð   a a€ TpS P                    F  pV! WRV4      pK  	  S P                  eH   Vf*   \        VV 3R lVS P                  P                  ^ VR7      # S P                  VS4      pWW,           # V# )Nc                 ó(   <€ SP                  V S4      # r{   )rÇ   )r|   r¾   r#   s   &€€r&   r}   Ú*Up_ResidualBlock.forward.<locals>.<lambda>Ÿ  s   ø€ ¨T×->Ñ->¸qÀ+Ô-Nr(   )r-   ra   rb   )r×   rÇ   r=   r—   )r#   r>   r?   r@   r¾   Úx_mainrÑ   Ú
x_shortcuts   f&&&f   r&   rG   ÚUp_ResidualBlock.forward™  s‚   ù€ ØˆØ—n”nˆFÙ˜F°Ó9ŠFñ %à×ÑÒ(ØÒ!Ü"Õ#NÐPQÐY]×YjÑYj×YsÑYsÐz{ð  BHô  Ið  IØ×*Ñ*¨1¨kÓ:ˆJØÕ&Ð&àˆMr(   )rÇ   r×   rÓ   rK   rS   s   @@r&   rÕ   rÕ   v  s    ù‡ € ÷3ðB %)°A°3ÀE÷ 
ô 
r(   rÕ   c            	       ó`   a a€ ] tR tRt o^€^. RO^. . ROR^^3	V 3R lltR^ .3R ltRtVtV ;t# )	Ú	Encoder3di¦  r…   c
                ó*  <€ \         SV `  4        Wn        W n        W0n        W@n        WPn        W`n        ^.V,            U
u. uF  q¡V
,          NK  	  pp
Rp\        W‹^ ,          V	4      V n	        . p\        \        VRR	 VR,          4      4       F`  w  pw  ppV\        V4      8  d	   Wn,          MRpVP                  \        VVVVVV\        V4      ^,
          8g  V	R7      4       VR,          pKb  	  \        P                   ! V!  V n        \        P                   ! \%        XVWyR7      \'        V4      \%        VVWyR7      4      V n        \        P                   ! \+        VRR7      \        P,                  ! 4       \        VW)4      4      V n        R# u up
i )
r   g      ð?Nºr   NNF)rk   rl   rw   rÊ   rË   rÌ   r$   r   rÅ   rq   r/   )r   r   r   Úz_dimÚdim_multÚnum_res_blocksÚattn_scalesrË   rm   Úconv1Ú	enumerateÚzipÚlenrÈ   rÂ   r   r   rÉ   ro   r   Úmiddler   rs   Úhead)r#   r   rå   ræ   rç   rè   rË   rw   r”   r$   ÚuÚdimsr-   rÉ   Úirk   rl   Út_down_flagr%   s   &&&&&&&&&&        €r&   r   ÚEncoder3d.__init__¨  s|  ø€ ô 	‰ÑÔØŒØŒ
Ø ŒØ,ÔØ&ÔØ#6Ô ð #$  x¦Ó0¡˜A�a—�¡ˆÐ0Øˆô ˜[¨q­'°?ÓCˆŒ
ð ˆÜ$-¬c°$°s¸°)¸TÀ"½XÓ.FÖ$GÑ ˆAÑ �˜ð ”sÐ.Ó/Ô/ð $Ö&Ø5:ð ð ×ÑÜ"Ø!Ø#Ø#Ø'Ø(3Ø¤3 x£=°1Õ#4Ñ4Ø$3ôô	ð �S�LŠEñ %Hô Ÿ=š=¨+Ñ6ˆÔô —m’mÜ˜' 7¨GÔUÜ˜7Ó#Ü˜' 7¨GÔUó
ˆŒô —M’MÜ�W UÔ+Ü�GŠG‹IÜ�G˜UÓ4ó
ˆŽ	ùòC 1s   Á FNc                óš  € VeÐ   V^ ,          pVRR\         ) R 1RR3,          P                  4       pVP                  ^,          ^8  dZ   W$,          eP   \        P                  ! W$,          R,          P                  ^4      P                  VP                  4      V.^R7      pV P                  WV,          4      pWRV&   V^ ;;,          ^,          uu&   MV P                  V4      pV P                   F  pVe   V! WV4      pK  V! V4      pK  	  V P                   F0  p\        V\        4      '       d   Ve   V! WV4      pK(  V! V4      pK2  	  V P                   Fì  p\        V\        4      '       dÌ   VeÈ   V^ ,          pVRR\         ) R 1RR3,          P                  4       pVP                  ^,          ^8  dZ   W$,          eP   \        P                  ! W$,          R,          P                  ^4      P                  VP                  4      V.^R7      pV! WV,          4      pWRV&   V^ ;;,          ^,          uu&   Kä  V! V4      pKî  	  V# )Nr+   r,   r0   )r2   r3   r4   r5   r6   r7   r8   r9   ré   rÉ   rí   r�   ro   rî   r   )r#   r>   r?   r@   rE   rF   rƒ   s   &&&&   r&   rG   ÚEncoder3d.forwardä  s  € àÒ!Ø˜1•+ˆCØ˜˜1œw˜h™i¨¨AÐ-Õ.×4Ñ4Ó6ˆGØ�}‰}˜QÕ !Ô#¨
­Ò(CÜŸ)š)à"�¨Õ7×AÑAÀ!ÓD×GÑGØ#ŸN™Nó,àðð
 ô�ð —
‘
˜1¨�oÓ.ˆAØ%�s‰OØ�Q�K˜1ÕŒKà—
‘
˜1“ˆAð ×%Ô%ˆEØÒ%Ù˜!¨Ó2’á˜!“H’ñ	 &ð —[”[ˆEÜ˜%¤×/Ò/°JÒ4JÙ˜!¨Ó2’á˜!“H’ñ	 !ð —Y”YˆEÜ˜%¤×.Ò.°:Ò3IØ˜q•k�Ø˜A˜q¤7 (¡)¨Q°Ð1Õ2×8Ñ8Ó:�Ø—=‘= Õ# aÔ'¨J­OÒ,GÜ#Ÿišià&�O¨NÕ;×EÑEÀaÓH×KÑKØ '§¡ó0à#ðð
 ô�Gñ ˜!¨�_Ó-�Ø")˜3‘Ø˜—˜qÕ •á˜!“H’ñ# ð& ˆr(   )
rè   ré   r   ræ   rÉ   rî   rí   rç   rË   rå   ©r   r   é   r÷   ©TTFrK   rS   s   @@r&   râ   râ   ¦  s;   ù‡ € ð ØÚØØÚ/ØØØ÷:
ðx %)°A°3÷ 6ô 6r(   râ   c            	       ób   a a€ ] tR tRt o^€^. RO^. . R	OR^^3	V 3R lltR^ .R3R ltRtVtV ;t# )
Ú	Decoder3di  Fr…   c
                óˆ  <€ \         SV `  4        Wn        W n        W0n        W@n        WPn        W`n        VR,          .VRRR1,          ,            U
u. uF  q¡V
,          NK  	  pp
\        W+^ ,          V	4      V n	        \        P                  ! \        V^ ,          V^ ,          WyR7      \        V^ ,          4      \        V^ ,          V^ ,          WyR7      4      V n        . p\        \!        VRR VR,          4      4       F]  w  pw  rïV\#        V4      8  d	   Wm,          MRpVP%                  \'        VVVV^,           VV\#        V4      ^,
          8g  V	R7      4       K_  	  \        P                  ! V!  V n        \        P                  ! \+        XRR7      \        P,                  ! 4       \        WøV	4      4      V n        R# u up
i )r   NrÅ   rä   F)rk   rl   rw   rÊ   rØ   rÙ   r$   rq   r/   )r   r   r   rå   ræ   rç   rè   rØ   rm   ré   r   r   ro   r   rí   rê   rë   rì   rÈ   rÕ   r×   r   rs   rî   )r#   r   rå   ræ   rç   rè   rØ   rw   r•   r$   rï   rð   r×   rñ   rk   rl   Ú	t_up_flagr%   s   &&&&&&&&&&       €r&   r   ÚDecoder3d.__init__  s�  ø€ ô 	‰ÑÔØŒØŒ
Ø ŒØ,ÔØ&ÔØ!2Ôð #+¨2¥, °(¹4¸R¸4µ.Ö!@ÓAÑ!@˜A�a—�Ñ!@ˆÐAä˜U¨¥G¨_Ó=ˆŒ
ô —m’mÜ˜$˜q�' 4¨¥7¨GÔUÜ˜4 �7Ó#Ü˜$˜q�' 4¨¥7¨GÔUó
ˆŒð ˆ	Ü$-¬c°$°s¸°)¸TÀ"½XÓ.FÖ$GÑ ˆAÑ �Ø01´CØ!ó5#ô 1#Ð)Ö,Ø(-ð à×ÑÜ Ø!Ø#Ø#Ø'¨!Õ+Ø&/Ø¤ X£°Õ!2Ñ2Ø$3ôö	ñ %Hô Ÿš¨	Ñ2ˆŒô —M’MÜ�W UÔ+Ü�GŠG‹IÜ�G¨?Ó;ó
ˆŽ	ùò; Bs   ÁF?Nc                óœ  € VeÐ   V^ ,          pVRR\         ) R 1RR3,          P                  4       pVP                  ^,          ^8  dZ   W%,          eP   \        P                  ! W%,          R,          P                  ^4      P                  VP                  4      V.^R7      pV P                  WV,          4      pWbV&   V^ ;;,          ^,          uu&   MV P                  V4      pV P                   F0  p\        V\        4      '       d   Ve   V! WV4      pK(  V! V4      pK2  	  V P                   F  pVe   V! WW44      pK  V! WR7      pK  	  V P                   Fì  p\        V\        4      '       dÌ   VeÈ   V^ ,          pVRR\         ) R 1RR3,          P                  4       pVP                  ^,          ^8  dZ   W%,          eP   \        P                  ! W%,          R,          P                  ^4      P                  VP                  4      V.^R7      pV! WV,          4      pWbV&   V^ ;;,          ^,          uu&   Kä  V! V4      pKî  	  V# )Nr+   r,   ©r¾   r0   )r2   r3   r4   r5   r6   r7   r8   r9   ré   rí   r�   ro   r×   rî   r   )r#   r>   r?   r@   r¾   rE   rF   rƒ   s   &&&&&   r&   rG   ÚDecoder3d.forwardW  s   € ØÒ!Ø˜1•+ˆCØ˜˜1œw˜h™i¨¨AÐ-Õ.×4Ñ4Ó6ˆGØ�}‰}˜QÕ !Ô#¨
­Ò(CÜŸ)š)à"�¨Õ7×AÑAÀ!ÓD×GÑGØ#ŸN™Nó,àðð
 ô�ð —
‘
˜1¨�oÓ.ˆAØ%�s‰OØ�Q�K˜1ÕŒKà—
‘
˜1“ˆAà—[”[ˆEÜ˜%¤×/Ò/°JÒ4JÙ˜!¨Ó2’á˜!“H’ñ	 !ð —^”^ˆEØÒ%Ù˜!¨Ó?’á˜!Ô5’ñ	 $ð —Y”YˆEÜ˜%¤×.Ò.°:Ò3IØ˜q•k�Ø˜A˜q¤7 (¡)¨Q°Ð1Õ2×8Ñ8Ó:�Ø—=‘= Õ# aÔ'¨J­OÒ,GÜ#Ÿišià&�O¨NÕ;×EÑEÀaÓH×KÑKØ '§¡ó0à#ðð
 ô�Gñ ˜!¨�_Ó-�Ø")˜3‘Ø˜—˜qÕ •á˜!“H’ñ# ð$ ˆr(   )
rè   ré   r   ræ   rî   rí   rç   rØ   r×   rå   rö   )FTTrK   rS   s   @@r&   rú   rú     s=   ù‡ € ð ØÚØØÚ-ØØØ÷6
ðp %)°A°3ÀE÷ 3ô 3r(   rú   c                 óz   € ^ pV P                  4        F$  p\        V\        4      '       g   K  V^,          pK&  	  V# )r   )Úmodulesr�   r   )ÚmodelÚcountÚms   &  r&   Úcount_conv3dr  �  s4   € Ø€EØ�]‰]Ž_ˆÜ�aœ×&Ô&Ø�Q�JŠEñ ð €Lr(   c                   óp   a a€ ] tR tRt o^ R^. R
O^. . ROR^^^3V 3R lltR tR tR tRR ltR	t	Vt
V ;t# )ÚWanVAEi•  é   r…   c                óÊ  <€ \         SV `  4        Wn        W0n        W@n        WPn        W`n        Wpn        VR R R1,          V n        W n	        \        VV^,          VVVV P                  VWš,          V
,          VR7	      V n        \        V^,          V^,          ^4      V n        \        W3^4      V n        \        VVVVVV P                  VWš,          V
,          VR7	      V n        R # )N)r”   r$   )r•   r$   r/   )r   r   r   rå   ræ   rç   rè   rË   rØ   rŒ   râ   Úencoderr   ré   Úconv2rú   Údecoder)r#   r   Údec_dimrå   ræ   rç   rè   rË   rw   Úimage_channelsrŒ   r$   r%   s   &&&&&&&&&&&&€r&   r   ÚWanVAE.__init__—  sß   ø€ ô 	‰ÑÔØŒØŒ
Ø ŒØ,ÔØ&ÔØ#6Ô Ø!4±T°r°TÕ!:ˆÔØ$Œô !ØØ�A�IØØØØ×$Ñ$ØØ&Õ3°jÕ@Ø+ô

ˆŒô " %¨!¥)¨U°Q­Y¸Ó:ˆŒ
Ü! %°Ó2ˆŒ
Ü ØØØØØØ×"Ñ"ØØ'Õ4°zÕAØ+ô

ˆŽr(   c           
     ó8  € VP                   ^8X  dn   \        VP                  ^4      V P                  R7      pV P	                  V P                  V4      4      P                  ^^R7      ^ ,          P                  ^4      # ^ .pR.\        V P
                  4      ,          p\        WP                  R7      pVP                  ^,          p^V^,
          ^,          ,           p\        V4       Fˆ  p^ .pV^ 8X  d   V P                  VR,          VVR7      pK*  V P                  VRR^^V^,
          ,          ,           ^^V,          ,           1RR3,          VVR7      p\        P                  ! XV.^4      pKŠ  	  V P	                  X4      P                  ^^R7      w  ršV	# )r÷   ©rŒ   r,   Nr+   ©r?   r@   )r+   r+   :Nr   Nr+   r+   )Úndimr�   r7   rŒ   ré   r  ÚchunkÚsqueezer  r4   rY   r5   r6   )r#   r>   Úconv_idxÚfeat_mapr.   Úiter_rñ   rb   Úout_ÚmuÚlog_vars   &&         r&   ÚencodeÚWanVAE.encodeÉ  se  € Ø�6‰6�QŒ;ä˜Ÿ™ Q›°D·O±OÔDˆAØ—:‘:˜dŸl™l¨1›oÓ.×4Ñ4°Q¸AÐ4Ó>¸qÕA×IÑIÈ!ÓLÐLØ�3ˆØ�6œL¨¯©Ó6Õ6ˆÜ�Q§?¡?Ô3ˆØ�G‰G�A�JˆØ�Q˜•U˜q•LÕ ˆÜ�u–ˆAØ�sˆHØ�AŒvØ—l‘lØ�nÕ%Ø'Ø%ð #ó ’ð —|‘|Ø�a˜˜A  Q¨¥U¥�O¨A°°Aµ­IÐ5°q¸!Ð;Õ<Ø'Ø%ð $ó �ô
 —i’i  d ¨QÓ/’ñ ð —j‘j “o×+Ñ+¨A°1Ð+Ó5‰ˆØˆ	r(   c           	     óš  € VP                   ^8X  dW   V P                  V P                  VP                  ^4      4      RR7      p\	        W P
                  R7      P                  ^4      # ^ .pR.\        V P                  4      ,          pVP                  ^,          pV P                  V4      p\        V4       Fy  p^ .pV^ 8X  d,   V P                  VRRWw^,           1RR3,          VVRR7      pK8  V P                  VRRWw^,           1RR3,          VVR7      p\        P                  ! XV.^4      pK{  	  \	        XV P
                  R7      pV# )r÷   Trÿ   r  Nr+   )r?   r@   r¾   r  )r  r  r  r7   r�   rŒ   r  r  r4   rY   r5   r6   )	r#   Úzrb   r  r  r  r>   rñ   r  s	   &&       r&   ÚdecodeÚWanVAE.decodeå  s2  € Ø�6‰6�QŒ;Ø—,‘,˜tŸz™z¨!¯+©+°a«.Ó9Àt�,ÓLˆCÜ˜c¯o©oÔ>×FÑFÀqÓIÐIØ�3ˆØ�6œL¨¯©Ó6Õ6ˆØ—‘˜•
ˆØ�J‰J�q‹MˆÜ�u–ˆAØ�sˆHØ�AŒvØ—l‘lØ�a˜˜A !�e˜G Q¨Ð)Õ*Ø'Ø%Ø $ð	 #ó ’ð —|‘|Ø�a˜˜A !�e˜G Q¨Ð)Õ*Ø'Ø%ð $ó �ô
 —i’i  d ¨QÓ/’ñ ô  ˜¨¯©Ô9ˆØˆ
r(   c                ó†   € \         P                  ! R V,          4      p\         P                  ! V4      pWC,          V,           # )ç      à?)r5   ÚexpÚ
randn_like)r#   r  r  ÚstdÚepss   &&&  r&   ÚreparameterizeÚWanVAE.reparameterize   s0   € Ü�iŠi˜˜g�Ó&ˆÜ×Ò˜sÓ#ˆØ�y˜2�~Ðr(   c                óÜ   € V P                  V4      w  r4V'       d   V# \        P                  ! R VP                  RR4      ,          4      pW5\        P                  ! V4      ,          ,           # )r$  g      4@g      >À)r  r5   r%  Úclampr&  )r#   ÚimgsÚdeterministicr  r  r'  s   &&&   r&   ÚsampleÚWanVAE.sample  sQ   € Ø—k‘k $Ó'‰ˆßØˆIÜ�iŠi˜˜gŸm™m¨E°4Ó8Õ8Ó9ˆØœ%×*Ò*¨3Ó/Õ/Õ/Ð/r(   )rè   ré   r  r  r   ræ   r  rç   rŒ   rË   rØ   rå   rö   rø   rÀ   )rL   rM   rN   rO   r   r  r!  r)  r/  rP   rQ   rR   rS   s   @@r&   r  r  •  sG   ù‡ € ð ØØÚØØÚ/ØØØØ÷0
òdò8ò6÷
0ô 0r(   r  i   )r   r   NrI   )!r5   Útorch.nnr   Útorch.nn.functionalÚ
functionalr¥   Úeinopsr   Úvaer   r   r   Ú	comfy.opsÚcomfyr   Údisable_weight_initr2   ÚModuler   rX   r=   rm   ro   r�   r�   r‘   r´   rÂ   rÕ   râ   rú   r  r  © r(   r&   Ú<module>r;     sô   ðó
 Ý ß Ð Ý ß 7Ñ 7ã Ø‡i�i×#Ñ#€à
€ôeˆr�y‰yô eðP €ôô,hô-(�B—I‘Iô -(ò`ò&ô"3�—	‘	ô 3ôl*ˆb�i‰iô *ôZ&-˜Ÿ™ô &-ôR-�r—y‘yô -ô`t�—	‘	ô tônm�—	‘	ô mò`ôu0ˆR�Y‰Yö u0r(   