+
    ƒ°ñjÜ  ã                   ó†  € R t ^ RIt^ RIHt ^ RIt^ RItR t ! R R]P                  4      t	 ! R R]P                  4      t
 ! R R]P                  4      t ! R	 R
]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]4      t ! R R]4      t ! R R]P                  4      tR# )zW
Tiny AutoEncoder for Stable Diffusion
(DNN for encoding / decoding SD's latent space)
Nc                 ó^   € \         P                  P                  P                  ! W^3R^/VB # )é   Úpadding)ÚcomfyÚopsÚdisable_weight_initÚConv2d)Ún_inÚn_outÚkwargss   &&,Ú5C:\Ai_Coding\apps\studio\ComfyUI\comfy\taesd\taesd.pyÚconvr      s)   € Ü�9‰9×(Ñ(×/Ò/°¸QÑTÈÐTÈVÑTÐTó    c                   ó&   a € ] tR t^t o R tRtV tR# )ÚClampc                óJ   € \         P                  ! V^,          4      ^,          # )r   )ÚtorchÚtanh©ÚselfÚxs   &&r   ÚforwardÚClamp.forward   s   € Ü�zŠz˜!˜a�%Ó  1Õ$Ð$r   © N)Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   Ú__static_attributes__Ú__classdictcell__)Ú__classdict__s   @r   r   r      s   ø‡ € ÷%ð %r   r   c                   óT   a a€ ] tR t^t oRV3R lV 3R llltV3R lR ltRtVtV ;t# )ÚBlockc                ó,   <€ V ^8„  d   QhRS[ RS[ RS[/# )é   r	   r
   Úuse_midblock_gn©ÚintÚbool)Úformatr    s   "€r   Ú__annotate__ÚBlock.__annotate__   s"   ø€ ÷ 
ñ 
™Sð 
©ð 
¹tñ 
r   c                óB  <€ \         SV `  4        \        P                  ! \	        W4      \        P
                  ! 4       \	        W"4      \        P
                  ! 4       \	        W"4      4      V n        W8w  d-   \        P                  P                  P                  W^RR7      M\        P                  ! 4       V n        \        P
                  ! 4       V n        V'       g
   RV n        R# V^,          p\        P                  ! \        P                  P                  P                  W^RR7      \        P                  P                  P                  ^V4      \        P
                  ! RR7      \        P                  P                  P                  WA^RR7      4      V n        R# )é   F©ÚbiasNT©Úinplace)ÚsuperÚ__init__ÚnnÚ
Sequentialr   ÚReLUr   r   r   r   ÚIdentityÚskipÚfuseÚpoolÚ	GroupNorm)r   r	   r
   r%   Ún_gnÚ	__class__s   &&&& €r   r3   ÚBlock.__init__   s  ø€ Ü‰ÑÔÜ—M’M¤$ tÓ"3´R·W²W³YÄÀUÓ@RÔTV×T[ÒT[ÓT]Ô_cÐdiÓ_qÓrˆŒ	ØX\ÔXe”E—I‘I×1Ñ1×8Ñ8¸ÀaÈeÐ8ÔTÔkm×kvÒkvÓkxˆŒ	Ü—G’G“IˆŒ	ßØˆDŒIÙØ�a�xˆÜ—M’MÜ�I‰I×)Ñ)×0Ñ0°¸QÀUÐ0ÓKÜ�I‰I×)Ñ)×3Ñ3°A°tÓ<Ü�GŠG˜DÔ!Ü�I‰I×)Ñ)×0Ñ0°¸QÀUÐ0ÓKó	
ˆŽ	r   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# ©r$   r   Úreturn©r   ÚTensor)r)   r    s   "€r   r*   r+   $   s#   ø€ ÷ 6ñ 6™Ÿ™ð 6©%¯,©,ñ 6r   c                ó¸   € V P                   e   WP                  V4      ,           pV P                  V P                  V4      V P                  V4      ,           4      # )N)r:   r9   r   r8   r   s   &&r   r   ÚBlock.forward$   s@   € Ø�9‰9Ò Ø—I‘I˜a“LÕ ˆAØ�y‰y˜Ÿ™ 1›¨¯	©	°!«Õ4Ó5Ð5r   )r   r9   r:   r8   )F©	r   r   r   r   r3   r   r   r   Ú__classcell__©r=   r    s   @@r   r"   r"      s   ù‡ € ÷
õ 
÷ 6÷ 6ð 6r   r"   c                   óB   a a€ ] tR t^)t oRV3R lV 3R llltRtVtV ;t# )ÚEncoderc                ó&   <€ V ^8„  d   QhRS[ RS[/# ©r$   Úlatent_channelsÚuse_gnr&   )r)   r    s   "€r   r*   ÚEncoder.__annotate__*   ó   ø€ ÷ 
ñ 
©ð 
¹ñ 
r   c                ó†  <€ \         SV `  \        ^^@4      \        ^@^@4      \        ^@^@^RR7      \        ^@^@4      \        ^@^@4      \        ^@^@4      \        ^@^@^RR7      \        ^@^@4      \        ^@^@4      \        ^@^@4      \        ^@^@^RR7      \        ^@^@V4      \        ^@^@V4      \        ^@^@V4      \        ^@V4      4       R# )r   F©Ústrider/   N)r2   r3   r   r"   ©r   rM   rN   r=   s   &&&€r   r3   ÚEncoder.__init__*   s°   ø€ Ü‰ÑÜ��B‹Kœ˜r 2›Ü��R ¨Ô.´°b¸"³¼uÀRÈ»}ÌeÐTVÐXZËmÜ��R ¨Ô.´°b¸"³¼uÀRÈ»}ÌeÐTVÐXZËmÜ��R ¨Ô.´°b¸"¸fÓ0EÄuÈRÐQSÐU[ÓG\Ô^cÐdfÐhjÐlrÓ^sÜ��_Ó%ö	
r   r   ©é   F©r   r   r   r   r3   r   r   rG   rH   s   @@r   rJ   rJ   )   ó   ù‡ € ÷
÷ 
õ 
r   rJ   c                   óB   a a€ ] tR t^3t oRV3R lV 3R llltRtVtV ;t# )ÚDecoderc                ó&   <€ V ^8„  d   QhRS[ RS[/# rL   r&   )r)   r    s   "€r   r*   ÚDecoder.__annotate__4   rP   r   c                ó>  <€ \         SV `  \        4       \        V^@4      \        P
                  ! 4       \        ^@^@V4      \        ^@^@V4      \        ^@^@V4      \        P                  ! ^R7      \        ^@^@RR7      \        ^@^@4      \        ^@^@4      \        ^@^@4      \        P                  ! ^R7      \        ^@^@RR7      \        ^@^@4      \        ^@^@4      \        ^@^@4      \        P                  ! ^R7      \        ^@^@RR7      \        ^@^@4      \        ^@^4      4       R# )é@   ©Úscale_factorFr.   N)r2   r3   r   r   r4   r6   r"   ÚUpsamplerT   s   &&&€r   r3   ÚDecoder.__init__4   sç   ø€ Ü‰ÑÜ‹G”T˜/¨2Ó.´·²³	Ü�"�b˜&Ó!¤5¨¨R°Ó#8¼%ÀÀBÈÓ:OÔQS×Q\ÒQ\ÐjkÔQlÔnrÐsuÐwyð  AFô  oGÜ�"�b‹Mœ5  R›=¬%°°B«-¼¿ºÐRSÔ9TÔVZÐ[]Ð_aÐhmÔVnÜ�"�b‹Mœ5  R›=¬%°°B«-¼¿ºÐRSÔ9TÔVZÐ[]Ð_aÐhmÔVnÜ�"�b‹Mœ4  A›;ö	
r   r   rV   rX   rH   s   @@r   r[   r[   3   rY   r   r[   c                   óB   a a€ ] tR t^=t oRV3R lV 3R llltRtVtV ;t# )Ú
EncoderF16c                ó&   <€ V ^8„  d   QhRS[ RS[ /# ©r$   rM   Úimage_channels©r'   )r)   r    s   "€r   r*   ÚEncoderF16.__annotate__?   ó   ø€ ÷ 
ñ 
©ð 
Á#ñ 
r   c                óä  <€ \         SV `  \        P                  ! ^4      \	        V^,          ^@4      \        P
                  ! RR7      \        ^@^@4      \	        ^@^@^RR7      \        ^@^@4      \        ^@^@4      \        ^@^@4      \	        ^@^€^RR7      \        ^€^€4      \        ^€^€4      \        ^€^€4      \	        ^€R^RR7      \        RR4      \        RR4      \        RR4      \	        RV4      4       R# )r$   Tr0   FrR   é   N)r2   r3   r4   ÚPixelUnshuffler   r6   r"   ©r   rM   rh   r=   s   &&&€r   r3   ÚEncoderF16.__init__?   sÊ   ø€ Ü‰ÑÜ×Ò˜aÓ ¤$ ~¸Õ'9¸2Ó">ÄÇÂÐPTÔ@UÔW\Ð]_ÐacÓWdÜ��R ¨Ô.´°b¸"³¼uÀRÈ»}ÌeÐTVÐXZËmÜ��S ¨Ô/´°s¸C³Ä%ÈÈSÃ/ÔSXÐY\Ð^aÓSbÜ��c !¨%Ô0´%¸¸S³/Ä5ÈÈcÃ?ÔTYÐZ]Ð_bÓTcÜ��oÓ&ö	
r   r   ©r_   rW   rX   rH   s   @@r   re   re   =   s   ù‡ € ÷
÷ 
õ 
r   re   c                   óB   a a€ ] tR t^Ht oRV3R lV 3R llltRtVtV ;t# )Ú
DecoderF16c                ó&   <€ V ^8„  d   QhRS[ RS[ /# rg   ri   )r)   r    s   "€r   r*   ÚDecoderF16.__annotate__I   rk   r   c                óp  <€ \         SV `  \        4       \        VR 4      \        P
                  ! 4       \        R R 4      \        R R 4      \        R R 4      \        P                  ! ^R7      \        R ^€RR7      \        ^€^€4      \        ^€^€4      \        ^€^€4      \        P                  ! ^R7      \        ^€^@RR7      \        ^@^@4      \        ^@^@4      \        ^@^@4      \        P                  ! ^R7      \        ^@^@RR7      \        ^@^@4      \        ^@V^,          4      \        P                  ! ^4      4       R# )rm   r`   Fr.   N)	r2   r3   r   r   r4   r6   r"   rb   ÚPixelShufflero   s   &&&€r   r3   ÚDecoderF16.__init__I   sä   ø€ Ü‰ÑÜ‹G”T˜/¨3Ó/´·²³Ü�#�s‹OœU 3¨›_¬e°C¸«o¼r¿{º{ÐXYÔ?ZÔ\`ÐadÐfiÐpuÔ\vÜ�#�s‹OœU 3¨›_¬e°C¸«o¼r¿{º{ÐXYÔ?ZÔ\`ÐadÐfhÐotÔ\uÜ�"�b‹Mœ5  R›=¬%°°B«-¼¿ºÐRSÔ9TÔVZÐ[]Ð_aÐhmÔVnÜ�"�b‹Mœ4  N°QÕ$6Ó7¼¿ºÈÓ9Kö	
r   r   rq   rX   rH   s   @@r   rs   rs   H   rY   r   rs   c                   óZ   a a€ ] tR t^Rt oRV3R lV 3R llltV3R lV 3R lltRtVtV ;t# )ÚDecoderFlux2c                ó&   <€ V ^8„  d   QhRS[ RS[/# rL   r&   )r)   r    s   "€r   r*   ÚDecoderFlux2.__annotate__S   ó   ø€ ÷ :ñ :©ð :¹4ñ :r   c                ó^   <€ V^€8w  g	   V'       g   \        R4      h\        SV `	  ^ RR7       R# ©é€   z*Unexpected parameters for Flux2 TAE moduleT)rM   rN   N©Ú
ValueErrorr2   r3   rT   s   &&&€r   r3   ÚDecoderFlux2.__init__S   ó+   ø€ Ø˜cÔ!¯ÜÐIÓJÐJÜ‰Ñ¨°DÐÖ9r   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# r@   rB   )r)   r    s   "€r   r*   r|   X   s#   ø€ ÷ "ñ "™Ÿ™ð "©%¯,©,ñ "r   c                óÒ   <€ VP                   w  r#rEVP                  V^ ^^WE4      P                  ^ ^^^^^4      P                  V^ V^,          V^,          4      p\        SV `  V4      # )é    )ÚshapeÚreshapeÚpermuter2   r   )r   r   ÚBÚCÚHÚWr=   s   &&    €r   r   ÚDecoderFlux2.forwardX   sg   ø€ Ø—W‘W‰
ˆˆaàß‰W�Q˜˜A˜q !Ó'ß‰W�Q˜˜1˜a  AÓ&ß‰W�Q˜˜A �E 1 q¥5Ó)ð	 	
ô ‰w‰˜qÓ!Ð!r   r   ©r€   TrF   rH   s   @@r   rz   rz   R   s   ù‡ € ÷:õ :÷
"÷ "ó "r   rz   c                   óZ   a a€ ] tR t^bt oRV3R lV 3R llltV3R lV 3R lltRtVtV ;t# )ÚEncoderFlux2c                ó&   <€ V ^8„  d   QhRS[ RS[/# rL   r&   )r)   r    s   "€r   r*   ÚEncoderFlux2.__annotate__c   r}   r   c                ó^   <€ V^€8w  g	   V'       g   \        R4      h\        SV `	  ^ RR7       R# r   r�   rT   s   &&&€r   r3   ÚEncoderFlux2.__init__c   r„   r   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# r@   rB   )r)   r    s   "€r   r*   r”   h   s#   ø€ ÷ 
ñ 
™Ÿ™ð 
©%¯,©,ñ 
r   c                óî   <€ \         SV `  V4      pVP                  w  r4rVVP                  W4V^,          ^V^,          ^4      P	                  ^ ^^^^^4      P                  V^€V^,          V^,          4      # )r$   )r2   r   rˆ   r‰   rŠ   )r   r   Úresultr‹   rŒ   r�   rŽ   r=   s   &&     €r   r   ÚEncoderFlux2.forwardh   sl   ø€ Ü‘‘ Ó#ˆØ—\‘\‰
ˆˆaàß‰W�Q˜1 �6 1 a¨1¥f¨aÓ0ß‰W�Q˜˜1˜a  AÓ&ß‰W�Q˜˜Q !�V Q¨!¥VÓ,ð		
r   r   r�   rF   rH   s   @@r   r’   r’   b   s   ù‡ € ÷:õ :÷

÷ 
ó 
r   r’   c                   óš   a a€ ] tR t^st o^tRtRV 3R llt]V3R lR l4       t]V3R lR l4       t	V3R lR lt
V3R	 lR
 ltRtVtV ;t# )ÚTAESDç      à?c                ó¼  <€ \         SV `  4        V^€8X  d   \        p\        pM V^@8X  d   \        p\
        pM\        p\        pV! VR7      V n        V! VR7      V n	        V^@8X  d   V^^3MRp\        P                  P                  \        P                  ! V4      4      V n        \        P                  P                  \        P                  ! V4      4      V n        Ve;   V P                  P#                  \$        P&                  P)                  VRR7      4       Ve=   V P                  P#                  \$        P&                  P)                  VRR7      4       R# R# )zKInitialize pretrained TAESD on the given device from the given checkpoints.)rM   NT)Ú	safe_loadr   )r2   r3   r’   rz   re   rs   rJ   r[   Útaesd_encoderÚtaesd_decoderr   r4   Ú	ParameterÚonesÚ	vae_scaleÚzerosÚ	vae_shiftÚload_state_dictr   ÚutilsÚload_torch_file)r   Úencoder_pathÚdecoder_pathrM   Úencoder_classÚdecoder_classrˆ   r=   s   &&&&   €r   r3   ÚTAESD.__init__w   s  ø€ ä‰ÑÔØ˜cÔ!Ü(ˆMÜ(‰MØ Ô"Ü&ˆMÜ&‰Mä#ˆMÜ#ˆMÙ*¸?ÔKˆÔÙ*¸?ÔKˆÔð ,;¸bÔ+@� ! QÑ'ÀbˆÜŸ™×+Ñ+¬E¯JªJ°uÓ,=Ó>ˆŒÜŸ™×+Ñ+¬E¯KªK¸Ó,>Ó?ˆŒØÒ#Ø×Ñ×.Ñ.¬u¯{©{×/JÑ/JÈ<ÐcgÐ/JÓ/hÔiØÒ#Ø×Ñ×.Ñ.¬u¯{©{×/JÑ/JÈ<ÐcgÐ/JÓ/hÖiñ $r   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# r@   rB   )r)   r    s   "€r   r*   ÚTAESD.__annotate__�   s'   ø€ ÷ Uñ U™Ÿ™ð U©%¯,©,ñ Ur   c                ó¨   € V P                  ^\        P                  ,          4      P                  \        P                  4      P                  ^ ^4      # )zraw latents -> [0, 1])Údivrœ   Úlatent_magnitudeÚaddÚlatent_shiftÚclamp©r   s   &r   Úscale_latentsÚTAESD.scale_latents�   s=   € ð �u‰u�Qœ×/Ñ/Õ/Ó0×4Ñ4´U×5GÑ5GÓH×NÑNÈqÐRSÓTÐTr   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# r@   rB   )r)   r    s   "€r   r*   r°   •   s'   ø€ ÷ Iñ I™5Ÿ<™<ð I©E¯L©Lñ Ir   c                óˆ   € V P                  \        P                  4      P                  ^\        P                  ,          4      # )z[0, 1] -> raw latents)Úsubrœ   rµ   Úmulr³   r·   s   &r   Úunscale_latentsÚTAESD.unscale_latents”   s/   € ð �u‰u”U×'Ñ'Ó(×,Ñ,¨Q´×1GÑ1GÕ-GÓHÐHr   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# r@   rB   )r)   r    s   "€r   r*   r°   ™   s#   ø€ ÷ ñ ™Ÿ™ð ©¯©ñ r   c                óª   € V P                  WP                  ,
          V P                  ,          4      pVP                  R 4      P	                  ^4      pV# ©r�   )r¡   r¦   r¤   r¼   r½   )r   r   Úx_samples   && r   ÚdecodeÚTAESD.decode™   s@   € Ø×%Ñ% q¯>©>Õ'9¸T¿^¹^Õ&KÓLˆØ—<‘< Ó$×(Ñ(¨Ó+ˆØˆr   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# r@   rB   )r)   r    s   "€r   r*   r°   ž   s'   ø€ ÷ Uñ U™Ÿ™ð U©¯©ñ Ur   c                ó„   € V P                  VR ,          R ,           4      V P                  ,          V P                  ,           # rÂ   )r    r¤   r¦   r   s   &&r   ÚencodeÚTAESD.encodež   s-   € Ø×"Ñ" 1 s¥7¨S¥=Ó1°D·N±NÕBÀdÇnÁnÕTÐTr   )r¡   r    r¤   r¦   )NNrW   )r   r   r   r   r³   rµ   r3   Ústaticmethodr¸   r¾   rÄ   rÈ   r   r   rG   rH   s   @@r   rœ   rœ   s   s^   ù‡ € ØÐØ€L÷jð0 ÷Uó ðUð ÷Ió ðI÷ð ÷
U÷ Uð Ur   rœ   )Ú__doc__r   Útorch.nnr4   Úcomfy.utilsr   Ú	comfy.opsr   ÚModuler   r"   r5   rJ   r[   re   rs   rz   r’   rœ   r   r   r   Ú<module>rÐ      s¨   ðñó Ý ã Û òUô%ˆB�I‰Iô %ô6ˆB�I‰Iô 6ô,
ˆb�m‰mô 
ô
ˆb�m‰mô 
ô	
�—‘ô 	
ô
�—‘ô 
ô"�7ô "ô 
�7ô 
ô",UˆB�I‰Iö ,Ur   