+
    ƒ°ñjÞ/  ã                   ób  € ^ RI t ^ RIHt ^ RIHu Ht ^ RIHtHtH	t	H
t
HtHt ^ RIt^ RIt^ RIt]P"                  P$                  t ! R R]P&                  4      t ! R R]P&                  4      t ! R R]P&                  4      t ! R	 R
]P&                  4      t ! R R]P&                  4      tR# )é    N)ÚResnetBlockÚ	AttnBlockÚCarriedConv3dÚ	NormalizeÚconv_carry_causal_3dÚtorch_cat_if_neededc                   ó8   a a€ ] tR t^t oV 3R ltR tRtVtV ;t# )ÚRMS_normc                óª   <€ \         SV `  4        V^^^3pVR,          V n        \        P                  ! \
        P                  ! V4      4      V n        R# )é   g      à?N)ÚsuperÚ__init__ÚscaleÚnnÚ	ParameterÚtorchÚemptyÚgamma)ÚselfÚdimÚshapeÚ	__class__s   && €ÚGC:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\hunyuan_video\vae_refiner.pyr   ÚRMS_norm.__init__   s?   ø€ Ü‰ÑÔØ�a˜˜A�ˆØ˜#•XˆŒ
Ü—\’\¤%§+¢+¨eÓ"4Ó5ˆŽ
ó    c                óÞ   € \         P                  ! V^R7      V P                  ,          \        P                  P                  V P                  VP                  VP                  R7      ,          # )r   ©r   )ÚdtypeÚdevice)	ÚFÚ	normalizer   ÚcomfyÚmodel_managementÚcast_tor   r   r   )r   Úxs   &&r   ÚforwardÚRMS_norm.forward   sN   € Ü�{Š{˜1 !Ô$ t§z¡zÕ1´E×4JÑ4J×4RÑ4RÐSW×S]ÑS]Ðef×elÑelÐuv×u}Ñu}Ð4RÓ4~Õ~Ð~r   )r   r   ©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r&   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r
   r
      s   ù‡ € õ6÷ò r   r
   c                   ó<   a a€ ] tR t^t oV 3R ltRR ltRtVtV ;t# )ÚDnSmplc                óÊ   <€ \         SV `  4        V'       d   ^M^pW&,          ^ 8X  g   Q hV! WV,          ^^^R7      V n        W@n        W0n        Wa,          V,          V n        R# ©é   ©Úkernel_sizeÚstrideÚpaddingN)r   r   ÚconvÚrefiner_vaeÚtdsÚgs)r   ÚicÚocr=   r<   ÚopÚfctr   s   &&&&&& €r   r   ÚDnSmpl.__init__   sS   ø€ Ü‰ÑÔß‰i IˆØ�x˜1Œ}Ðˆ}Ù�r �9°!¸AÀqÔIˆŒ	Ø&ÔàŒØ•(˜b•.ˆŽr   c           
     ó†  € V P                   '       d   ^M^p\        V.V P                  W#4      pV P                   '       Ed”   V P                  '       Ed�   VEf|   VR,          pVP                  w  rxršpVP                  WxWš^,          ^V^,          ^4      pVP                  ^ ^^^^^^4      pVP                  V^V,          Wš^,          V^,          4      p\        P                  ! Wf.^R7      pVR,          pVR,          pVP                  w  r}ršpVP                  W}Wš^,          ^V^,          ^4      pVP                  ^ ^^^^^^4      pVP                  V^V,          Wš^,          V^,          4      pVP                  w  rïpppVP                  WæP                  ^,          V P                  ^,          VVV4      P                  ^R7      pVR,          pVP                  ^,          ^ 8X  d
   XX,           # VP                  w  rxpr«VV,          pVP                  WxVWJ^,          ^V^,          ^4      pVP                  ^ ^^^^^^^4      pVP                  Wt^,          ^,          V,          VV
^,          V^,          4      pVP                  w  r}pr«VV,          pVP                  W}VWJ^,          ^V^,          ^4      pVP                  ^ ^^^^^^^4      pVP                  Wt^,          ^,          V,          VV
^,          V^,          4      pVP                  w  rïpppVP                  WåP                  ^,          V P                  VVV4      P                  ^R7      pV P                   '       dK   V P                  '       d9   Vf5   \        P                  ! XV.^R7      p\        P                  ! XV.^R7      pWQ,           # )r6   r   ©ºNNNrF   :Nr   NrF   rF   ©rF   rF   :r   NNrF   rF   )r=   r   r;   r<   r   ÚreshapeÚpermuter   ÚcatÚviewr>   Úmean)r   r%   Úconv_carry_inÚconv_carry_outÚr1ÚhÚhfÚbÚcÚfÚhtÚwdÚxfÚciÚBÚCÚTÚHÚWÚfrmsÚnfs   &&&&                 r   r&   ÚDnSmpl.forward    s'  € Ø—(—(�(‰Q ˆÜ  !  d§i¡i°ÓOˆà�8�8‰8˜×(×(Ñ(¨]Ó-Bà�>Õ"ˆBØ Ÿh™h‰OˆA�!˜Ø—‘˜A !¨1¥W¨a°°qµ¸!Ó<ˆBØ—‘˜A˜q ! Q¨¨1¨aÓ0ˆBØ—‘˜A˜u q�y¨!°1­W°b¸AµgÓ>ˆBÜ—’˜B˜8¨Ô+ˆBà�.Õ!ˆAà�>Õ"ˆBØ!Ÿx™xÑˆA�1˜"Ø—‘˜A 1¨A¥g¨q°"¸µ'¸1Ó=ˆBØ—‘˜A˜q ! Q¨¨1¨aÓ0ˆBØ—‘˜A˜u r�z¨1°A­g°r¸QµwÓ?ˆBØŸH™H‰MˆA�!�Q˜Ø—‘˜ŸH™H Q�K¨¯©°A­°q¸!¸QÓ?×DÑDÈÐDÓKˆBà�.Õ!ˆAà�7‰7�1�:˜Œ?Ø˜•7ˆNàŸW™WÑˆˆd�BØ�R�ZˆØ�I‰I�a˜B ¨!¥G¨Q°°aµ¸Ó;ˆØ�I‰I�a˜˜A˜q ! Q¨¨1Ó-ˆØ�I‰I�a˜a� !� a�¨¨R°1­W°b¸AµgÓ>ˆàŸg™gÑˆˆt�RØ�R�ZˆØ�I‰I�a˜R ¨1¥W¨a°°qµ¸!Ó<ˆØ�I‰I�a˜˜A˜q ! Q¨¨1Ó-ˆØ�I‰I�a˜a� !� b�¨"¨b°A­g°r¸QµwÓ?ˆØŸ™‰ˆˆa��AØ�F‰F�1—g‘g˜a•j $§'¡'¨1¨a°Ó3×8Ñ8¸QÐ8Ó?ˆà�8�8ˆ8˜×(×(Ð(¨]Ò-BÜ—	’	˜2˜q˜' qÔ)ˆAÜ—	’	˜2˜q˜' qÔ)ˆAà�uˆr   )r;   r>   r<   r=   ©NNr(   r0   s   @@r   r3   r3      s   ù‡ € õ!÷.ô .r   r3   c                   ó<   a a€ ] tR t^Qt oV 3R ltRR ltRtVtV ;t# )ÚUpSmplc                ó¬   <€ \         SV `  4        V'       d   ^M^pV! WV,          ^^^R7      V n        W@n        W0n        Wb,          V,          V n        R# r5   )r   r   r;   r<   ÚtusÚrp)r   r?   r@   re   r<   rA   rB   r   s   &&&&&& €r   r   ÚUpSmpl.__init__R   sE   ø€ Ü‰ÑÔß‰i IˆÙ�r �8°¸1ÀaÔHˆŒ	Ø&ÔàŒØ•(˜b•.ˆŽr   c           
     ó4  € V P                   '       d   ^M^p\        V.V P                  W#4      pV P                   '       Edb   V P                  '       EdO   VEfJ   VR,          pVP                  w  rxršpV^,          pVP                  V^^WÉW«4      pVP                  ^ ^^^^^^4      pVP                  W|Wš^,          V^,          4      pVRRVP                  ^,          ^,          13,          pVR,          pVR,          pVP                  w  r~ršpVP                  V P                  ^,          ^R7      pVP                  w  rxršpV^,          pVP                  V^^WÉW«4      pVP                  ^ ^^^^^^4      pVP                  W|Wš^,          V^,          4      pVR,          pVP                  w  rxrúpW„^,          ^,          ,          pVP                  Wt^^WÏW«4      pVP                  ^ ^^^^^^^4      pVP                  W|Wô,          V
^,          V^,          4      pVP                  V P                  ^R7      pVP                  w  rxrúpW„^,          ^,          ,          pVP                  Wt^^WÏW«4      pVP                  ^ ^^^^^^^4      pVP                  W|Wô,          V
^,          V^,          4      pV P                   '       dK   V P                  '       d9   Vf5   \        P                  ! XV.^R7      p\        P                  ! XV.^R7      pWQ,           # )r6   NrF   )Úrepeatsr   r   rE   rG   )re   r   r;   r<   r   rH   rI   Úrepeat_interleaverf   r   rJ   )r   r%   rM   rN   rO   rP   rQ   rR   rS   rT   rU   rV   ÚncrW   rX   r^   s   &&&&            r   r&   ÚUpSmpl.forward[   sº  € Ø—(—(�(‰Q ˆÜ  !  d§i¡i°ÓOˆà�8�8‰8˜×(×(Ñ(¨]Ó-BØ�>Õ"ˆBØ Ÿh™h‰OˆA�!˜Ø�u•ˆBØ—‘˜A˜q ! R¨BÓ3ˆBØ—‘˜A˜q ! Q¨¨1¨aÓ0ˆBØ—‘˜A 1¨1¥f¨b°1­fÓ5ˆBØ�AÐ)˜Ÿ™ !�¨Õ)Ð)Ð)Õ*ˆBà�.Õ!ˆAà�>Õ"ˆBØ!Ÿx™xÑˆA�1˜"Ø×%Ñ%¨d¯g©g¸­lÀÐ%ÓBˆBØ Ÿh™h‰OˆA�!˜Ø�u•ˆBØ—‘˜A˜q ! R¨BÓ3ˆBØ—‘˜A˜q ! Q¨¨1¨aÓ0ˆBØ—‘˜A 1¨1¥f¨b°1­fÓ5ˆBà�.Õ!ˆAàŸW™WÑˆˆd˜Ø˜•6˜A•:ÕˆØ�I‰I�a˜Q  2¨RÓ4ˆØ�I‰I�a˜˜A˜q ! Q¨¨1Ó-ˆØ�I‰I�a˜T�Y¨¨Q­°°QµÓ7ˆà×Ñ¨¯©°QÐÓ7ˆØŸW™WÑˆˆd˜Ø˜•6˜A•:ÕˆØ�I‰I�a˜Q  2¨RÓ4ˆØ�I‰I�a˜˜A˜q ! Q¨¨1Ó-ˆØ�I‰I�a˜T�Y¨¨Q­°°QµÓ7ˆà�8�8ˆ8˜×(×(Ð(¨]Ò-BÜ—	’	˜2˜q˜' qÔ)ˆAÜ—	’	˜2˜q˜' qÔ)ˆAà�uˆr   )r;   r<   rf   re   ra   r(   r0   s   @@r   rc   rc   Q   s   ù‡ € õ!÷+ô +r   rc   c                   ó<   a a€ ] tR t^ˆt oRV 3R lltR tRtVtV ;t# )ÚEncoderc	                óH  <€ \         SV `  4        W n        W0n        W@n        W`n        W€n        V P                  '       d   \        p
\        pM\        P                  p
\        pV
! W^ ,          ^^^4      V n        \        P                  ! 4       V n        V^ ,          pV^,	          P!                  4       pWPP
                  ,          ^,	          P!                  4       p\#        V4       FÛ  w  pp\        P$                  ! 4       p\        P                  ! \'        V4       Uu. uF  p\)        V^ 8X  d   TMTV^ W«R7      NK  	  up4      Vn        TpWý8  dT   V^,           \-        V4      8  d   V'       d   W?^,           ,          MTp\/        VVWþ8¬  V P                  V
R7      Vn        TpV P                  P3                  V4       KÝ  	  \        P$                  ! 4       V n        \)        WÌW«R7      V P4                  n        \9        V\        P                  VR7      V P4                  n        \)        WÌW«R7      V P4                  n        V! V4      V n        V
! WÂ^,          ^^^4      V n         \B        PD                  PF                  PH                  PK                  4       V n&        R# u upi )r   ©Úin_channelsÚout_channelsÚtemb_channelsÚconv_opÚnorm_op)r=   r<   rA   ©rq   rr   rt   ru   ©rt   ru   N)'r   r   Ú
z_channelsÚblock_out_channelsÚnum_res_blocksÚffactor_temporalr<   r   r
   ÚopsÚConv3dr   Úconv_inr   Ú
ModuleListÚdownÚ
bit_lengthÚ	enumerateÚModuleÚranger   ÚblockÚlenr3   Ú
downsampleÚappendÚmidÚblock_1r   Úattn_1Úblock_2Únorm_outÚconv_outr"   ÚldmÚmodelsÚautoencoderÚDiagonalGaussianRegularizerÚregul)r   rq   rx   ry   rz   Úffactor_spatialr{   Údownsample_match_channelr<   Ú_rt   ru   ÚchÚdepthÚdepth_temporalÚiÚtgtÚstageÚjÚnxtr   s   &&&&&&&&&,          €r   r   ÚEncoder.__init__‰   s  ø€ ä‰ÑÔØ$ŒØ"4ÔØ,ÔØ 0Ôà&ÔØ××ÐÜ#ˆGÜ‰Gä—j‘jˆGÜˆGá˜{¸qÕ,AÀ1ÀaÈÓKˆŒä—M’M“OˆŒ	Ø Õ"ˆØ  AÕ%×1Ñ1Ó3ˆØ*×.CÑ.CÕCÈÕI×UÑUÓWˆäÐ 2Ö3‰FˆAˆsÜ—I’I“KˆEÜŸ-š-ô 27°~Ô1Fó	)Hñ 2G¨Aô	 *5ÀqÈAÄvÁÐSVØBEØCDØ=D÷*Wñ 2Gñ	)Hó IˆEŒKð
 ˆBØŒyØ34°qµ5¼3Ð?QÓ;RÔ3R×WoÐ(¨Q­Ö/Ðuw�Ü#)¨"¨c°qÑ7JÐX\×XhÑXhÐmtÔ#u�Ô Ø�Ø�I‰I×Ñ˜UÖ#ñ 4ô —9’9“;ˆŒÜ&°2ÐPWÔiˆ�‰ÔÜ# B´·
±
ÀGÔLˆ�‰ŒÜ&°2ÐPWÔiˆ�‰Ôá ›ˆŒÙ °!¥O°Q¸¸1Ó=ˆŒä—Y‘Y×%Ñ%×1Ñ1×MÑMÓOˆŽ
ùò))Hs   Ä!J
c           
     óº  € V P                   '       g8   VP                  ^,          ^8X  d    VP                  RRV P                  RR4      pV P                   '       d°   VR,          .pVP                  ^,          V P                  8”  d�   V\        P
                  ! VRR^^VP                  ^,          ^,
          V P                  ,          V P                  ,          ,           1RR3,          V P                  ^,          ^R7      ,          pTpMV.p. pRp\        V4       F¢  w  rV. pV\        V4      ^,
          8X  d   RpV.p\        W`P                  WG4      pV P                   FF  pVP                   F  p	V	! VRWG4      pK  	  \        VR4      '       g   K4  VP                  WdV4      pKH  	  VP                  V4       TpK¤  	  \        V^R7      pV P                   P#                  V P                   P%                  V P                   P'                  V4      4      4      p?VP                  w  r«rÍpW°P(                  ^,          ,          pVP+                  W«V,          WüWÞ4      P-                  ^4      p\        \.        P0                  ! V P3                  V4      4      .V P4                  4      V,           pV P                   '       d   V P7                  V4      ^ ,          pV# )r6   rF   r   Nr‡   éÿÿÿÿrE   )r<   r   Úexpandr{   r   Úsplitr‚   r†   r   r~   r€   r…   Úhasattrr‡   rˆ   r   r‰   rŒ   r‹   rŠ   rx   rK   rL   r    Úsilur�   rŽ   r“   )r   r%   ÚxlÚoutrM   rš   Úx1rN   rœ   ÚblkrR   rS   ÚtrP   ÚwÚgrpÚskips   &&               r   r&   ÚEncoder.forward¸   sj  € Ø××Ð A§G¡G¨A¥J°!¤OØ—‘˜˜R ×!6Ñ!6¸¸BÓ?ˆAà××ÐØ�NÕ#Ð$ˆBØ�w‰w�q�z˜D×1Ñ1Ô1Ø”e—k’k ! A q¨!¨Q°1·7±7¸1µ:Àµ>Àd×F[ÑF[Õ2[Ð_c×_tÑ_tÕ1tÕ-tÐ*tÐvwÐyzÐ$zÕ"{ð  ~B÷  ~Sñ  ~Sð  VWõ  ~Wð  ]^ô  _õ  _�Ø‰Aà�ˆAØˆàˆä˜q–\‰EˆAØˆNØ”C˜“F˜Q•JŒØ!%�à�ˆBÜ% b¯,©,¸ÓVˆBàŸœ�Ø Ÿ;œ;�CÙ˜R  }ÓE’Bñ 'ä˜5 ,×/Ô/Ø×)Ñ)¨"¸^ÓL’Bñ	 #ð �J‰J�rŒNØ*ŠMñ "ô" " #¨1Ô-ˆà�H‰H×Ñ˜TŸX™XŸ_™_¨T¯X©X×-=Ñ-=¸cÓ-BÓCÓDˆØàŸ™‰ˆˆa�AØ—O‘O qÕ(Õ)ˆØ�v‰v�a˜c� 3¨1Ó0×5Ñ5°aÓ8ˆä"¤A§F¢F¨4¯=©=¸Ó+;Ó$<Ð#=¸t¿}¹}ÓMÐPTÕTˆà××ÐØ—*‘*˜S“/ !Õ$ˆCàˆ
r   )ry   r~   rŽ   r€   r{   r‰   r�   rz   r<   r“   rx   ©TTr(   r0   s   @@r   rn   rn   ˆ   s   ù‡ € ÷-P÷^.ò .r   rn   c                   ó<   a a€ ] tR t^èt oRV 3R lltR tRtVtV ;t# )ÚDecoderc	                ó¼  <€ \         SV `  4        VR R R1,          pWn        W0n        W@n        W€n        V P
                  '       d   \        p
\        pM\        P                  p
\        pV^ ,          pV
! W^^^R7      V n        \        P                  ! 4       V n        \        WÌW«R7      V P                  n        \#        V\        P                  VR7      V P                  n        \        WÌW«R7      V P                  n        \        P(                  ! 4       V n        V^,	          P-                  4       pV^,	          P-                  4       p\/        V4       Fâ  w  pp\        P                  ! 4       p\        P(                  ! \1        V^,           4       Uu. uF  p\        V^ 8X  d   TMTV^ W«R7      NK  	  up4      Vn        TpWý8  dT   V^,           \5        V4      8  d   V'       d   W?^,           ,          MTp\7        VVWþ8  V P
                  V
R7      Vn        TpV P*                  P;                  V4       Kä  	  V! V4      V n        V
! WÂ^^^R7      V n        R # u upi )Nr7   rv   rw   rp   )re   r<   rA   )r9   r:   r¡   ) r   r   rx   ry   rz   r<   r   r
   r|   r}   r   r~   r   rƒ   r‰   r   rŠ   r   r‹   rŒ   r   Úupr�   r‚   r„   r…   r†   rc   Úupsamplerˆ   r�   rŽ   )r   rx   rr   ry   rz   r”   r{   Úupsample_match_channelr<   r–   rt   ru   r—   r˜   r™   rš   r›   rœ   r�   rž   r   s   &&&&&&&&&,          €r   r   ÚDecoder.__init__é   s÷  ø€ ä‰ÑÔØ/±°"°Õ5ÐØ$ŒØ"4ÔØ,Ôà&ÔØ××ÐÜ#ˆGÜ‰Gä—j‘jˆGÜˆGà Õ"ˆÙ˜z¸1ÀQÐPQÔRˆŒä—9’9“;ˆŒÜ&°2ÐPWÔiˆ�‰ÔÜ# B´·
±
ÀGÔLˆ�‰ŒÜ&°2ÐQXÔjˆ�‰Ôä—-’-“/ˆŒØ  AÕ%×1Ñ1Ó3ˆØ*¨aÕ/×;Ñ;Ó=ˆäÐ 2Ö3‰FˆAˆsÜ—I’I“KˆEÜŸ-š-ô 27°~ÈÕ7IÔ1Jó	)Lñ 2K¨Aô	 *5ÀqÈAÄvÁÐSVØBEØCDØ=D÷*Wñ 2Kñ	)Ló MˆEŒKð
 ˆBØŒyØ34°qµ5¼3Ð?QÓ;RÔ3R×WmÐ(¨Q­Ö/Ðsu�Ü!'¨¨C°QÑ5GÐUY×UeÑUeÐjqÔ!r�”Ø�Ø�G‰G�N‰N˜5Ö!ñ 4ñ   ›ˆŒÙ °!¸AÀqÔIˆŽùò)Ls   Æ!I
c           	     óÚ  € \        V.V P                  4      VP                  V P                  ^ ,          V P                  ,          ^4      ,           pV P
                  P                  V P
                  P                  V P
                  P                  V4      4      4      pV P                  '       d   \        P                  ! V^^R7      pMV.p. pRp\        V4       FÅ  w  rV. pV\        V4      ^,
          8X  d   RpV P                   FF  pVP                   F  p	V	! VRWG4      pK  	  \!        VR4      '       g   K4  VP#                  WdV4      pKH  	  \$        P&                  ! V P)                  V4      4      .p\        W`P*                  WG4      pVP-                  V4       TpKÇ  	  ?\/        V^R7      pV P                  '       g'   VP0                  R,          ^8X  d   VRRRR13,          pV# )r   r   Nr´   rF   éýÿÿÿr¡   )r   r~   rj   ry   rx   r‰   rŒ   r‹   rŠ   r<   r   r£   r‚   r†   r³   r…   r¤   r´   r    r¥   r�   rŽ   rˆ   r   r   )
r   Úzr%   r§   rM   rš   r¨   rN   rœ   r©   s
   &&        r   r&   ÚDecoder.forward  s�  € Ü  !  d§l¡lÓ3°a×6IÑ6IÈ$×JaÑJaÐbcÕJdÐhl×hwÑhwÕJwÐyzÓ6{Õ{ˆØ�H‰H×Ñ˜TŸX™XŸ_™_¨T¯X©X×-=Ñ-=¸aÓ-@ÓAÓBˆà××ÐÜ—’˜A˜q aÔ(‰Aà�ˆAØˆàˆä˜q–\‰EˆAØˆNØ”C˜“F˜Q•JŒØ!%�ØŸœ�Ø Ÿ;œ;�CÙ˜R  }ÓE’Bñ 'ä˜5 *×-Ô-ØŸ™¨¸>ÓJ’Bñ	 !ô —6’6˜$Ÿ-™-¨Ó+Ó,Ð.ˆBÜ% b¯-©-¸ÓWˆBØ�J‰J�rŒNØ*ŠMñ "ð ä! #¨1Ô-ˆà××ÐØ�w‰w�r�{˜aÔØ˜!˜Q ¡˜)•n�àˆ
r   )	ry   r~   rŽ   r‰   r�   rz   r<   r³   rx   r¯   r(   r0   s   @@r   r±   r±   è   s   ù‡ € ÷+J÷Z"ò "r   r±   )r   Útorch.nnr   Útorch.nn.functionalÚ
functionalr    Ú(comfy.ldm.modules.diffusionmodules.modelr   r   r   r   r   r   Ú	comfy.opsr"   Úcomfy.ldm.models.autoencoderÚcomfy.model_managementr|   Údisable_weight_initrƒ   r
   r3   rc   rn   r±   © r   r   Ú<module>rÄ      sŽ   ðÛ Ý ß Ð ÷ Q÷  QÛ Û #Û Ø‡i�i×#Ñ#€ôˆr�y‰yô ô9ˆR�Y‰Yô 9ôx5ˆR�Y‰Yô 5ôn^ˆb�i‰iô ^ô@Pˆb�i‰iö Pr   