+
    ƒ°ñj@G  ã                   ó&  € ^ RI t ^ RIt^ RIHt ^ RIHu Ht ^ RIt^ RI	H
t
 ]P                  P                  tR tR tR t ! R R]P                   4      t ! R R	]P$                  4      t ! R
 R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R R]P$                  4      t ! R  R!]P$                  4      t ! R" R#]P$                  4      t  ! R$ R%]P$                  4      t!R# )&é    N)Úvae_attentionc                 óT   € \         P                  P                  P                  V 4      # ©N)ÚtorchÚnnÚ
functionalÚsilu)Úxs   &Ú;C:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\mage_flow\vae.pyÚnonlinearityr      s   € Ü�8‰8×Ñ×#Ñ# AÓ&Ð&ó    c                 ó4   € \         P                  ^ V RRR7      # )é    ç�íµ ÷Æ°>T)Ú
num_groupsÚnum_channelsÚepsÚaffine)ÚopsÚ	GroupNorm)Úin_channelss   &r   Ú	Normalizer      s   € Ü�=‰= B°[ÀdÐSWˆ=ÓXÐXr   c                 ó2  € V P                  4       ^8X  dO   V P                  R,          w  r4V ^VP                  W4^^4      ,           ,          VP                  W4^^4      ,           # V ^VP                  ^4      ,           ,          VP                  ^4      ,           # )é   :Né   N)ÚdimÚshapeÚviewÚ	unsqueeze)r
   ÚshiftÚscaleÚbÚcs   &&&  r   Úmodulater$      st   € Ø‡u�uƒw�!„|Ø�w‰w�r�{‰ˆØ�A˜Ÿ
™
 1¨¨AÓ.Õ.Õ/°%·*±*¸QÀ1ÀaÓ2HÕHÐHØ��E—O‘O AÓ&Õ&Õ'¨%¯/©/¸!Ó*<Õ<Ð<r   c                   óB   a a€ ] tR t^!t oRV 3R lltV 3R ltRtVtV ;t# )ÚLayerNorm2dc                ó*   <€ \         SV `  WVR 7       R# ))r   Úelementwise_affineN)ÚsuperÚ__init__)Úselfr   r   r   Ú	__class__s   &&&&€r   r*   ÚLayerNorm2d.__init__"   s   ø€ Ü‰Ñ˜À6ÐÖJr   c                óª   <€ VP                  ^ ^^^4      P                  4       p\        SV `  V4      pVP                  ^ ^^^4      P                  4       # ©r   )ÚpermuteÚ
contiguousr)   Úforward)r+   r
   r,   s   &&€r   r2   ÚLayerNorm2d.forward%   sL   ø€ Ø�I‰I�a˜˜A˜qÓ!×,Ñ,Ó.ˆÜ‰G‰O˜AÓˆØ�y‰y˜˜A˜q !Ó$×/Ñ/Ó1Ð1r   © )r   T©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r*   r2   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r,   Ú__classdict__s   @@r   r&   r&   !   s   ù‡ € ÷K÷2õ 2r   r&   c                   óT   a a€ ] tR t^+t oRtRV 3R llt]RR l4       tR tRt	Vt
V ;t# )ÚTimestepEmbedderz;DConv-style timestep MLP (max_period=10000, freq_size=256).c           
     óä   <€ \         SV `  4        \        P                  ! \        P                  W!R R7      \        P                  ! 4       \        P                  WR R7      4      V n        W n        R# )T©ÚbiasN)	r)   r*   r   Ú
Sequentialr   ÚLinearÚSiLUÚmlpÚfrequency_embedding_size)r+   Úhidden_sizerH   r,   s   &&&€r   r*   ÚTimestepEmbedder.__init__.   sQ   ø€ Ü‰ÑÔÜ—=’=Ü�J‰JÐ/À4ˆJÓHÜ�GŠG‹IÜ�J‰J�{°dˆJÓ;ó
ˆŒð
 )AÖ%r   c           	     ó\  € V^,          p\         P                  ! \        P                  ! V4      ) \         P                  ! ^ V\         P
                  R7      ,          V,          4      P                  V P                  4      pV R,          P                  4       VR,          ,          p\         P                  ! \         P                  ! V4      \         P                  ! V4      .RR7      pV^,          '       d6   \         P                  ! V\         P                  ! VR,          4      .RR7      pV# )r   )ÚdtypeN©r   )ºNNNNéÿÿÿÿ)rN   :Né   N)r   ÚexpÚmathÚlogÚarangeÚfloat32ÚtoÚdeviceÚfloatÚcatÚcosÚsinÚ
zeros_like)Útr   Ú
max_periodÚhalfÚfreqsÚargsÚembs   &&&    r   Útimestep_embeddingÚ#TimestepEmbedder.timestep_embedding7   sÈ   € à�a�xˆÜ—	’	Ü�XŠX�jÓ!Ð!¤E§L¢L°°DÄÇÁÔ$NÕNÐQUÕUó
ç
‰"ˆQ�X‰X‹,ð 	ð ��z×ÑÓ! E¨$¥KÕ/ˆÜ�iŠiœŸš 4›¬%¯)ª)°D«/Ð:ÀÔCˆØ��7Œ7Ü—)’)˜S¤%×"2Ò"2°3°uµ:Ó">Ð?ÀRÔHˆCØˆ
r   c                óx   € V P                  WP                  4      pV P                  VP                  V4      4      # r   )rc   rH   rG   rV   )r+   r]   rL   rb   s   &&& r   r2   ÚTimestepEmbedder.forwardC   s/   € Ø×%Ñ% a×)FÑ)FÓGˆØ�x‰x˜Ÿ™˜u›Ó&Ð&r   )rH   rG   )é   )i'  )r6   r7   r8   r9   Ú__doc__r*   Ústaticmethodrc   r2   r:   r;   r<   r=   s   @@r   r@   r@   +   s,   ù‡ € ÙE÷Að ó	ó ð	÷'ò 'r   r@   c                   ó@   a a€ ] tR t^Ht oRtRV 3R lltR tRtVtV ;t	# )ÚBottleneckPatchEmbedzDImage patch embed concatenated with a per-patch conditioning vector.c                ó¦   <€ \         SV `  4        \        P                  W#WR R7      V n        \        P                  W4,           V^VR7      V n        R# )F©Úkernel_sizeÚstriderC   ©rn   rC   N)r)   r*   r   ÚConv2dÚproj1Úproj2)r+   Ú
patch_sizeÚin_chansÚpca_dimÚ	embed_dimrC   r,   s   &&&&&&€r   r*   ÚBottleneckPatchEmbed.__init__K   sA   ø€ Ü‰ÑÔÜ—Z‘Z ¸zÐch�ZÓiˆŒ
Ü—Z‘Z Õ 3°YÈAÐTX�ZÓYˆŽ
r   c                ór   € V P                  \        P                  ! V P                  V4      V.^R7      4      # )rP   rM   )rs   r   rY   rr   )r+   r
   Úconds   &&&r   r2   ÚBottleneckPatchEmbed.forwardP   s)   € Ø�z‰zœ%Ÿ)š) T§Z¡Z°£]°DÐ$9¸qÔAÓBÐBr   )rr   rs   )é   é   é€   é€  T©
r6   r7   r8   r9   rh   r*   r2   r:   r;   r<   r=   s   @@r   rk   rk   H   s   ù‡ € ÙN÷Z÷
Cò Cr   rk   c                   ó@   a a€ ] tR t^Tt oRtRV 3R lltR tRtVtV ;t	# )Ú	DiCoBlockz"DConv block with adaLN modulation.c           
     ó   <€ \         SV `  4        \        P                  W^RR7      V n        \        P                  W^^VRR7      V n        \        P                  W^RR7      V n        \        P                  ! \        P                  ! ^4      \        P                  W^RR7      \        P                  ! 4       4      V n        \        W!,          4      p\        P                  W^RR7      V n        \        P                  W1^RR7      V n        \        VRR7      V n        \        VRR7      V n        \        P                  ! \        P$                  ! 4       \        P'                  V^V,          RR7      4      V n        R# )rP   TrB   ©ÚpaddingÚgroupsrC   F)r   N)r)   r*   r   rq   Úconv1Úconv2Úconv3r   rD   ÚAdaptiveAvgPool2dÚSigmoidÚcaÚintÚconv4Úconv5r&   Únorm1Únorm2rF   rE   ÚadaLN_modulation©r+   rI   Ú	mlp_ratioÚffnr,   s   &&& €r   r*   ÚDiCoBlock.__init__W   s  ø€ Ü‰ÑÔÜ—Z‘Z ¸!À$�ZÓGˆŒ
Ü—Z‘Z ¸!ÀQÈ{Ðae�ZÓfˆŒ
Ü—Z‘Z ¸!À$�ZÓGˆŒ
ä—-’-Ü× Ò  Ó#Ü�J‰J�{°¸ˆJÓ>Ü�JŠJ‹Ló
ˆŒô �)Õ)Ó*ˆÜ—Z‘Z °!¸$�ZÓ?ˆŒ
Ü—Z‘Z °!¸$�ZÓ?ˆŒ
ä  °UÔ;ˆŒ
Ü  °UÔ;ˆŒ
ä "§¢Ü�GŠG‹IÜ�J‰J�{ A¨¥O¸$ˆJÓ?ó!
ˆÖr   c                ó.  € V P                  V4      P                  ^^R7      w  r4rVrx\        V P                  V4      W44      p	\        P
                  ! V P                  V P                  V	4      4      4      p	W�P                  V	4      ,          p	V P                  V	4      p	WR,          V	,          ,           p	W˜R,          V P                  \        P
                  ! V P                  \        V P                  V	4      Wg4      4      4      4      ,          ,           p	V	# )é   rM   ).NN)r’   Úchunkr$   r�   ÚFÚgelurˆ   r‡   rŒ   r‰   r�   rŽ   r‘   )
r+   Úinpr#   Ú	shift_msaÚ	scale_msaÚgate_msaÚ	shift_mlpÚ	scale_mlpÚgate_mlpr
   s
   &&&       r   r2   ÚDiCoBlock.forwardo   s×   € ØIM×I^ÑI^Ð_`ÓIa×IgÑIgÐhiÐopÐIgÓIqÑFˆ	˜h°9Ü�T—Z‘Z “_ iÓ;ˆÜ�FŠF�4—:‘:˜dŸj™j¨›mÓ,Ó-ˆØ—‘˜“
�NˆØ�J‰J�q‹MˆØ˜?Õ+¨aÕ/Õ/ˆØ˜Õ)¨D¯J©JÜ�FŠF�4—:‘:œh t§z¡z°!£}°iÓKÓLÓMó-
õ 
õ 
ˆð ˆr   )	r’   rŒ   r‡   rˆ   r‰   rŽ   r�   r�   r‘   ©ç      @r€   r=   s   @@r   r‚   r‚   T   s   ù‡ € Ù,÷
÷0
ò 
r   r‚   c                   ó@   a a€ ] tR t^|t oRtRV 3R lltR tRtVtV ;t	# )ÚEncoderDiCoBlockz6DiCoBlock without adaLN, for the encoder head pathway.c           
     ó`  <€ \         SV `  4        \        P                  W^RR7      V n        \        P                  W^^VRR7      V n        \        P                  W^RR7      V n        \        P                  ! \        P                  ! ^4      \        P                  W^RR7      \        P                  ! 4       4      V n        \        W!,          4      p\        P                  W^RR7      V n        \        P                  W1^RR7      V n        \        V4      V n        \        V4      V n        R# )rP   TrB   r„   N)r)   r*   r   rq   r‡   rˆ   r‰   r   rD   rŠ   r‹   rŒ   r�   rŽ   r�   r&   r�   r‘   r“   s   &&& €r   r*   ÚEncoderDiCoBlock.__init__   sá   ø€ Ü‰ÑÔÜ—Z‘Z ¸!À$�ZÓGˆŒ
Ü—Z‘Z ¸!ÀQÈ{Ðae�ZÓfˆŒ
Ü—Z‘Z ¸!À$�ZÓGˆŒ
Ü—-’-Ü× Ò  Ó#Ü�J‰J�{°¸ˆJÓ>Ü�JŠJ‹Ló
ˆŒô
 �)Õ)Ó*ˆÜ—Z‘Z °!¸$�ZÓ?ˆŒ
Ü—Z‘Z °!¸$�ZÓ?ˆŒ
Ü  Ó-ˆŒ
Ü  Ó-ˆŽ
r   c           
     ó~  € V P                  V4      p\        P                  ! V P                  V P	                  V4      4      4      pW P                  V4      ,          pV P                  V4      pW,           pW P                  \        P                  ! V P                  V P                  V4      4      4      4      ,           # r   )
r�   rš   r›   rˆ   r‡   rŒ   r‰   r�   rŽ   r‘   )r+   rœ   r
   s   && r   r2   ÚEncoderDiCoBlock.forward�   s}   € Ø�J‰J�s‹OˆÜ�FŠF�4—:‘:˜dŸj™j¨›mÓ,Ó-ˆØ—‘˜“
�NˆØ�J‰J�q‹MˆØ�GˆØ—:‘:œaŸfšf T§Z¡Z°·
±
¸1³Ó%>Ó?Ó@Õ@Ð@r   )rŒ   r‡   rˆ   r‰   rŽ   r�   r�   r‘   r¤   r€   r=   s   @@r   r§   r§   |   s   ù‡ € Ù@÷.÷ Aò Ar   r§   c                   óF   a a€ ] tR t^˜t oRtRV 3R lltR tR tRtVt	V ;t
# )ÚNerfEmbedderz<Patch-position embedder used by the DConv decoder x-pathway.c                ó¬   <€ \         SV `  4        W0n        \        P                  ! \
        P                  W^,          ,           VRR7      4      V n        R# )r   TrB   N)r)   r*   Ú	max_freqsr   rD   r   rE   Úembedder)r+   r   Úhidden_size_inputr¯   r,   s   &&&&€r   r*   ÚNerfEmbedder.__init__›   s=   ø€ Ü‰ÑÔØ"ŒÜŸšÜ�J‰J�{°!¥^Õ3Ð5FÈTˆJÓRó
ˆŽr   c                óˆ  € \         P                  ! ^ ^WVR7      p\         P                  ! WDRR7      w  rVVP                  R^^4      pVP                  R^^4      p\         P                  ! ^ V P                  V P                  W2R7      pVR,          pVR,          p	^W‰,          ,           R,          p
\         P
                  ! Wh,          \         P                  ,          4      p\         P
                  ! WY,          \         P                  ,          4      pW¼,          V
,          P                  ^RV P                  ^,          4      # )r   ©rW   rL   Úij)Úindexing)rL   rW   rO   )NrN   N)NNrN   )r   ÚlinspaceÚmeshgridÚreshaper¯   rZ   Úpir   )r+   rt   rW   rL   ÚposÚpos_yÚpos_xr`   ÚfxÚfyÚcoeffsÚdct_xÚdct_ys   &&&&         r   Ú	fetch_posÚNerfEmbedder.fetch_pos¢   sã   € Ü�nŠn˜Q  :ÀEÔJˆÜ—~’~ c¸Ô>‰ˆØ—‘˜b ! QÓ'ˆØ—‘˜b ! QÓ'ˆÜ—’˜q $§.¡.°$·.±.ÈÔ]ˆØ�=Õ!ˆØ�=Õ!ˆØ�b•g•+ "Õ$ˆÜ—	’	˜%�*¤u§x¡xÕ/Ó0ˆÜ—	’	˜%�*¤u§x¡xÕ/Ó0ˆØ• Õ&×,Ñ,¨Q°°D·N±NÀaÕ4GÓHÐHr   c                ó  € VP                   w  r#p\        VR ,          4      pV P                  WQP                  VP                  4      P                  VRR4      pV P                  \        P                  ! W.RR7      4      # )g      à?rM   rO   )	r   r�   rÃ   rW   rL   Úexpandr°   r   rY   )r+   r
   ÚBÚP2Ú_ÚpsÚdcts   &&     r   r2   ÚNerfEmbedder.forward¯   s_   € Ø—7‘7‰ˆˆqÜ��s•‹^ˆØ�n‰n˜R§¡¨1¯7©7Ó3×:Ñ:¸1¸bÀ"ÓEˆØ�}‰}œUŸYšY¨ x°RÔ8Ó9Ð9r   )r°   r¯   )é   )r6   r7   r8   r9   rh   r*   rÃ   r2   r:   r;   r<   r=   s   @@r   r­   r­   ˜   s   ù‡ € ÙF÷
òI÷:ò :r   r­   c                   ó8   a a€ ] tR t^¶t oV 3R ltR tRtVtV ;t# )ÚNerfFinalLayerc                ó”   <€ \         SV `  4        \        P                  VR R7      V n        \        P                  WRR7      V n        R# ©r   )r   TrB   N)r)   r*   r   ÚRMSNormÚnormrE   Úlinear)r+   rI   Úout_channelsr,   s   &&&€r   r*   ÚNerfFinalLayer.__init__·   s6   ø€ Ü‰ÑÔÜ—K‘K °�KÓ6ˆŒ	Ü—j‘j À�jÓFˆŽr   c                óB   € V P                  V P                  V4      4      # r   ©rÔ   rÓ   )r+   r
   s   &&r   r2   ÚNerfFinalLayer.forward¼   s   € Ø�{‰{˜4Ÿ9™9 Q›<Ó(Ð(r   rØ   r5   r=   s   @@r   rÏ   rÏ   ¶   s   ù‡ € õG÷
)ò )r   rÏ   c                   ó8   a a€ ] tR t^Àt oV 3R ltR tRtVtV ;t# )ÚMLPResBlockc           
     ó¨  <€ \         SV `  4        \        P                  VR R7      V n        \
        P                  ! \        P                  WRR7      \
        P                  ! 4       \        P                  WRR7      4      V n	        \
        P                  ! \
        P                  ! 4       \        P                  V^V,          RR7      4      V n
        R# rÑ   )r)   r*   r   Ú	LayerNormÚin_lnr   rD   rE   rF   rG   r’   )r+   Úchannelsr,   s   &&€r   r*   ÚMLPResBlock.__init__Á   s�   ø€ Ü‰ÑÔÜ—]‘] 8°�]Ó6ˆŒ
Ü—=’=Ü�J‰J�x°ˆJÓ5Ü�GŠG‹IÜ�J‰J�x°ˆJÓ5ó
ˆŒô
 !#§¢Ü�GŠG‹IÜ�J‰J�x  X¥°DˆJÓ9ó!
ˆÖr   c                óÔ   € V P                  V4      P                  ^RR7      w  r4pV P                  V4      ^V,           ,          V,           pWV P                  V4      ,          ,           # )r}   rM   rO   )r’   r™   rÞ   rG   )r+   r
   Úyr    r!   ÚgateÚhs   &&&    r   r2   ÚMLPResBlock.forwardÎ   sX   € Ø!×2Ñ2°1Ó5×;Ñ;¸AÀ2Ð;ÓFÑˆ�dØ�J‰J�q‹M˜Q �YÕ'¨%Õ/ˆØ˜$Ÿ(™( 1›+Õ%Õ%Ð%r   )r’   rÞ   rG   r5   r=   s   @@r   rÛ   rÛ   À   s   ù‡ € õ
÷&ò &r   rÛ   c                   ó<   a a€ ] tR t^Ôt oRtV 3R ltR tRtVtV ;t	# )ÚSimpleMLPAdaLNzAFinal small MLP that maps NerfEmbedder features to per-patch RGB.c                óF  <a€ \         SV `  4        Wn        SV n        W0n        WPn        W`n        \        P                  WF^,          S,          4      V n	        \        P                  VS4      V n
        \        P                  ! V3R l\        V4       4       4      V n        R# )r   c              3   ó:   <"  € T F  p\        S4      x € K  	  R # 5ir   )rÛ   )Ú.0rÉ   Úmodel_channelss   & €r   Ú	<genexpr>Ú*SimpleMLPAdaLN.__init__.<locals>.<genexpr>â   s   øé € Ð'cÑMbÈ¬°N×(CÐ(CÓMbùs   ƒN)r)   r*   r   rë   rÕ   Únum_res_blocksrt   r   rE   Ú
cond_embedÚ
input_projr   Ú
ModuleListÚrangeÚ
res_blocks)r+   r   rë   rÕ   Ú
z_channelsrî   rt   r,   s   &&f&&&&€r   r*   ÚSimpleMLPAdaLN.__init__×   st   ù€ Ü‰ÑÔØ&ÔØ,ˆÔØ(ÔØ,ÔØ$ŒäŸ*™* Z¸qµÀ>Õ1QÓRˆŒÜŸ*™* [°.ÓAˆŒäŸ-š-Ô'cÌUÐSaÔMbÓ'cÓcˆŽr   c                óæ   € V P                  V4      pV P                  V4      P                  VP                  ^ ,          V P                  ^,          R4      pV P
                   F  pV! W4      pK  	  V# )r   rO   )rð   rï   r¹   r   rt   ró   )r+   r
   r#   Úblocks   &&& r   r2   ÚSimpleMLPAdaLN.forwardä   sZ   € Ø�O‰O˜AÓˆØ�O‰O˜AÓ×&Ñ& q§w¡w¨q¥z°4·?±?ÀaÕ3GÈÓLˆØ—_”_ˆEÙ�a“ŠAñ %àˆr   )rï   r   rð   rë   rî   rÕ   rt   ró   r€   r=   s   @@r   rç   rç   Ô   s   ù‡ € ÙKõd÷ò r   rç   c                   óD   a a€ ] tR t^ìt oRtRR/V 3R lltR tRtVtV ;t	# )ÚResnetBlockz2GroupNorm + Conv ResBlock used by the CoD Decoder.rÕ   Nc               óN  <€ \         SV `  4        T;'       g    TpWn        W n        \	        V4      V n        \        P                  W^^R7      V n        \	        V4      V n	        \        P                  W"^^R7      V n
        W8w  d   \        P                  W^4      V n        R# R# )r}   )r…   N)r)   r*   r   rÕ   r   r�   r   rq   r‡   r‘   rˆ   Únin_shortcut)r+   r   rÕ   r,   s   &$$€r   r*   ÚResnetBlock.__init__ï   s‰   ø€ Ü‰ÑÔØ#×2Ð2 {ˆØ&ÔØ(Ôä˜{Ó+ˆŒ
Ü—Z‘Z ¸1Àa�ZÓHˆŒ
Ü˜|Ó,ˆŒ
Ü—Z‘Z ¸AÀq�ZÓIˆŒ
ØÔ&Ü #§
¡
¨;ÀaÓ HˆDÖñ 'r   c                ó  € V P                  \        V P                  V4      4      4      pV P                  \        V P	                  V4      4      4      pV P
                  V P                  8w  d   V P                  V4      pW,           # r   )r‡   r   r�   rˆ   r‘   r   rÕ   rü   )r+   r
   rä   s   && r   r2   ÚResnetBlock.forwardü   sc   € Ø�J‰J”| D§J¡J¨q£MÓ2Ó3ˆØ�J‰J”| D§J¡J¨q£MÓ2Ó3ˆØ×Ñ˜t×0Ñ0Ô0Ø×!Ñ! !Ó$ˆAØ�uˆr   )r‡   rˆ   r   rü   r�   r‘   rÕ   r€   r=   s   @@r   rú   rú   ì   s    ù‡ € Ù<ðI°D÷ I÷ò r   rú   c                   ó@   a a€ ] tR tRt oRtRV 3R lltR tRtVtV ;t	# )Ú	AttnBlocki  z:Patched (windowed) self-attention used by the CoD Decoder.c                óR  <€ \         SV `  4        Wn        W n        \	        V4      V n        \        P                  W^4      V n        \        P                  W^4      V n	        \        P                  W^4      V n
        \        P                  W^4      V n        \        4       V n        R# )rP   N)r)   r*   r   rt   r   rÓ   r   rq   ÚqÚkÚvÚproj_outr   Úoptimized_attention)r+   r   rt   r,   s   &&&€r   r*   ÚAttnBlock.__init__  sw   ø€ Ü‰ÑÔØ&ÔØ$ŒÜ˜kÓ*ˆŒ	Ü—‘˜K°aÓ8ˆŒÜ—‘˜K°aÓ8ˆŒÜ—‘˜K°aÓ8ˆŒÜŸ
™
 ;¸QÓ?ˆŒä#0£?ˆÖ r   c                ó   aaaaaa€ V P                  V4      pV P                  V4      pV P                  V4      pV P                  V4      pV P                  oVP
                  w  oorgSVS,          ,
          S,          pSVS,          ,
          S,          p	V'       g	   V	'       dX   \        P                  ! V^ V	^ V3RR7      p\        P                  ! V^ V	^ V3RR7      p\        P                  ! V^ V	^ V3RR7      pVP
                  w   r«pVS,          VS,          uooSS,          oVVVVVV3R lpV! V4      pV! V4      pV! V4      pV P                  W4V4      pVP                  SSSSSS4      P                  ^ ^^^^^4      P                  SSW¼4      pV'       g	   V	'       d   VRRRV1RV13,          pWP                  V4      ,           # )r   Ú	replicate)Úmodec                 ó–   <€ V P                  SSSSSS4      P                  ^ ^^^^^4      P                  SS,          SSS,          4      # r/   )r¹   r0   )r]   r"   r#   ÚdÚnp_ÚnphÚnpws   &€€€€€€r   Ú
to_patchesÚ%AttnBlock.forward.<locals>.to_patches%  sH   ø€ Ø—I‘I˜a  C¨¨C°Ó3ß‘W˜Q  1 a¨¨AÓ.ß‘W˜Q �W a¨¨Q­Ó/ð1r   rN   N)rÓ   r  r  r  rt   r   rš   Úpadr  r¹   r0   r  )r+   r
   Úh_ÚQÚKÚVÚHÚWÚpad_hÚpad_wrÉ   ÚH_padÚW_padr  r"   r#   r  r  r  r  s   &&            @@@@@@r   r2   ÚAttnBlock.forward  sœ  ý€ Ø�Y‰Y�q‹\ˆØ�F‰F�2‹JˆØ�F‰F�2‹JˆØ�F‰F�2‹Jˆà�O‰OˆØ—W‘W‰
ˆˆ1ˆaØ�Q˜•U•˜a•ˆØ�Q˜•U•˜a•ˆß—EÜ—’�a˜!˜U A uÐ-°KÔ@ˆAÜ—’�a˜!˜U A uÐ-°KÔ@ˆAÜ—’�a˜!˜U A uÐ-°KÔ@ˆAØŸW™WÑˆˆ1�UØ˜A•:˜u¨�zˆˆˆSØ�C�iˆ÷	1ò 	1ñ �q‹MˆÙ�q‹MˆÙ�q‹Mˆà×%Ñ% a¨AÓ.ˆØ�Z‰Z˜˜3  Q¨¨1Ó-×5Ñ5°a¸¸A¸qÀ!ÀQÓG×OÑOÐPQÐSTÐV[Ócˆß—EØ�A�q˜"˜1˜"˜b˜q˜b�LÕ!ˆBØ—=‘= Ó$Õ$Ð$r   )r   r  rÓ   r  rt   r  r  r  )r   r€   r=   s   @@r   r  r    s   ù‡ € ÙD÷
3÷ %ò  %r   r  c                   ó@   a a€ ] tR tRt oRtRV 3R lltR tRtVtV ;t	# )Ú
CoDDecoderi6  zMCoD Decoder: latent -> conditioning features for the denoiser (ds=16, light).c                ó–  <€ \         SV `  4        \        P                  W!^^^R7      V n        \
        P                  ! \        WR7      \        V^ R7      \        WR7      \        V^ R7      \        WR7      4      V n	        \        V4      V n        \        P                  W^^^R7      V n        \
        P                  ! 4       V n        R# )r}   )rn   ro   r…   )r   rÕ   )rt   N)r)   r*   r   rq   Úconv_inr   rD   rú   r  r÷   r   Únorm_outÚconv_outÚIdentityÚada)r+   Úout_chÚz_chr,   s   &&&€r   r*   ÚCoDDecoder.__init__9  s—   ø€ Ü‰ÑÔÜ—z‘z $¸AÀaÐQR�zÓSˆŒÜ—]’]Ü FÔ@Ü�f¨Ô,Ü FÔ@Ü�f¨Ô,Ü FÔ@ó
ˆŒ
ô " &Ó)ˆŒÜŸ
™
 6¸qÈÐTU˜
ÓVˆŒÜ—;’;“=ˆŽr   c                ó¶   € V P                  V P                  V4      4      pV P                  \        V P	                  V4      4      4      pV P                  V4      # r   )r÷   r"  r$  r   r#  r&  )r+   Úzrä   s   && r   r2   ÚCoDDecoder.forwardG  sB   € Ø�J‰J�t—|‘| A“Ó'ˆØ�M‰Mœ, t§}¡}°QÓ'7Ó8Ó9ˆØ�x‰x˜‹{Ðr   )r&  r÷   r"  r$  r#  ©r   r~   r€   r=   s   @@r   r   r   6  s   ù‡ € ÙW÷!÷ò r   r   c                   ó@   a a€ ] tR tRt oRtRV 3R lltR tRtVtV ;t	# )ÚDConvEncoderiM  z4DConvEncoder: image -> packed (mean, logvar) latent.c	           
     óÊ  <€ \         S
V `  4        Wn        W@n        \        P                  ^WdVRR7      V n        \        P                  ! \        V4       U	u. uF  p	\        WeR7      NK  	  up	4      V n        \        P                  Wb^RR7      V n        \        P                  W^RR7      V n        \        P                  V^,          V^RR7      V n        \        V4      V n        \        P                  ! \        V4       U	u. uF  p	\#        W%R7      NK  	  up	4      V n        \'        V4      V n        \        P                  W!V,          ^RR7      V n        R# u up	i u up	i )r}   Trm   ©r”   rp   N)r)   r*   r(  rt   r   rq   Úpatch_cond_embedr   rñ   rò   r§   Úhead_blocksÚ	proj_downÚz_projÚ	fuse_projr@   Ú
t_embedderr‚   Úblocksr&   r#  r  )r+   r(  rI   Ú
num_blocksrt   r”   Ú	head_sizeÚnum_head_blocksÚout_ch_multrÉ   r,   s   &&&&&&&&& €r   r*   ÚDConvEncoder.__init__P  s(  ø€ ô 	‰ÑÔØŒ	Ø$ŒÜ #§
¡
¨1¨iÐXbÐim 
Ó nˆÔÜŸ=š=ÜFKÈOÔF\ó*
ÙF\ÀÔ˜Y×<ÑF\ñ*
ó ˆÔô Ÿ™ IÈÐPT˜ÓUˆŒÜ—j‘j ÀÈ�jÓMˆŒÜŸ™ K°!¥O°[ÈaÐVZ˜Ó[ˆŒÜ*¨;Ó7ˆŒÜ—m’mÜAFÀzÔARó%
ÙAR¸AŒI�k×7ÑARñ%
ó ˆŒô $ KÓ0ˆŒÜŸ
™
 ;°{Õ0BÐPQÐX\˜
Ó]ˆŽùò*
ùò%
s   ÁEÄE c                ó¶  € V P                  V4      pV P                   F  pV! V4      pK  	  V P                  V4      pV P                  \        P
                  ! W@P                  V4      .^R7      4      pV P                  VP                  R4      VP                  4      pV P                   F  pV! Wg4      pK  	  V P                  V P                  V4      4      # )rP   rM   rO   )r2  r3  r4  r6  r   rY   r5  r7  r   rL   r8  r  r#  )r+   Úz_tr]   râ   rz   r÷   Úsr#   s   &&&&    r   Úforward_predÚDConvEncoder.forward_predl  s©   € Ø×$Ñ$ QÓ'ˆØ×%Ô%ˆEÙ˜“;ŠDñ &à�~‰~˜dÓ#ˆà�N‰Nœ5Ÿ9š9 d¯K©K¸Ó,<Ð%=À1ÔEÓFˆØ�O‰O˜AŸF™F 2›J¨¯©Ó0ˆØ—[”[ˆEÙ�a“ŠAñ !à�}‰}˜TŸ]™]¨1Ó-Ó.Ð.r   )r8  r6  r3  r#  r2  rt   r4  r  r7  r(  r5  )r~   r   é   r|   r¥   i   r   r   )
r6   r7   r8   r9   rh   r*   rA  r:   r;   r<   r=   s   @@r   r/  r/  M  s   ù‡ € Ù>÷^÷8
/ò 
/r   r/  c                   ó:   a a€ ] tR tRt oRtRV 3R lltRtVtV ;t# )Ú	YEmbedderiy  zTHolds only the CoD decoder (the original Flux2-VAE encoder side is dropped at load).c                óF   <€ \         SV `  4        \        WR 7      V n        R# ))r'  r(  N)r)   r*   r   Údecoder)r+   Úchr(  r,   s   &&&€r   r*   ÚYEmbedder.__init__|  s   ø€ Ü‰ÑÔÜ!¨Ô7ˆŽr   )rG  r-  )	r6   r7   r8   r9   rh   r*   r:   r;   r<   r=   s   @@r   rE  rE  y  s   ù‡ € Ù^÷8÷ 8r   rE  c                   ó@   a a€ ] tR tRt oRtRV 3R lltR tRtVtV ;t	# )ÚDConvDenoiseri�  zOOne-step DConv denoiser: latent (via cond) + zero noise -> reconstructed image.c	           
     ó"  <€ \         S
V `  4        W n        Wn        W0n        Wpn        \        V4      V n        \        P                  W4V^,          ,          ^^^ 4      V n
        \        W$,           V^R7      V n        \        WWƒRR7      V n        \        P                   ! \#        V4       U	u. uF  p	\%        W5R7      NK  	  up	4      V n        \)        VVVVWg,
          VR7      V n        \-        WB4      V n        \1        W8R7      V n        R# u up	i )r   )r¯   TrB   r1  )r   rë   rÕ   rô   rî   rt   )rH  r(  N)r)   r*   r   rt   rI   Únum_cond_blocksr@   r7  r   rq   Úy_embedder_xr­   Ú
x_embedderrk   Ú
s_embedderr   rñ   rò   r‚   r8  rç   Údec_netrÏ   Úfinal_layerrE  Ú
y_embedder)r+   rt   r   rI   Úhidden_size_xr”   r9  rM  Úbottleneck_dimrÉ   r,   s   &&&&&&&&& €r   r*   ÚDConvDenoiser.__init__„  sñ   ø€ ô 	‰ÑÔØ&ÔØ$ŒØ&ÔØ.Ôä*¨;Ó7ˆŒÜŸJ™J {ÀJÐRSÅOÕ4SÐUVÐXYÐ[\Ó]ˆÔÜ& {Õ'BÀMÐ]^Ô_ˆŒÜ.¨zÈÐjnÔoˆŒÜ—m’mÜAFÀÔAWó%
ÙAW¸AŒI�k×7ÑAWñ%
ó ˆŒô &Ø%Ø(Ø$Ø"Ø%Õ7Ø!ô
ˆŒô *¨-ÓEˆÔÜ# {ÔHˆŽùò%
s   Â,Dc                ód  € VP                   w  rErgV P                  VP                  R4      VP                  4      pV P	                  W4      p	V P
                   F  p
V
! W˜4      p	K  	  V	P                   R,          V	P                   R,          ,          pV	P                  ^ ^^^4      P                  RV P                  4      p	\        P                  P                  P                  WP                  V P                  R7      p\        P                  ! WP                  V4      P!                  ^4      .^R7      pVP                  VRV P                  ^,          V4      P                  ^ ^^^4      P!                  ^ ^4      pV P#                  V4      pV P%                  W4      pV P'                  V4      pVP)                  ^^4      P                  WKR4      p\        P                  P                  P+                  VP)                  ^^4      P-                  4       Wg3V P                  V P                  R7      # )rP   )rn   ro   rM   rO   éþÿÿÿ)r   r7  r   rL   rP  r8  r0   r¹   rI   r   r   r   Úunfoldrt   rY   rN  ÚflattenrO  rQ  rR  Ú	transposeÚfoldr1   )r+   r
   r]   rz   r"   rÉ   rä   Úwr#   r@  r÷   Úlengths   &&&&        r   r2   ÚDConvDenoiser.forward§  s³  € Ø—W‘W‰
ˆˆaØ�O‰O˜AŸF™F 2›J¨¯©Ó0ˆà�O‰O˜AÓ$ˆØ—[”[ˆEÙ�a“ŠAñ !ð —‘˜•˜qŸw™w r�{Õ*ˆØ�I‰I�a˜˜A˜qÓ!×)Ñ)¨"¨d×.>Ñ.>Ó?ˆä�H‰H×Ñ×&Ñ& q·o±oÈdÏoÉoÐ&Ó^ˆÜ�IŠI�q×+Ñ+¨DÓ1×9Ñ9¸!Ó<Ð=À1ÔEˆØ�I‰I�a˜˜TŸ_™_°Õ1°6Ó:×BÑBÀ1ÀaÈÈAÓN×VÑVÐWXÐZ[Ó\ˆØ�O‰O˜AÓˆà�L‰L˜ÓˆØ×Ñ˜QÓˆØ�K‰K˜˜1Ó×%Ñ% a°Ó4ˆÜ�x‰x×"Ñ"×'Ñ'Ø�K‰K˜˜1Ó×(Ñ(Ó*¨Q¨FØŸ™°·±ð (ó 
ð 	
r   )r8  rQ  rR  rI   r   rM  rt   rP  r7  rO  rS  rN  )r|   r}   r   r   r¥   é   rC  r~   r€   r=   s   @@r   rK  rK  �  s   ù‡ € ÙY÷!I÷F
ò 
r   rK  c                   óJ   a a€ ] tR tRt oRt^€t^tV 3R ltR tR t	Rt
VtV ;t# )ÚMageVAEiÀ  z—
Encode: DConvEncoder (one-step at t=0) -> posterior mean [B, 128, H/16, W/16]
Decode: DConvDenoiser + CoD Decoder    -> image [B, 3, H, W] in [-1, 1]
c                ó`   <€ \         SV `  4        \        4       V n        \	        4       V n        R # r   )r)   r*   r/  Údconv_encoderrK  Údecoder_model)r+   r,   s   &€r   r*   ÚMageVAE.__init__É  s"   ø€ Ü‰ÑÔÜ)›^ˆÔÜ*›_ˆÖr   c           	     ó¨  € VP                   w  r#rEV P                  P                  p\        P                  ! W P                  P
                  WF,          WV,          VP                  VP                  R 7      p\        P                  ! W!P                  VP                  R 7      pV P                  P                  WxV4      p	V	RRV P                  13,          # )r´   rN   N)
r   rd  rt   r   Úzerosr(  rW   rL   rA  Úlatent_channels)
r+   r
   rÇ   rÉ   r  r  rÊ   r?  r]   Úouts
   &&        r   ÚencodeÚMageVAE.encodeÎ  s�   € Ø—W‘W‰
ˆˆaØ×Ñ×*Ñ*ˆÜ�kŠk˜!×/Ñ/×4Ñ4°aµg¸q½wÈqÏxÉxÐ_`×_fÑ_fÔgˆÜ�KŠK˜§(¡(°!·'±'Ô:ˆØ× Ñ ×-Ñ-¨c°aÓ8ˆØ�1Ð,˜×,Ñ,Ð,Ð,Õ-Ð-r   c           	     óð  € V P                   P                  P                  V4      pVP                  ^ ,          pVP                  ^,          V P                  ,          pVP                  ^,          V P                  ,          p\
        P                  ! V^WEVP                  VP                  R7      p\
        P                  ! W1P                  VP                  R7      pV P                   P                  WgV4      # )r   r´   )
re  rS  rG  r   Údownsample_factorr   rh  rW   rL   r2   )r+   r+  rz   rÇ   r  r  Únoiser]   s   &&      r   ÚdecodeÚMageVAE.decodeÖ  sª   € Ø×!Ñ!×,Ñ,×4Ñ4°QÓ7ˆØ�G‰G�A�JˆØ�G‰G�A�J˜×/Ñ/Õ/ˆØ�G‰G�A�J˜×/Ñ/Õ/ˆÜ—’˜A˜q !¨q¯x©x¸q¿w¹wÔGˆÜ�KŠK˜§(¡(°!·'±'Ô:ˆØ×!Ñ!×)Ñ)¨%°DÓ9Ð9r   )rd  re  )r6   r7   r8   r9   rh   ri  rn  r*   rk  rp  r:   r;   r<   r=   s   @@r   rb  rb  À  s+   ù‡ € ñð
 €OØÐõ-ò
.÷:ò :r   rb  )"rR   r   Útorch.nnr   Útorch.nn.functionalr   rš   Ú	comfy.opsÚcomfyÚ(comfy.ldm.modules.diffusionmodules.modelr   r   Údisable_weight_initr   r   r$   rÝ   r&   ÚModuler@   rk   r‚   r§   r­   rÏ   rÛ   rç   rú   r  r   r/  rE  rK  rb  r4   r   r   Ú<module>ry     sC  ðó ã Ý ß Ð ã Ý Bà‡i�i×#Ñ#€ò'òYò=ô2�#—-‘-ô 2ô'�r—y‘yô 'ô:	C˜2Ÿ9™9ô 	Cô%�—	‘	ô %ôPA�r—y‘yô Aô8:�2—9‘9ô :ô<)�R—Y‘Yô )ô&�"—)‘)ô &ô(�R—Y‘Yô ô0�"—)‘)ô ô0/%�—	‘	ô /%ôd�—‘ô ô.)/�2—9‘9ô )/ôX8�—	‘	ô 8ô<
�B—I‘Iô <
ô~:ˆb�i‰iö :r   