+
    ƒ°ñjÌ£  ã                   ó€  € R t ^ RIt^ RIt^ RIHt ^ RIt^ RIt^ RIt^ RI	t^ RI
t^ RIt^ RIHtHtHt R+tR,tRtRtR tR-R ltR.R ltR tR/R	 ltR
 tR tR tR tR tR tR tR t  ! R R]PB                  4      t"R t# ! R R]PB                  4      t$ ! R R]PB                  4      t% ! R R]PB                  4      t&R t'R t(R t) ! R R]PB                  4      t* ! R  R!]PB                  4      t+ ! R" R#]PB                  4      t, ! R$ R%]PB                  4      t-R& t. ! R' R(4      t/ ! R) R*]PB                  4      t0R# )0a  MiniMax H3 audio-video DiT.

Single-stream packed-token transformer denoising video (24ch, patch 1x2x2) and
stereo audio (32ch, 40 Hz) latents jointly, conditioned on Qwen3-VL layer-50 hidden states.
The packed sequence is:
[text | cond rows | audio | video] for t2va/fl2va
[text | reference blocks | audio | video] for ref2va

Timestep domain: the model receives the *video* sigma from the sampler and
derives per-token timesteps t = 1 - sigma internally; the audio stream runs on
its own shifted schedule (sigma_shift video 12.0 / audio 3.0), mapped from the
video sigma in closed form. The sampler carries the audio latent scaled onto the
video schedule (ModelSamplingAV); forward() undoes that scale and converts the
velocity back, so _forward only ever sees the stream's own latent.
N)ÚComfyAttentionÚAttentionTensorContainerÚoptimized_attentionç+‡ÙÎ÷ï?ç      ð?c                 ó„   € WV R V,
          ,          ,           ,          pW#,          R VR ,
          V,          ,           ,          # ©r   © )ÚsigmaÚ
from_shiftÚto_shiftÚbases   &&& Ú;C:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\minimax\model.pyÚtime_shift_sigmar   $   s4   € à ¨#°
Õ*:Õ!;Õ;Õ<€DØ�?˜c X°¥^°tÕ$;Õ;Õ<Ð<ó    c           
      ó$  € V P                   w  r#rEpVw  rxp	WG,          WX,          Wi,          rËp
V P                  W#W§W¸WÉ4      p\        P                  ! R V4      pVP                  W*,          V,          V,          W7,          V,          V	,          4      # )znctrhpwq->nthwcrpq)ÚshapeÚreshapeÚtorchÚeinsum)ÚlatentÚ
patch_sizeÚbÚcÚt_fullÚh_fullÚw_fullÚptÚphÚpwÚtÚhÚwÚxs   &&            r   Úpatchify_videor$   *   sw   € à#)§<¡<Ñ €Aˆ&˜&Ø�J€BˆBØ�l˜F�L¨&­,ˆ!€AØ�‰�q˜Q A¨1Ó1€AÜ�ŠÐ)¨1Ó-€AØ�9‰9�Q•U˜Q•Y •] A¥F¨R¥K°"Õ$4Ó5Ð5r   c           
      ó²   € Vw  rgpV P                  RWW4WgV4      p	\        P                  ! RV	4      p	V	P                  RWAV,          W',          W8,          4      # )é   znthwcrpq->nctrhpwqéÿÿÿÿ)r   r   r   )
Úrowsr    r!   r"   r   r   r   r   r   r#   s
   &&&&&&    r   Úunpatchify_videor)   4   sO   € Ø�J€BˆBØ�‰�R˜˜q R¨RÓ0€AÜ�ŠÐ)¨1Ó-€AØ�9‰9�R˜ �F A¥F¨A­FÓ3Ð3r   c                 ó€   € V P                   w  rr4V ^ ,          P                  ^^^ 4      P                  W4,          V4      # )é    )r   Úpermuter   )r   r   r   Úchr    s   &    r   Ú
pack_audior.   ;   s7   € à—,‘,�K€Aˆ"Ø�!�9×Ñ˜Q  1Ó%×-Ñ-¨b­f°aÓ8Ð8r   c                 ó¼   € V P                   ^ ,          V,          pV P                  WV P                   R,          4      P                  ^^ ^4      P                  ^ 4      # )r+   r'   )r   r   r,   Ú	unsqueeze)r(   r-   r    s   && r   Úunpack_audior1   A   sG   € Ø�
‰
�1�˜Õ€AØ�<‰<˜˜tŸz™z¨"�~Ó.×6Ñ6°q¸!¸QÓ?×IÑIÈ!ÓLÐLr   c                 óÀ   € W,          pW,          p\         P                  ! V\         P                  R 7      W4,          ,          RV,
          R,          ,           R,          # )©Údtyper   g       @g      @@)r   ÚarangeÚfloat64)ÚdimÚpatchÚ	sqrt_areaÚratioÚns   &&&  r   Ú_axis_from_sqrt_arear<   F   sA   € à�O€EØ�€AÜ�LŠL˜¤%§-¡-Ô0°EµIÕ>À#ÈÅ+ÐQTÕATÕTÐX\Õ\Ð\r   c           	      ó�  € \         P                  P                  P                  V ^ W0P                  R,          ,
          ^ W P                  R,          ,
          3RR7      pVP                  W^,          ^V^,          ^4      P                  RR7      pVP                  R4      p\        VR8¬  P                  4       4      '       d   R# V# )	r+   Ú	replicate)Úmode©r7   Nr'   éþÿÿÿ)é   é   r   )	r   ÚnnÚ
functionalÚpadr   r   ÚamaxÚboolÚall)ÚmaskÚlatent_tÚlat_hÚlat_wÚmÚvaluess   &&&&  r   Úmask_row_valuesrP   M   sž   € ô 	�‰×Ñ×Ñ  q¨%·*±*¸Rµ.Õ*@À!ÀUÏZÉZÐXZÍ^ÕE[Ð&\ÐcnÐÓo€AØ	�	‰	�( Q�J¨¨5°A­:°qÓ9×>Ñ>À6Ð>ÓJ€AØ�Y‰Y�r‹]€FÜˆV�zÑ!×&Ñ&Ó(×)Ò)ÙØ€Mr   c                 ó&  € \         P                  ! W,          4      p\        P                  ! \	        V ^V4      \	        V^V4      RR7      w  r4\        P
                  ! VP                  R4      VP                  R4      .RR7      \	        V^V4      3# )rB   Úij)Úindexingr@   r'   )ÚmathÚsqrtr   Úmeshgridr<   Ústackr   )r!   r"   ÚareaÚhhÚwws   &&   r   Ú_frame_gridr[   X   sv   € ä�9Š9�Q•UÓ€DÜ�^Š^Ô0°°A°tÓ<Ô>RÐSTÐVWÐY]Ó>^ÐimÔn�F€BÜ�;Š;˜Ÿ
™
 2›¨¯
©
°2«Ð7¸RÔ@ÔBVÐWXÐZ[Ð]aÓBbÐbÐbr   c                 ó|   € \        V 4       Uu. uF"  p\        \        V^,          ,          ,          NK$  	  up# u upi )é   )ÚrangeÚFRAME_RESCALEÚFRAME_PER_TOKEN)r;   Úks   & r   Ú_video_t_spansrb   _   s/   € Ü<AÀ!¼HÓE¹H°qŒMœO¨A°­EÕ2×2Ð2¹HÑEÐEùÒEs   Ž(9c                 ó  € \         P                  ! \        V 4      \         P                  R 7      p\	        V4      \         P
                  ! \         P                  ! ^\         P                  R 7      VRR P                  ^ 4      .4      ,           # )r3   Nr'   )r   Útensorrb   r6   ÚfloatÚcatÚzerosÚcumsum)r;   ÚoriginÚspanss   && r   Ú_video_t_gridrk   c   s[   € ä�LŠLœ¨Ó*´%·-±-Ô@€EÜ�‹=œ5Ÿ9š9¤e§k¢k°!¼5¿=¹=Ô&IÈ5ÐQTÐRTÈ:×K\ÑK\Ð]^ÓK_Ð%`ÓaÕaÐar   c           	      óÔ   € V R ,          pVR8X  d   R# VR8X  d   \        V R,          4      # VR9   d6   \        \        V R,          4      \        \        V R,          4      4      4      # R# )ÚkindÚimager   ÚaudioÚref_audio_trK   ç        ©ÚvideoÚvideo_audio)re   ÚmaxÚsumrb   )Úblkrm   s   & r   Ú_ref_t_spanrx   i   s]   € àˆv�;€DØˆw„ÙØˆw„Ü�S˜Õ'Ó(Ð(ØÐ'Ô'Ü”5˜˜]Õ+Ó,¬c´.ÀÀZÅÓ2QÓ.RÓSÐSÙr   c                 ó   € \         P                  ! V^,          ^\         P                  R7      pV \         P                  ! V\         P                  R7      ,           P	                  ^4      VR&   W$RV1^3&   W4VR1^3&   V# )rB   r3   N©ºNNNr+   )r   rg   r6   r5   Úrepeat)Úcursorr    Úw_lowÚw_highÚgs   &&&& r   Ú_audio_gridr�   u   se   € ä�Š�A˜•E˜1¤E§M¡MÔ2€AØœŸš Q¬e¯m©mÔ<Õ<×DÑDÀQÓG€A€d�GØ€b€q€bˆ!€e�HØ€a�bˆ!€e�HØ€Hr   c                 óØ   € \         P                  ! WP                  ^ ,          ^\         P                  R7      p\	        W4      R,          VR&   VR,          VR&   VP                  R^4      # )r+   r3   N©r{   N)r{   r{   r+   )r{   r{   ºr&   NNr'   )r   Úemptyr   r6   rk   r   )ÚvtÚframer}   r€   s   &&& r   Ú_video_gridrˆ   ~   sQ   € Ü�Š�BŸ™ A�¨´·±Ô?€AÜ˜rÓ*¨7Õ3€A€g�JØ˜•+€A€h�KØ�9‰9�R˜ÓÐr   c                   ó<   a a€ ] tR t^…t oRV 3R lltR tRtVtV ;t# )ÚTimeEmbedderc                ó”   <€ \         SV `  4        Wn        VP                  WR WER7      V n        VP                  W#R WER7      V n        R# ©T©Úbiasr4   ÚdeviceN)ÚsuperÚ__init__Úfreq_dimÚLinearÚproj_inÚproj_out)Úselfr’   ÚhiddenÚoutr4   r�   Ú
operationsÚ	__class__s   &&&&&&&€r   r‘   ÚTimeEmbedder.__init__†   sE   ø€ Ü‰ÑÔØ ŒØ!×(Ñ(¨ÀÈEÐ(ÓaˆŒØ"×)Ñ)¨&¸DÈÐ)Ó]ˆŽr   c           	     ó^  € V P                   ^,          p\        P                  ! \        P                  ! R4      ) \        P
                  ! V\        P                  VP                  R7      ,          V,          4      pVP                  \        P                  4      R,          VR,          ,          p\        P                  ! \        P                  ! V4      \        P                  ! V4      .RR7      pV P                  \        P                  P                  V P!                  V4      4      4      # )rB   g     ˆÃ@©r4   r�   Nr@   rƒ   r'   )r’   r   ÚexprT   Úlogr5   Úfloat32r�   Útorf   ÚcosÚsinr•   rD   rE   Úsilur”   )r–   r    ÚhalfÚfreqsÚargsÚembs   &&    r   ÚforwardÚTimeEmbedder.forwardŒ   s¹   € à�}‰} Õ!ˆÜ—	’	œ4Ÿ8š8 GÓ,Ð,¬u¯|ª|¸DÌÏÉÐ^_×^fÑ^fÔ/gÕgÐjnÕnÓoˆØ�t‰t”E—M‘MÓ" 7Õ+¨e°D­kÕ9ˆÜ�iŠiœŸš 4›¬%¯)ª)°D«/Ð:ÀÔCˆØ�}‰}œRŸ]™]×/Ñ/°·±¸SÓ0AÓBÓCÐCr   )r’   r”   r•   ©NNN©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r‘   r©   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©rš   Ú__classdict__s   @@r   rŠ   rŠ   …   s   ù‡ € ÷^÷Dò Dr   rŠ   c                óH  € V P                   R,          ^,          pV RRV13,          p\        P                  ! V4      \        P                  ! V4      rT\        P                  ! WE) WT.RR7      P                  ^V P                   ^ ,          ^V^^4      pVP                  V4      # )zI[S, rot_dim] pair angles -> [1, S, 1, rot_dim/2, 2, 2] rotation matrices.r{   Nr@   r'   )r   r   r¢   r£   rW   r   r¡   )Úanglesr4   r¥   Úangr   ÚsÚtables   &&     r   Úrope_rotation_tabler»   •   s�   € à�<‰<˜Õ˜qÕ €DØ
��E�T�E�Õ
€CÜ�9Š9�S‹>œ5Ÿ9š9 S›>€qÜ�KŠK˜˜B ˜¨2Ô.×6Ñ6°q¸&¿,¹,Àq½/È1ÈdÐTUÐWXÓY€EØ�8‰8�E‹?Ðr   c                   óD   a a€ ] tR t^žt oRV 3R lltR/ 3R ltRtVtV ;t# )Ú	AttentionNc	                ó�  <€ \         S
V `  4        \        4       V n        W n        W0n        W#,          p	VP                  W^,          RWgR7      V n        VP                  W4WgR7      V n	        VP                  W4WgR7      V n
        VP                  W‘RWgR7      V n        RV n        V'       d   VP                  WRWgR7      V n        R# R# )é   Fr�   ©Úepsr4   r�   N)r�   r‘   r   Úcomfy_attentionÚheadsÚhead_dimr“   Úqkv_projÚRMSNormÚq_normÚk_normÚout_projÚto_gate_compress)r–   r—   rÃ   rÄ   rÁ   Úgate_compressr4   r�   r™   Úinnerrš   s   &&&&&&&&& €r   r‘   ÚAttention.__init__Ÿ   sº   ø€ Ü‰ÑÔÜ-Ó/ˆÔØŒ
Ø ŒØÕ ˆØ"×)Ñ)¨&¸!µ)À%ÈuÐ)ÓdˆŒØ ×(Ñ(¨À%Ð(ÓWˆŒØ ×(Ñ(¨À%Ð(ÓWˆŒØ"×)Ñ)¨%¸eÈ5Ð)Ó`ˆŒØ $ˆÔßà$.×$5Ñ$5°fÈ%ÐW\Ð$5Ó$lˆDÖ!ñ r   c                ó”  € VP                   ^ ,          pV P                  V4      P                  V P                  V P                  ,          RR7      w  rVpVP                  W@P                  V P                  4      pVEeŸ   VP                  ^W@P                  V P                  4      pVP                  ^W@P                  V P                  4      p\        P                  P                  V P                  P                  VP                  R7      p\        P                  P                  V P                  P                  VP                  R7      p	VP                   R,          ^,          p
\        P                  P                  '       dE   \        P                  P                  P!                  WVW(W�P                  P"                  V
R7      w  rVMA\        P                  P                  P%                  WVW(W�P                  P"                  V
R7       V^ ,          pV^ ,          pMjV P                  VP                  W@P                  V P                  4      4      pV P                  VP                  W@P                  V P                  4      4      p\'        VP)                  ^ ^4      P+                  ^ 4      4      p\'        VP)                  ^ ^4      P+                  ^ 4      4      p\'        VP)                  ^ ^4      P+                  ^ 4      4      p\-        WVWpP                  V P.                  RRVR7      pV P1                  VP3                  ^ 4      4      # )	r+   r@   N©r�   )ÚepsilonÚrot_dimT)Úpreferred_attentionrJ   Úskip_reshapeÚtransformer_optionsr'   éýÿÿÿ)r   rÅ   ÚsplitrÃ   rÄ   ÚviewÚcomfyÚmodel_managementÚcast_torÇ   Úweightr�   rÈ   Úin_trainingÚ	quant_opsÚckÚrms_rope_split_halfrÁ   Úrms_rope_split_half_r   Ú	transposer0   r   rÂ   rÉ   Úsqueeze)r–   r#   Ú
rope_freqsrÔ   r¹   Úqra   ÚvÚqwÚkwÚrotr˜   s   &&&&        r   r©   ÚAttention.forward®   sb  € Ø�G‰G�A�JˆØ—-‘- Ó"×(Ñ(¨¯©°d·m±mÕ)CÈÐ(ÓL‰ˆˆaØ�F‰F�1—j‘j $§-¡-Ó0ˆØÓ!à—‘�q˜!ŸZ™Z¨¯©Ó7ˆAØ—‘�q˜!ŸZ™Z¨¯©Ó7ˆAÜ×'Ñ'×/Ñ/°·±×0BÑ0BÈ1Ï8É8Ð/ÓTˆBÜ×'Ñ'×/Ñ/°·±×0BÑ0BÈ1Ï8É8Ð/ÓTˆBØ×"Ñ" 2Õ&¨Õ*ˆCÜ×%Ñ%×1×1Ð1Ü—‘×)Ñ)×=Ñ=Ø˜*¨"·k±k·o±oÈsð >ó T‘��1ô —‘×"Ñ"×7Ñ7Ø˜*¨"·k±k·o±oÈsð 8ô Tà�!•ˆAØ�!•‰Aà—‘˜AŸF™F 1§j¡j°$·-±-Ó@ÓAˆAØ—‘˜AŸF™F 1§j¡j°$·-±-Ó@ÓAˆAä$ Q§[¡[°°AÓ%6×%@Ñ%@ÀÓ%CÓDˆÜ$ Q§[¡[°°AÓ%6×%@Ñ%@ÀÓ%CÓDˆÜ$ Q§[¡[°°AÓ%6×%@Ñ%@ÀÓ%CÓDˆÜ! !¨¯:©:È4×K_ÑK_ÐfjÐy}ð  Tgô  hˆØ�}‰}˜SŸ[™[¨›^Ó,Ð,r   )rÂ   rÄ   rÃ   rÈ   rÉ   rÇ   rÅ   rÊ   )FNNNr¬   r´   s   @@r   r½   r½   ž   s   ù‡ € ÷mð %)¸b÷ -ô -r   r½   c                   ó<   a a€ ] tR t^Ìt oRV 3R lltR tRtVtV ;t# )ÚMLPc                ó–   <€ \         SV `  4        VP                  W^,          RW4R7      V n        VP                  W!RW4R7      V n        R# )rB   Fr�   N)r�   r‘   r“   Úfc1Úfc2)r–   r—   Úffnr4   r�   r™   rš   s   &&&&&&€r   r‘   ÚMLP.__init__Í   sD   ø€ Ü‰ÑÔØ×$Ñ$ V°1­W¸5ÈÐ$Ó]ˆŒØ×$Ñ$ S°uÀEÐ$ÓYˆŽr   c                óv   € \         P                  P                  V P                  V P	                  V4      R 4      # )Úswiglu)rØ   ÚopsÚlinear_input_actrî   rí   )r–   r#   s   &&r   r©   ÚMLP.forwardÒ   s'   € Ü�y‰y×)Ñ)¨$¯(©(°D·H±H¸Q³KÀÓJÐJr   )rí   rî   r«   r¬   r´   s   @@r   rë   rë   Ì   s   ù‡ € ÷Z÷
Kò Kr   rë   c                   ó<   a a€ ] tR t^Öt oRV 3R lltR tRtVtV ;t# )Ú	AdalnProjc	                ó¢   <€ \         S	V `  4        W0n        W@n        W n        WPn        VP                  WV,          V,          R WgR7      V n        R# rŒ   )r�   r‘   ÚexpandÚ
modalitiesr—   Ú
apply_silur“   Úlinear)
r–   Út_dimr—   rù   rú   rû   r4   r�   r™   rš   s
   &&&&&&&&&€r   r‘   ÚAdalnProj.__init__×   sF   ø€ ä‰ÑÔØŒØ$ŒØŒØ$ŒØ ×'Ñ'¨¸­ÀÕ/KÐRVÐ^cÐ'ÓsˆŽr   c                ó^  € T P                  V P                  '       d    \        P                  P	                  V4      MT4      pVP                  VP                  ^ ,          V P                  ,          V P                  V P                  ,          4      pVP                  V P                  RR7      # )r+   r@   r'   )rü   rû   rD   rE   r¤   r×   r   rú   rù   r—   Úchunk)r–   Út_embr#   s   && r   r©   ÚAdalnProj.forwardà   sn   € à�K‰K°T·_·_°_œŸ™×*Ñ*¨5Ô1È%ÓPˆØ�F‰F�1—7‘7˜1•: §¡Õ/°·±¸t¿{¹{Õ1JÓKˆØ�w‰w�t—{‘{¨ˆwÓ+Ð+r   )rû   rù   r—   rü   rú   )TNNNr¬   r´   s   @@r   r÷   r÷   Ö   s   ù‡ € ÷t÷,ò ,r   r÷   c                 ó0   € W,          P                  V4      # ©N)r¡   )ÚvecsÚrowr4   s   &&&r   Ú_mod_rowr  ç   s   € à�9�<‰<˜ÓÐr   c           	      óÀ   € V FW  w  rEpWV P                  R \        W&V P                  4      ,           4      P                  \        WV P                  4      4       KY  	  V # r   )Úmul_r  r4   Úadd_)r!   ÚshiftÚscaleÚsegmentsÚar   r  s   &&&&   r   Ú_mod_scale_shiftr  ì   sN   € ã‰	ˆˆcØ	ˆAˆ�‰�Cœ( 5¨q¯w©wÓ7Õ7Ó8×=Ñ=¼hÀuÐST×SZÑSZÓ>[Ö\ñ à€Hr   c           	      ór   € V F0  w  rEpWV P                  W$V \        WV P                  4      4       K2  	  V # r  )Úaddcmul_r  r4   )r#   ÚgateÚotherr  r  r   r  s   &&&&   r   Ú	_mod_gater  ó   s6   € ã‰	ˆˆcØ	ˆAˆ�‰˜ ˜
¤H¨T¸¿¹Ó$@ÖAñ à€Hr   c                   óB   a a€ ] tR t^út oRV 3R llt/ 3R ltRtVtV ;t# )ÚRefinerBlockc
           
     óÒ   <€ \         S
V `  4        V	P                  WWxR 7      V n        V	P                  WWxR 7      V n        \        WW6WxV	R7      V n        \        WWxV	R7      V n        R# )rÀ   ©r4   r�   r™   N)	r�   r‘   rÆ   Únorm1Únorm2r½   Úattnrë   Úmlp)r–   r—   rÃ   rÄ   rï   rÁ   Úqk_epsr4   r�   r™   rš   s   &&&&&&&&&&€r   r‘   ÚRefinerBlock.__init__û   s_   ø€ Ü‰ÑÔØ×'Ñ'¨¸uÐ'ÓTˆŒ
Ø×'Ñ'¨¸uÐ'ÓTˆŒ
Ü˜f¨XÀUÐfpÔqˆŒ	Ü�v¨%È:ÔVˆŽr   c                óÂ   € V P                  V P                  V4      VR 7      P                  V4      pV P                  V P	                  V4      4      P                  V4      # ©©rÔ   )r  r  r
  r  r  )r–   r#   rÔ   s   &&&r   r©   ÚRefinerBlock.forward  sK   € à�I‰I�d—j‘j “mÐ9LˆIÓM×RÑRÐSTÓUˆØ�x‰x˜Ÿ
™
 1›Ó&×+Ñ+¨AÓ.Ð.r   )r  r  r  r  r«   r¬   r´   s   @@r   r  r  ú   s   ù‡ € ÷Wð .0÷ /ô /r   r  c                   óB   a a€ ] tR tRt oRV 3R llt/ 3R ltRtVtV ;t# )ÚTokenRefineri  c                óâ   <€ \         SV `  4        \        P                  ! \	        V4       Uu. uF  p\        W#WEWgWšVR 7	      NK  	  up4      V n        VP                  W(WšR7      V n        R# u upi )r  rÀ   N)	r�   r‘   rD   Ú
ModuleListr^   r  ÚblocksrÆ   Ú
final_norm)r–   Ú
num_layersr—   rÃ   rÄ   rï   rÁ   r  Ú	final_epsr4   r�   r™   Ú_rš   s   &&&&&&&&&&&& €r   r‘   ÚTokenRefiner.__init__	  sj   ø€ ä‰ÑÔÜ—m’mä˜:Ô&ó%(á&�ô ˜¨°sÈ%Ðku×vÙ&ñ%(ó )ˆŒð %×,Ñ,¨VÈ%Ð,Ó_ˆŽùò%(s   ­A,c                ó\   € V P                    F  pV! WR 7      pK  	  V P                  V4      # r   ©r'  r(  )r–   r#   rÔ   Úblocks   &&& r   r©   ÚTokenRefiner.forward  s)   € Ø—[”[ˆEÙ�aÔAŠAñ !à�‰˜qÓ!Ð!r   r.  r«   r¬   r´   s   @@r   r$  r$    s   ù‡ € ÷`ð .0÷ "ô "r   r$  c                   óD   a a€ ] tR tRt oRV 3R llt/ R3R ltRtVtV ;t# )ÚDiTBlocki  Nc                ó  <€ \         SV `  4        VP                  WW¼R 7      V n        VP                  WW¼R 7      V n        \        WW7V
W¼VR7      V n        \        WW¼VR7      V n        \        YQ^^TV	e   T	MTWÍR7      V n
        R# )rÀ   )rË   r4   r�   r™   r  N©rû   r4   r�   r™   )r�   r‘   rÆ   r  r  r½   r  rë   r  r÷   Ú
adaln_proj)r–   r—   rÃ   rÄ   rï   rý   rÁ   r  rû   Úadaln_dtyperË   r4   r�   r™   rš   s   &&&&&&&&&&&&&&€r   r‘   ÚDiTBlock.__init__  s‡   ø€ ä‰ÑÔØ×'Ñ'¨¸uÐ'ÓTˆŒ
Ø×'Ñ'¨¸uÐ'ÓTˆŒ
Ü˜f¨XÈ]Ø$)ÀZôQˆŒ	ä�v¨%È:ÔVˆŒÜ# E°1°aÀJØ9DÒ9P©+ÐV[Ø+1ôJˆŽr   c           
     ó"  € Vf   V P                   MTpV P                  V4      w  rxršr¼\        V P                  V4      WxV4      p\	        WV! WÔVR7      V4      p\        V P                  V4      W«V4      p\	        WV P                  V4      V4      # )N)rã   rÔ   )r  r5  r  r  r  r  r  )r–   r#   r  Úmod_segmentsrã   rÔ   Ú	attentionÚ	shift_msaÚ	scale_msaÚgate_msaÚ	shift_mlpÚ	scale_mlpÚgate_mlpr!   s   &&&&&&&       r   r©   ÚDiTBlock.forward$  s‚   € Ø!*Ò!2�D—I’I¸	ˆ	ØIMÏÉÐY^ÓI_ÑFˆ	˜h°9Ü˜TŸZ™Z¨›]¨IÀ,ÓOˆÜ�a¡9¨QÐ[nÔ#oÐq}Ó~ˆÜ˜TŸZ™Z¨›]¨IÀ,ÓOˆÜ˜ d§h¡h¨q£k°<Ó@Ð@r   )r5  r  r  r  r  )TNFNNNr¬   r´   s   @@r   r2  r2    s!   ù‡ € ÷
Jð OQÐ\`÷ Aô Ar   r2  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )Ú
FinalLayeri-  c                óT  <€ \         SV `  4        W0n        VP                  WWšR 7      V n        \        Y!^^TVe   TMT	W«R7      V n        VP                  WV,          R\        P                  V
R7      V n
        VP                  WV,          R\        P                  V
R7      V n        R# )rÀ   Nr4  Tr�   )r�   r‘   Ú	video_dimrÆ   Únormr÷   r5  r“   r   r    Ú	video_outÚ	audio_out)r–   r—   rý   rE  Ú	audio_dimrÁ   rû   r6  Ú	pdd_stepsr4   r�   r™   rš   s   &&&&&&&&&&&&€r   r‘   ÚFinalLayer.__init__.  sŸ   ø€ ä‰ÑÔØ"ŒØ×&Ñ& v¸eÐ&ÓSˆŒ	Ü# E°1°aÀJØ9DÒ9P©+ÐV[Ø+1ôJˆŒð
 $×*Ñ*¨6¸yÕ3HÈtÔ[`×[hÑ[hÐqwÐ*ÓxˆŒØ#×*Ñ*¨6¸yÕ3HÈtÔ[`×[hÑ[hÐqwÐ*ÓxˆŽr   c           
     ó   a aaaaa€ S P                  V4      w  ooVV VV3R  lpS P                  P                  P                  ^ ,          S P                  ,          oS^8X  d/   S P                  V! V4      4      S P                  V! V4      4      3# Vf   \        R4      h\        We,
          P                  4       P                  4       4      p	V\        V	^,           VP                  ^ ,          ^,
          4      ,          p
VV3R lWZ3 4       w  r¼\        VS^,
          4      p\        WË^,           4      p\        S P                  V! V4      SW¼S^ ,          4      \        S P
                  V! V4      SW¼S^,          4      3# )c                 óì   <€ V w  rpSP                  SW 4      R \        SVSP                  4      ,           ,          \        SVSP                  4      ,           P                  \        P
                  4      # r   )rF  r  r4   r¡   r   r    )Úsegr  r   r  r  r–   r  r#   s   &   €€€€r   ÚmodÚFinalLayer.forward.<locals>.mod@  sn   ø€ Ø‰IˆA�#Ø—I‘I˜a ˜fÓ%¨¬x¸¸sÀEÇKÁKÓ/PÕ)PÕQÔT\Ð]bÐdgÐin×itÑitÓTuÕu×yÑyÔz÷  {Hñ  {Hó  Ið  Ir   z6MiniMax H3 PDD heads need the sampler's sigma schedulec              3   óŒ   <"  € T F9  p\        \        R \        VS^ ,          R 4      ,
          4      S,          4      x € K;  	  R# 5i)r   N)Úroundre   r   )Ú.0r¹   r;   Úshiftss   & €€r   Ú	<genexpr>Ú%FinalLayer.forward.<locals>.<genexpr>N  s:   øé € ÐpÑ\oÐWX”uœU 3Ô)9¸!¸VÀA½YÈÓ)LÕ#LÓMÐPQÕQ×RÐRÓ\oùs   ƒAA)r5  rG  rÛ   r   rE  rH  Ú
ValueErrorÚintÚabsÚargminÚminru   Ú	_pdd_head)r–   r#   r  Ú	video_segÚ	audio_segr
   Úsample_sigmasrT  rO  ÚiÚ
sigma_nextÚstartÚstopr;   r  r  s   ff&&&&&f     @@@r   r©   ÚFinalLayer.forward;  s@  ý€ ð —‘ uÓ-‰ˆˆu÷	Ið 	Ið �N‰N×!Ñ!×'Ñ'¨Õ*¨d¯n©nÕ<ˆØ�Œ6Ø—>‘>¡# i£.Ó1°4·>±>Á#ÀiÃ.Ó3QÐQÐQð Ò ÜÐUÓVÐVÜ�Õ&×+Ñ+Ó-×4Ñ4Ó6Ó7ˆØ"¤3 q¨1¥u¨m×.AÑ.AÀ!Õ.DÀqÕ.HÓ#IÕJˆ
ÝpÐ]bÑ\oÓp‰ˆÜ�E˜1˜q�5Ó!ˆÜ�4 �Ó#ˆÜ˜$Ÿ.™.©#¨i«.¸!¸UÈ&ÐQRÍ)ÓTÜ˜$Ÿ.™.©#¨i«.¸!¸UÈ&ÐQRÍ)ÓTðVð 	Vr   )r5  rH  rF  rE  rG  )TNr&   NNNr¬   r´   s   @@r   rC  rC  -  s   ù‡ € ÷y÷Vò Vr   rC  c                 ó4  € \         P                  ! R RV^,           \         P                  R7      pR WV,          R VR ,
          V,          ,           ,          ,
          P                  4       W4 pWwP	                  4       ,          P                  V4      p\        P                  P                  WRR7      ;_uu_ 4       w  ršV	P                  VRV	P                  ^,          4      pV
P                  VR4      p\        V^4      p\        P                  P                  W^ ,          \         P                  ! RW�V,
          R W½V 4      ,           V^ ,          \         P                  ! RW�V,
          R WÍV 4      ,           4      uuRRR4       #   + '       g   i     R# ; i)	r   rq   r3   T)Úoffloadablez	n,noi->oiNzn,no->or'   )r   Úlinspacer6   Údiffrv   r¡   rØ   ró   ÚCastBiasWeightContextr   r   ru   rD   rE   rü   r   )Úheadr!   r;   rb  rc  Ú
flow_shiftÚgridÚdtr"   rÛ   rŽ   r(   ÚbrowsÚfirsts   &&&&&&        r   r\  r\  U  s.  € Ü�>Š>˜#˜s A¨¥E´·±Ô?€DØ
�
Õ! S¨J¸Õ,<ÀÕ+DÕ%DÕEÕ
E×	KÑ	KÓ	MÈeÐ	Y€BØ	�f‰f‹h�×Ñ˜1Ó€AÜ	�‰×	(Ñ	(¨¸dÐ	(×	CÔ	CÁ~ÈØ�~‰~˜a  V§\¡\°!¥_Ó5ˆØ—‘˜Q Ó#ˆÜ�E˜1“ˆÜ�}‰}×#Ñ# A¨A¥w´·²¸kÈ1ÐUZÍ]È^ÐK\Ð^bÐimÐ^nÓ1oÕ'oØ$)¨!¥H¬u¯|ª|¸IÀqÐQVÍÈÐGXÐZ_ÐfjÐZkÓ/lÕ$lón÷	 
D×	C×	CÓ	Cús   Â9CFÆF	c                   ó.   a € ] tR tRt o RtRR ltRtV tR# )ÚPackedLayoutia  zFStatic packed-sequence structure for one shape/conditioning signature.Nc                óÌ  € \        W44      w  r‰VP                  ^ ,          p
RV3.p\        P                  ! V^\        P                  R7      p\        P
                  ! V\        P                  R7      VR&   V.p. . rþ. . ppTp\        V	^ ,          4      \        V	R,          4      3p\        V4      pT;'       g    R F  pV\        V4      ,          pK  	  V'       EdÔ   V EFÌ  pV\        VR,          ,          ,           pVP                  R4      pVe·   VP                  ^,          pVV
,          pVP                  RV34       VP                  \        VVV4      4       VP                  \        P
                  ! VVV,           4      4       VP                  \        P                  ! V\        P                  R7      4       VV,          pVP                  R4      pVf   EK  VP                  R,          pVP                  RV^,          34       VP                  \        VV.VO5!  4       VP                  \        P
                  ! VVV^,          ,           4      4       VP                  \        P                  ! V^,          \        P                  R7      4       VV^,          ,          pEKÏ  	  V'       Edÿ   \        V4      pV EFì  pVR	,          pVR
8X  dý   \        VR,          VR,          4      w  ppVP                  ^ ,          p\        P                  ! V^\        P                  R7      pVVR&   VVR&   VP                  RV34       VP                  V4       VP                  \        P
                  ! VVV,           4      4       VP                  \        P                  ! V\        P                  R7      4       VV,          pVR,          pEK  VR8X  dÝ   VR,          pV^ 8”  d¸   VP                  RV^,          34       VP                  \        VV.VO5!  4       VP                  \        P
                  ! VVV^,          ,           4      4       VP                  \        P                  ! V^,          \        P                  R7      4       VV^,          ,          pV\        V4      ,          pEKó  VR9   g   EKý  VR,          pVR,          p\        VR,          VR,          4      w  pp V^ 8”  dØ   VP                  RV^,          34       VP                  \        VV\        V ^ ,          4      \        V R,          4      4      4       VP                  \        P
                  ! VVV^,          ,           4      4       VP                  \        P                  ! V^,          \        P                  R7      4       VV^,          ,          pVVP                  ^ ,          ,          pVP                  RV34       VP                  \        VVV4      4       VP                  \        P
                  ! VVV,           4      4       VP                  \        P                  ! V\        P                  R7      4       VV,          pV\        \        V4      \!        \#        V4      4      4      ,          pEKï  	  VP                  RV^,          34       VP                  \        VV.VO5!  4       VP                  \        P
                  ! VVV^,          ,           4      4       VP                  \        P$                  ! V^,          \        P                  R7      4       VV^,          ,          pW*,          p!VP                  RV!34       VP                  \        W(V4      4       VP                  \        P
                  ! VVV!,           4      4       VP                  \        P$                  ! V!\        P                  R7      4       VV!,          pVV n        \        P(                  ! V4      V n        \        P(                  ! V4      V n        \        P(                  ! V4      V n        \        P(                  ! V4      V n        \        P(                  ! V4      V n        WW4V3V n        . p"^ p#V F*  w  ppV"P                  V#V#V,           V34       V#V,          p#K,  	  V"V n        R# )r+   Útextr3   Úresolved_frame_indexr   NÚcondÚaudio_latentÚ
cond_audiorm   rn   Úlatent_hÚlatent_wÚref_imgr   ro   rp   Ú	ref_audiors   rK   rz   r'   r	   )r{   r„   rr   )r[   r   r   rg   r6   r5   re   rx   r_   ÚgetÚappendrˆ   rH   r�   r…   ru   rv   rb   ÚonesÚseq_lenrf   Úposition_idsÚimg_posÚ
img_updateÚ	audio_posÚaudio_updateÚ	signaturer  )$r–   Útext_lenrK   rx  ry  Úaudio_tÚ	keyframesÚrefsr‡   Úw_gridÚ
frame_rowsr  r€   Úposr�  r‚  rƒ  r„  r  Útarget_audio_wr}   rw   ÚkfÚcond_tÚvideo_latentr†   r;   rv  Úrtrm   Úr_framer+  Úr_w_gridÚn_videoÚseg_absÚoffs$   &&&&&&&&                            r   r‘   ÚPackedLayout.__init__d  s�  € Ü# HÓ7‰ˆØ—[‘[ •^ˆ
à˜XÐ&Ð'ˆÜ�KŠK˜ !¬5¯=©=Ô9ˆÜ—,’,˜x¬u¯}©}Ô=ˆˆ$‰Øˆcˆà  "�Ø"$ b�<ˆ	Øˆä  q¥	Ó*¬E°&¸µ*Ó,=Ð>ˆä�x“ˆØ—:�:˜2’:ˆCØ”k #Ó&Õ&ŠFñ ÷ ˆ9ô  �Ø¤-°"Ð5KÕ2LÕ"LÕL�Ø!Ÿv™v hÓ/�ØÒ+Ø%×+Ñ+¨AÕ.�BØ˜Z��AØ—O‘O V¨Q KÔ0Ø—J‘Jœ{¨2¨u°fÓ=Ô>Ø—N‘N¤5§<¢<°°S¸1µWÓ#=Ô>Ø×%Ñ%¤e§k¢k°!¼5¿:¹:Ô&FÔGØ˜1•H�CØ!Ÿv™v nÓ5�ØÕ+Ø%×+Ñ+¨BÕ/�BØ—O‘O \°2¸µ6Ð$:Ô;Ø—J‘Jœ{¨6°2ÐG¸ÓGÔHØ×$Ñ$¤U§\¢\°#°s¸RÀ!½Vµ|Ó%DÔEØ ×'Ñ'¬¯ª°B¸µFÄ%Ç*Á*Ô(MÔNØ˜2 �6•M“Cñ%  ÷( ˆ4Ü˜8“_ˆFÜ�Ø˜6•{�Ø˜7”?Ü!,¨S°­_¸cÀ*½oÓ!N‘J�G˜QØŸ™ aÕ(�AÜŸš A q´·±Ô>�AØ$�A�d‘GØ&�A�e‘HØ—O‘O Y° NÔ3Ø—J‘J˜q”MØ—N‘N¤5§<¢<°°S¸1µWÓ#=Ô>Ø×%Ñ%¤e§k¢k°!¼5¿:¹:Ô&FÔGØ˜1•H�CØ˜c•M“FØ˜W”_Ø˜]Õ+�BØ˜A”vØ Ÿ™¨°b¸1µfÐ(=Ô>ØŸ
™
¤;¨v°rÐ#K¸NÓ#KÔLØ!×(Ñ(¬¯ª°c¸3ÀÀaÅ½<Ó)HÔIØ$×+Ñ+¬E¯KªK¸¸Q½ÄeÇjÁjÔ,QÔRØ˜r A�v�˜Øœe B›iÕ'“FØÐ5×5ð ˜]Õ+�BØ˜Z��BÜ(3°C¸
µOÀSÈÅ_Ó(UÑ%�G˜XØ˜A”vØ Ÿ™¨°b¸1µfÐ(=Ô>ØŸ
™
¤;¨v°r¼5ÀÈ!ÅÓ;MÌuÐU]Ð^`ÕUaÓObÓ#cÔdØ!×(Ñ(¬¯ª°c¸3ÀÀaÅ½<Ó)HÔIØ$×+Ñ+¬E¯KªK¸¸Q½ÄeÇjÁjÔ,QÔRØ˜r A�v�˜Ø˜WŸ]™]¨1Õ-Õ-�AØ—O‘O Y° NÔ3Ø—J‘Jœ{¨2¨w¸Ó?Ô@Ø—N‘N¤5§<¢<°°S¸1µWÓ#=Ô>Ø×%Ñ%¤e§k¢k°!¼5¿:¹:Ô&FÔGØ˜1•H�CØœc¤%¨£)¬S´ÀÓ1CÓ-DÓEÕE“FñS ðX 	�‰˜ '¨A¥+Ð.Ô/Ø�
‰
”;˜v wÐ@°Ó@ÔAØ×ÑœŸš c¨3°¸1µÕ+<Ó=Ô>Ø×ÑœEŸJšJ w°¥{¼%¿*¹*ÔEÔFØˆw˜�{ÕˆàÕ'ˆØ�‰˜ 'Ð*Ô+Ø�
‰
”;˜x°Ó7Ô8Ø�‰”u—|’| C¨¨w­Ó7Ô8Ø×Ñœ%Ÿ*š* W´E·J±JÔ?Ô@Øˆw�ˆàˆŒÜ!ŸIšI c›NˆÔÜ—y’y Ó)ˆŒÜŸ)š) JÓ/ˆŒÜŸš 9Ó-ˆŒÜ!ŸIšI lÓ3ˆÔØ"¨hÀ'ÐJˆŒð
 ˆØˆÛ‰GˆD�!Ø�N‰N˜C  q¥¨$Ð/Ô0Ø�1�HŠCñ  ð  ˆŽr   )rƒ  r„  r�  r‚  r€  r  r  r…  )NN)r­   r®   r¯   r°   Ú__doc__r‘   r±   r²   )rµ   s   @r   rq  rq  a  s   ø‡ € ÙP÷u ò u r   rq  c                   óx   a a€ ] tR tRt oRV 3R lltR tR tR tR tR t	/ RRR3R	 lt
/ RRR3R
 ltRtVtV ;t# )ÚMiniMaxH3ModeliÜ  Nc                ó  <€ \         SV `  4        VV n        Wn        \	        V	4      V n        Wpn        W€n        VV n        VV n	        VR JV n
        RV P                  '       * RV P                  '       d   \        P                  MT/pWpP
                  ^ ,          ,          V P
                  ^,          ,          V P
                  ^,          ,          pVP                  VVR\        P                  VR7      V n        VP                  W�R\        P                  VR7      V n        VP                  W¡RVVR7      V n        V P                  '       d9   V P#                  R\        P$                  ! VV\        P                  R7      4       M#\'        W¼V\        P                  VVR7      V n        \*        P,                  ! 4       V n        V P.                  P#                  R\        P$                  ! V\        P                  R7      4       \1        W1VWVVVVVVVR7      V n        \*        P4                  ! \7        V4       Uu. uF  p\9        WWVWßV3/ VBR	VR
VRVRV/B NK  	  up4      V n        \=        WVVV3/ VBRVR
VRVRV/B V n        R # u upi )Nrû   r6  Tr�   Úadaln_t_tabler3   r  Úinv_freqrË   r4   r�   r™   rJ  ) r�   r‘   r4   Úhidden_sizeÚtupler   Úlatents_dimÚaudio_latents_dimÚsigma_shift_videoÚsigma_shift_audioÚuse_adaln_curvesr   r    r“   Úvideo_patch_projÚaudio_patch_projÚcondition_projÚregister_bufferr…   rŠ   Útime_embedderrD   ÚModuleÚroper$  Útoken_refinerr&  r^   r2  r'  rC  Úfinal_layer) r–   rž  r)  Útoken_refiner_num_layersÚnum_attention_headsÚattention_head_dimÚffn_hidden_sizer   r¡  r   Útext_dimÚtimestep_input_dimÚtime_embed_hidden_sizeÚtime_embed_dimÚrope_inv_freq_lenÚnorm_epsÚqk_norm_epsÚfinal_norm_epsr¢  r£  Úadaln_curve_gridrË   rJ  Úimage_modelr4   r�   r™   ÚkwargsÚcurveÚvideo_patch_dimr+  rš   s    &&&&&&&&&&&&&&&&&&&&&&&&&&&,   €r   r‘   ÚMiniMaxH3Model.__init__Ý  sŽ  ø€ ô 	‰ÑÔØˆŒ
Ø&ÔÜ 
Ó+ˆŒØ&ÔØ!2ÔØ!2ˆÔØ!2ˆÔØ 0¸Ð <ˆÔà 4×#8Ñ#8Ô8Ø°×1F×1FÐ1F¤§¢ÈEðSˆà%¯©¸Õ(:Õ:¸T¿_¹_ÈQÕ=OÕOÐRV×RaÑRaÐbcÕRdÕdˆà *× 1Ñ 1°/À;ÐUYÔaf×anÑanÐw}Ð 1Ó ~ˆÔØ *× 1Ñ 1Ð2CÐW[Ôch×cpÑcpÐyÐ 1ó  !AˆÔØ(×/Ñ/°ÈDÐX]ÐflÐ/ÓmˆÔØ× × Ð Ø× Ñ  ´%·+²+Ð>NÐP^Ôfk×fsÑfsÔ2tÕuä!-Ð.@ÐZhÜ49·M±MÈ&Ð]gô"iˆDÔä—I’I“KˆŒ	Ø�	‰	×!Ñ! *¬e¯kªkÐ:KÔSX×S`ÑS`Ô.aÔbÜ)Ð*BÐQdØ*<ÈxÐYdØ*8ÀÈfÐakômˆÔô —m’mô ˜:Ô&ó	%(ñ '�ô �[Ð7IØ#¨{ñHØ>CñHØS`ðHà ðHà)/ðHà<FõHñ 'ñ	%(ó )ˆŒô
 & kÀ?ÐTeØ&4ñGØ8=ñGØIRðGØZ_ðGØhnðGð |FòGˆÖùò%(s   È8"Jc                ó¶   € VP                   R,          V P                  8X  d   V# V P                  V P                  V^ ,          4      4      P	                  ^ 4      # )zC[B, L, text_dim] Qwen states -> [B, L, hidden] refined text embeds.r'   )r   rž  r¬  r§  r0   )r–   Útext_statess   &&r   Úpreprocess_text_embedsÚ%MiniMaxH3Model.preprocess_text_embeds  sM   € à×Ñ˜RÕ  D×$4Ñ$4Ô4ØÐØ×!Ñ! $×"5Ñ"5°kÀ!µnÓ"EÓF×PÑPÐQRÓSÐSr   c                óª  € VP                  \        P                  4      P                  V4      p\        P                  P                  V P                  P                  VR 7      pVP                  R4      VP                  ^^R4      ,          pVP                  ^R7      w  rgp\        P                  ! WgV3RR7      p	\        P                  ! W™3RR7      # )rÏ   r@   r'   )r¡   r   r    rØ   rÙ   rÚ   r«  r�  r0   r×   Úunbindrf   )
r–   r€  r�   rŒ  ÚinvÚper_axisÚt_fÚh_fÚw_fr¥   s
   &&&       r   rã   ÚMiniMaxH3Model.rope_freqs  sŸ   € à�o‰oœeŸm™mÓ,×/Ñ/°Ó7ˆÜ×$Ñ$×,Ñ,¨T¯Y©Y×-?Ñ-?ÈÐ,ÓOˆØ—=‘= Ó$ s§x¡x°°1°bÓ'9Õ9ˆØ Ÿ™¨A˜Ó.‰ˆ�#Ü�yŠy˜# C˜¨bÔ1ˆÜ�yŠy˜$˜¨2Ô.Ð.r   c                óª  € . pVP                  R\        4      p\        VP                  R^ 4      4      pVP                  R. 4       Fé  p\        VP	                  \
        P                  4      V P                  4      pVR8  d�   \
        P                  ! R4      P                  V4      p\
        P                  ! VP                  V\
        P                  R7      p	WG,          RV,
          V	P	                  VP                  4      ,          ,           pVP                  VP	                  V4      4       Kë  	  V'       d   \
        P                  ! V^ R7      # R# )	ziConcatenated visual condition rows (normalized latents -> patchified), with condition noise augmentation.Úvisual_cond_noise_augÚseedÚcond_video_latentsr   Úcpu©Ú	generatorr4   r@   N)r|  ÚVISUAL_COND_TIMESTEPrX  r$   r¡   r   r    r   Ú	GeneratorÚmanual_seedÚrandnr   r�   r}  rf   ©
r–   Úpayloadr�   r(   ÚaugrÎ  ÚzÚrÚgenÚnoises
   &&&       r   Ú_cond_video_rowsÚMiniMaxH3Model._cond_video_rows  së   € àˆØ�k‰kÐ1Ô3GÓHˆÜ�7—;‘;˜v qÓ)Ó*ˆà—‘Ð1°2Ö6ˆAÜ˜qŸt™t¤E§M¡MÓ2°D·O±OÓDˆAØ�SŒyÜ—o’o eÓ,×8Ñ8¸Ó>�ÜŸš A§G¡G°sÄ%Ç-Á-ÔP�Ø•G˜s S�y¨E¯H©H°Q·X±XÓ,>Õ>Õ>�Ø�K‰K˜Ÿ™˜V›Ö%ñ 7÷ *.Œu�yŠy˜ 1Ô%Ð7°4Ð7r   c                ó¢  € . pVP                  R \        4      p\        VP                  R^ 4      4      ^,           pVP                  R. 4       FÞ  p\        VP	                  \
        P                  4      4      pVR8  d�   \
        P                  ! R4      P                  V4      p\
        P                  ! VP                  V\
        P                  R7      p	WG,          RV,
          V	P	                  VP                  4      ,          ,           pVP                  VP	                  V4      4       Kà  	  V'       d   \
        P                  ! V^ R7      # R# )Úaudio_cond_noise_augrÎ  Úcond_audio_latentsr   rÐ  rÑ  r@   N)r|  ÚAUDIO_COND_TIMESTEPrX  r.   r¡   r   r    rÔ  rÕ  rÖ  r   r�   r}  rf   r×  s
   &&&       r   Ú_cond_audio_rowsÚMiniMaxH3Model._cond_audio_rows&  sê   € ØˆØ�k‰kÐ0Ô2EÓFˆÜ�7—;‘;˜v qÓ)Ó*¨QÕ.ˆØ—‘Ð1°2Ö6ˆAÜ˜1Ÿ4™4¤§¡Ó.Ó/ˆAØ�SŒyÜ—o’o eÓ,×8Ñ8¸Ó>�ÜŸš A§G¡G°sÄ%Ç-Á-ÔP�Ø•G˜s S�y¨E¯H©H°Q·X±XÓ,>Õ>Õ>�Ø�K‰K˜Ÿ™˜V›Ö%ñ 7÷ *.Œu�yŠy˜ 1Ô%Ð7°4Ð7r   c                óN  € VP                   pVP                  pVP                  P                  V4      p	VP                  P                  V4      p
\        VP                  \        P                  4      V P                  4      p\        VP                  \        P                  4      4      pV P                  WW4      pV P                  WW4      pTpVeT   \        P                  ! V	P                  ^ ,          VP                  ^,          \        P                  VR7      pWßV	( &   W¿V	&   TpVeV   \        P                  ! V
P                  ^ ,          VP                  ^,          \        P                  VR7      pVVV
( &   VVV
&   V P                  V4      P                  V4      pV P                  V4      P                  V4      pV^ ,          pVP                  R,          V P                   8w  d#   V P#                  V P%                  V4      VR7      p\        P                  ! VP&                  V P                   W‡R7      p^ ;ppVP(                   FW  w  pppVV,
          pVR8X  d   VVVV% K  VR9   d   VVVV,            VVV% VV,          pK?  VVVV,            VVV% VV,          pKY  	  V# )Nr�   r!  rs  r'   )ru  rz  rs   )r�   r4   r‚  r¡   r„  r$   r   r    r   r.   rÞ  rä  r…   r   r¥  r¦  rž  r¬  r§  r  r  )r–   Úvideo_xÚaudio_xÚcontextÚlayoutrØ  rÔ   r�   r4   r‚  r„  Ú
video_rowsÚ
audio_rowsÚcond_video_rowsÚcond_audio_rowsÚall_video_rowsÚall_audio_rowsÚvideo_embedÚaudio_embedrÁ  r!   ÚvoffÚaoffr  r   rm   r;   s   &&&&&&&                    r   Ú_embed_and_packÚMiniMaxH3Model._embed_and_pack3  sY  € Ø—‘ˆØ—‘ˆØ×&Ñ&×)Ñ)¨&Ó1ˆ
Ø×*Ñ*×-Ñ-¨fÓ5ˆÜ# G§J¡J¬u¯}©}Ó$=¸t¿¹ÓOˆ
Ü §
¡
¬5¯=©=Ó 9Ó:ˆ
Ø×/Ñ/°Ó@ˆØ×/Ñ/°Ó@ˆà#ˆØÒ&Ü"Ÿ[š[¨×)9Ñ)9¸!Õ)<¸j×>NÑ>NÈqÕ>QÔY^×YfÑYfÐouÔvˆNØ*9˜J˜;Ñ'Ø)3˜:Ñ&Ø#ˆØÒ&Ü"Ÿ[š[¨×);Ñ);¸AÕ)>À
×@PÑ@PÐQRÕ@SÔ[`×[hÑ[hÐqwÔxˆNØ,;ˆN˜L˜=Ñ)Ø+5ˆN˜<Ñ(à×+Ñ+¨NÓ;×>Ñ>¸uÓEˆØ×+Ñ+¨NÓ;×>Ñ>¸uÓEˆØ˜a•jˆØ×Ñ˜RÕ  D×$4Ñ$4Ô4Ø×,Ñ,¨T×-@Ñ-@ÀÓ-MØATð -ó VˆKô �KŠK˜Ÿ™¨×(8Ñ(8ÀÔUˆØˆˆˆtØ Ÿ/œ/‰JˆAˆq�$Ø�A•ˆAØ�vŒ~Ø$��!�A’ØÐ5Ô5Ø$ T¨$°­(Ð3��!�A�Ø˜•	’à$ T¨$°­(Ð3��!�A�Ø˜•	’ñ *ð ˆr   c           	     óX  € \        T;'       g    / P                  R R4      4      p	V^,          p
V	R8w  dÅ   \        VP                  RV P                  4      4      p\        VP                  RV P                  4      4      pVP	                  4       ^ ,          R,          P                  4       P                  RR7      p\        WÛV4      pWí,          P                  V
P                  4      pV^ ,          W¯,          .p\        P                  P                  V^ ,          P                  4      pV'       dk   \        P                  ! V^ ,          4      \        P                  ! V^,          4      .p\        P                  P                  V^ ,          P                  4       \        P                   P"                  P%                  V P&                  V \        P                   P)                  \        P                   P*                  P,                  V4      4      P.                  ! WW43RVRVR	V/VB pV'       d_   X^ ,          P1                  V^ ,          4       V^,          P1                  V^,          4       ?\        P                  P3                  4        MTpVe   V^ ,          V,          V^ &   Ve   V^,          V,          V^&   V	R8w  de   RV	,
          V
X,          ,          RV	R,
          X,          ,           P                  V^,          P                  4      V^,          ,          ,           V^&   V# )
Úaudio_scaler   Úminimax_h3_sigma_shift_videoÚminimax_h3_sigma_shift_audioç     @�@ç�íµ ÷Æ°>©r[  Úminimax_payloadÚdenoise_maskÚaudio_denoise_mask)re   r|  r¢  r£  ÚflattenÚclampr   r¡   r4   rØ   Úmodel_prefetchÚmalloc_graph_enabledr�   r   Ú
empty_likeÚmalloc_graph_beginÚpatcher_extensionÚWrapperExecutorÚnew_class_executorÚ_forwardÚget_all_wrappersÚ
WrappersMPÚDIFFUSION_MODELÚexecuteÚcopy_Úmalloc_graph_end)r–   r#   Útimestepré  rÔ   rþ  rÿ  r   r¼  r  Ú	audio_srcÚshift_vÚshift_aÚsigma_vÚsigma_aÚcarryÚcompile_allocationsr˜   Ú	graph_outs   &&&&&&&&,          r   r©   ÚMiniMaxH3Model.forward^  s¦  € ô �×,Ð,¨"×1Ñ1°-ÀÓEÓFˆØ�a•Dˆ	Ø�CŒ<ÜÐ/×3Ñ3Ð4RÐTX×TjÑTjÓkÓlˆGÜÐ/×3Ñ3Ð4RÐTX×TjÑTjÓkÓlˆGØ×'Ñ'Ó)¨!Õ,¨vÕ5×<Ñ<Ó>×DÑDÈÐDÓNˆGÜ& w¸ÓAˆGØÕ&×*Ñ*¨9¯?©?Ó;ˆEØ�1•�yÕ(Ð)ˆAä#×2Ñ2×GÑGÈÈ!ÍÏÉÓTÐßÜ×#Ò# A a¥DÓ)¬5×+;Ò+;¸A¸a½DÓ+AÐBˆCÜ× Ñ ×3Ñ3°A°aµD·K±KÔ@Ü×+Ñ+×;Ñ;×NÑNØ�M‰MØÜ×#Ñ#×4Ñ4´U×5LÑ5L×5WÑ5W×5gÑ5gÐi|Ó}ó
÷ ‰'ð	ð ˜wñ	^ð N]ð	^ð
  ,ð^ð
 ASð^ð
 W]ñ^ˆ	÷ Ø��F�L‰L˜ 1�Ô&Ø��F�L‰L˜ 1�Ô&ØÜ× Ñ ×1Ñ1Õ3àˆCð Ò#Ø˜•V˜lÕ*ˆC�‰FØÒ)Ø˜•VÐ0Õ0ˆC�‰Fà�CŒ<à˜U•{ y°5Õ'8Õ9Ø ¨¥¨wÕ6Õ6×:Ñ:¸3¸q½6¿<¹<ÓHÈ3ÈqÍ6ÕQõRˆC�‰Fàˆ
r   c                óÞ  aIaJ€ V^ ,          V^,          r©V	P                   ^,          V	P                   ^,          V	P                   ^,          rÜp\        P                  P                  P	                  W�P
                  4      p	V	P                   ^ ,          ^8w  d   \        R4      hT;'       g    / pV	P                  pVP                  pV	P                   ^,          V	P                   ^,          V	P                   ^,          pppV
P                   R/,          pVP                   ^,          pVP                  R4      pVe   VP                  VVVVV38w  d1   \        VVVVVVP                  R4      VP                  R4      R7      pVVR&   \        VP                  RV P                  4      4      p\        VP                  R	V P                  4      4      pVP                  4       ^ ,          R
,          P                  4       P!                  RR7      p\        RV,
          4      p\        R\#        VVV4      ,
          4      p\        VP                  R\$        4      4      p\        VP                  R\&        4      4      pRVRVRVR\)        VV4      R\)        VV4      R\)        VV4      R\)        VV4      /p\)        V\$        4      p\)        V\&        4      p Rp!Rp"Ve«   \+        VR0,          P-                  \.        P0                  4      VVV4      p#V#eu   RV#VP-                  V#P                  4      ,          ,
          P!                  VR7      p$V$P3                  4       P5                  4       ^8X  d   \        V$^ ,          4      VR&   MT$p!Ve¼   VR0,          P-                  \.        P0                  4      P7                  R/4      p#\9        V#R18¬  P;                  4       4      '       ge   RV,
          p%RV#V%,          ,
          P!                  V R7      p$V$P3                  4       P5                  4       ^8X  d   \        V$^ ,          4      VR&   MT$p"\=        VV0VP>                   U&U'u0 uF  w   p&p'VV',          kK  	  up'p&,          V!e(   \A        V!P3                  4       PC                  4       4      M	\A        4       ,          V"e(   \A        V"P3                  4       PC                  4       4      M	\A        4       ,          4      p(\E        V(4       U)U*u/ uF	  w  p)p*V*V)bK  	  up*p)oJR^R^ R^R^ R^ R^R^/p+VJ3R lp,VP                  R4      p-. p.VP>                   EFO  w  p/p0p1SJVV1,          ,          ^,          p2V1R8X  d©   V-e¥   V-PG                  R/4      PC                  4       p3^ p4\I        ^V0V/,
          ^,           4       Fc  p)V)V0V/,
          8X  g   V3V),          V3V4,          8w  g   K(  V.PK                  V/V4,           V/V),           V2\M        V3V4,          4      ,           34       T)p4Ke  	  KÎ  V1R8X  d)   V!e%   V.PK                  V/V0V,! V!V+V1,          4      34       Ký  V1R8X  d*   V"e&   V.PK                  V/V0V,! V"V+V1,          4      34       EK-  V.PK                  V/V0V2V+V1,          ,           34       EKR  	  V PO                  WšVVWä4      p5\.        PP                  ! V(\.        P0                  VR7      p6V PR                  '       dç   \        PT                  PW                  V PX                  VR7      p7V6P!                  RR4      V7P                   ^ ,          ^,
          ,          p8V8P[                  4       P]                  4       P!                  V7P                   ^ ,          ^,
          R7      p9\.        P^                  ! V7V9,          V7V9^,           ,          V8V9,
          Pa                  ^4      4      p:M V Pc                  V64      P-                  V4      p:\e        V Pg                  VPh                  V4      V4      p;VP                  R/ 4      p<V<P                  R/ 4      p=\        Pj                  Pm                  \o        V Pp                  4      Wô4      p>\E        V Pp                  4       Fs  w  p)oI\        Pj                  Ps                  V>VSIRR 7       V)VR!&   R"V)3V=9   d0   VI3R# lp?V=R"V)3,          ! R$V5R%V:R&V.R'V;RVR(V/R)V?/4      R$,          p5Kf  SI! V5V:V.V;VR*7      p5Ku  	  \        Pj                  Ps                  V>VRRR 7       \u        R+ VP>                   4       4      w  p@pAp&\u        R, VP>                   4       4      w  pBpCp&V!e   X@XAV,! V!^ 4      ^,          3pDMX@XASJVR,          ,          3pDV"e   XBXCV,! V"^ 4      ^,          3pEMXBXCSJVR,          ,          3pEV Pw                  V5V:XDXEVVP                  R-4      VV34      w  pFp/\y        VFVV^,          V^,          V Pz                  V P
                  4      pGVGR.R.RV1RV1RV13,          pG\}        V/4      pHVGP-                  V	P                  4      ) VHP-                  V
P                  4      ) .# u up'p&i u up*p)i )2r+   z MiniMax H3 supports batch size 1rê  Nrˆ  r‰  )rˆ  r‰  Úminimax_h3_layoutrù  rú  rû  rü  rý  r   rÍ  rá  rs  rs   ro   ru  rz  rw  r{  )ru   c                 ó0  <€ V P                  4       p\        P                  ! VP                  4        Uu. uF  pSV,          ^,          V,           NK  	  up\        P                  V P
                  R7      pV\        P                  ! W 4      ,          # u upi )r¿   r�   )Úuniquer   rd   ÚtolistÚlongr�   Úsearchsorted)Úrows_tÚtagÚlevelsrå   r   Út_rows   &&   €r   Úrows_to_mod_indexÚ2MiniMaxH3Model._forward.<locals>.rows_to_mod_indexË  sm   ø€ à—]‘]“_ˆFÜ—<’<¸V¿]¹]¼_Ó M¹_¸  q¥¨A¥°×!3Ð!3¹_Ñ MÜ&+§j¡j¸¿¹ôHˆDàœ×*Ò*¨6Ó:Õ;Ð;ùò !Ns   ´ BÚtext_token_tagsr�   rÏ   rq   Úpatches_replaceÚditr/  )Úmalloc_scopeÚblock_indexÚdouble_blockc                 óˆ   <€ R S! V R ,          V R,          V R,          V R,          V R,          V P                  R4      R7      /# )Úimgr  r9  rã   rÔ   r:  )rÔ   r:  )r|  )r§   r/  s   &€r   Ú
block_wrapÚ+MiniMaxH3Model._forward.<locals>.block_wrapü  sN   ø€ Ø!¡5¨¨e­°d¸7µmÀTÈ.ÕEYÐ[_Ð`lÕ[mØ=AÐBWÕ=XÐdh×dlÑdlÐmxÓdyô${ð |ð |r   r/  r  r9  rã   rÔ   Úoriginal_blockr!  c              3   óD   "  € T F  q^,          R8X  g   K  Vx € K  	  R# 5i)rB   rs   Nr	   ©rS  r¹   s   & r   rU  Ú*MiniMaxH3Model._forward.<locals>.<genexpr>  ó   é € ÐG¡O˜q¸µt¸w±Ÿš£Oùó   ‚ –
 c              3   óD   "  € T F  q^,          R8X  g   K  Vx € K  	  R# 5i)rB   ro   Nr	   r4  s   & r   rU  r5  	  r6  r7  r_  r{   r'   )r+   r+   r   )?r   rØ   ÚldmÚ
common_ditÚpad_to_patch_sizer   rW  r�   r4   r|  r…  rq  re   r¢  r£  r  r  r   rÓ  rã  ru   rP   r¡   r   r    r  Únumelr   rH   rI   Úsortedr  Úsetr  Ú	enumerater×   r^   r}  rX  rõ  rd   r¤  rÙ   rÚ   rœ  Úfloorr   Úlerpr0   r©  r»   rã   r€  r  Úmake_prefetch_queueÚlistr'  Úprefetch_queue_popÚnextr­  r)   r   r1   )Kr–   r#   r  ré  rÔ   rþ  rÿ  r   r¼  rç  rè  Úorig_tÚorig_hÚorig_wrØ  r�   r4   rK   rL   rM   r‡  r†  rê  r  r  r  Út_vÚt_aÚvis_augÚaud_augÚseg_tÚt_pin_vÚt_pin_aÚvideo_rows_tÚaudio_rows_trN   r"  r  r+  ra   Úunique_tr`  r    Úseg_tagr&  Ú	text_tagsr9  r  r   rm   Úrow_baseÚtagsÚ	run_startr!   Út_valsrº   rŒ  Úi0r  rã   r)  Úblocks_replaceÚprefetch_queuer0  ÚvaÚvbÚaaÚabr]  r^  rå   rG  rH  r/  r%  sK   &&&&&&&&,                                                                @@r   r
  ÚMiniMaxH3Model._forward‰  sE	  ù€ Ø˜Q�4  1¥�Ø!(§¡¨qÕ!1°7·=±=ÀÕ3CÀWÇ]Á]ÐSTÕEU˜ˆÜ—)‘)×&Ñ&×8Ñ8¸Ç/Á/ÓRˆØ�=‰=˜Õ˜qÔ ÜÐ?Ó@Ð@Ø!×'Ð' RˆØ—‘ˆØ—‘ˆà!(§¡¨qÕ!1°7·=±=ÀÕ3CÀWÇ]Á]ÐSTÕEU˜�%ˆØ—-‘- Õ#ˆØ—=‘= Õ#ˆà—‘˜XÓ&ˆØŠ>˜V×-Ñ-°(¸HÀeÈUÐT[Ð1\Ô\Ü! (¨H°e¸UÀGØ,3¯K©K¸Ó,DØ'.§{¡{°6Ó':ô<ˆFð 4:ÐÐ/Ñ0ô Ð+×/Ñ/Ð0NÐPT×PfÑPfÓgÓhˆÜÐ+×/Ñ/Ð0NÐPT×PfÑPfÓgÓhˆØ×#Ñ#Ó% aÕ(¨6Õ1×8Ñ8Ó:×@Ñ@ÀTÐ@ÓJˆÜ�C˜'•MÓ"ˆÜ�CÔ*¨7°G¸WÓEÕEÓFˆô ˜Ÿ™Ð$;Ô=QÓRÓSˆÜ˜Ÿ™Ð$:Ô<OÓPÓQˆØ˜˜g s¨G°SØœ˜S 'Ó*¨I´s¸3ÀÓ7HØœs 3¨Ó0°+¼sÀ3ÈÓ?PðRˆô �cÔ/Ó0ˆÜ�cÔ.Ó/ˆØˆØˆØÒ#Ü ¨TÕ 2× 5Ñ 5´e·m±mÓ DÀhÐPUÐW\Ó]ˆAØŠ}Ø  G§J¡J¨q¯x©xÓ$8Õ 8Õ8×?Ñ?ÀGÐ?ÓL�Ø—=‘=“?×(Ñ(Ó*¨aÔ/Ü%*¨6°!­9Ó%5�E˜'’Nà#)�LØÒ)Ø" 4Õ(×+Ñ+¬E¯M©MÓ:×BÑBÀ2ÓFˆAÜ˜˜j™×-Ñ-Ó/×0Ò0Ø �)�Ø  G¥Õ+×2Ñ2°wÐ2Ó?�Ø—=‘=“?×(Ñ(Ó*¨aÔ/Ü%*¨6°!­9Ó%5�E˜'’Nà#)�Lä˜3 ˜*ÀÇÂÔ'PÁ±W°Q¸¸1¨¨a¯¨ÁÒ'PÕPØDPÒD\œS ×!4Ñ!4Ó!6×!=Ñ!=Ó!?Ô@ÔbeÓbgõiàDPÒD\œS ×!4Ñ!4Ó!6×!=Ñ!=Ó!?Ô@ÔbeÓbgõió jˆô #,¨HÔ"5Ô6Ñ"5™$˜!˜Q��A’Ñ"5Ò6ˆØ˜1˜g q¨'°1°f¸aÀÈAÈ|Ð]^Ð`kÐmnÐoˆõ	<ð —K‘KÐ 1Ó2ˆ	ØˆØ Ÿ/�/‰JˆAˆq�$Ø˜U 4�[Õ)¨AÕ-ˆHØ�vŒ~ )Ò"7à —~‘~ bÓ)×0Ñ0Ó2�Ø�	Ü˜q ! a¥%¨!¥)Ö,�AØ˜A �E”z T¨!¥W°°YµÖ%?Ø$×+Ñ+¨Q°­]¸AÀ½EÀ8ÌcÐRVÐW`ÕRaÓNbÕCbÐ,cÔdØ$%š	ó -ð ˜” \Ò%=Ø×#Ñ# Q¨Ñ+<¸\È7ÐSWÍ=Ó+YÐ$ZÖ[Ø˜” \Ò%=Ø×#Ñ# Q¨Ñ+<¸\È7ÐSWÍ=Ó+YÐ$Z×[à×#Ñ# Q¨¨8°g¸dµmÕ+CÐ$D×Eñ *ð" × Ñ  °7¸FÀGÓaˆä—’˜h¬e¯m©mÀFÔKˆØ× × Ð ä×*Ñ*×2Ñ2°4×3EÑ3EÈfÐ2ÓUˆEØ—,‘,˜s CÓ(¨E¯K©K¸­N¸QÕ,>Õ?ˆCØ—‘“×!Ñ!Ó#×)Ñ)¨e¯k©k¸!­n¸qÕ.@Ð)ÓAˆBÜ—J’J˜u R�y¨%°°Qµ­-¸#À½(×9MÑ9MÈaÓ9PÓQ‰Eà×&Ñ& vÓ.×1Ñ1°%Ó8ˆEô )¨¯©¸×9LÑ9LÈfÓ)UÐW\Ó]ˆ
ð .×1Ñ1Ð2CÀRÓHˆØ(×,Ñ,¨U°BÓ7ˆÜ×-Ñ-×AÑAÄ$ÀtÇ{Á{ÓBSÐU[ÓqˆÜ! $§+¡+Ö.‰HˆAˆuÜ× Ñ ×3Ñ3°NÀFÈEÐ`gÐ3ÔhØ12Ð Ñ.Ø Ð" nÔ4õ|ð # N°AÐ#6Ö7Ø˜A˜w¨¨~¸|È\Ð[eØ˜vÐ'<Ð>QðSà% zÐ2ó4ð 5:õ;’ñ
 ˜!˜U L°*ÐReÔf’ñ /ô 	×Ñ×/Ñ/°ÀÈÐ[bÐ/Ôcô ÑG F§O¢OÓGÓG‰	ˆˆB�ÜÑG F§O¢OÓGÓG‰	ˆˆB�ØÒ#Ø˜RÑ!2°<ÀÓ!CÀqÕ!HÐI‰Ià˜R  u¨W¥~Õ!6Ð7ˆIØÒ#Ø˜RÑ!2°<ÀÓ!CÀqÕ!HÐI‰Ià˜R  u¨W¥~Õ!6Ð7ˆIØ×Ñ  5¨)°YÀÐI\×I`ÑI`ÐapÓIqÐt{ð  ~Eð  tFó  G‰ˆˆ1ä$ Q¨°%¸1µ*¸eÀq½jÈ$×JZÑJZÐ\`×\kÑ\kÓlˆ	Ø˜a  G V G¨W¨f¨W°g°v°gÐ=Õ>ˆ	Ü  “Oˆ	à—‘˜gŸm™mÓ,Ð,¨y¯|©|¸G¿M¹MÓ/JÐ.JÐKÐKùóg (Qùó 7s   Ñi#Ó>i))r¡  r¦  r'  r§  r4   r­  rž  r   r   r«  r£  r¢  r©  r¬  r¤  r¥  )é   é2   rB   é8   é€   i 8  é   é    ©r&   rB   rB   i   é   ra  i€
  é   çñhãˆµøä>rj  rj  g      (@g      @NFr&   NNNN)r­   r®   r¯   r°   r‘   rÂ  rã   rÞ  rä  rõ  r©   r
  r±   r²   r³   r´   s   @@r   rš  rš  Ü  sc   ù‡ € ÷)GòVTò/ò8ò8ò)ðV ACÐTXÐgkð  AEô )ðV BDÐUYÐhlð  BF÷ OLô OLr   rš  )r&   rC   rC   rC   rC   g«ªªªªªú?)rg  )re  rg  )rB   )1r˜  rT   r   Útorch.nnrD   Úcomfy.ldm.common_ditrØ   Úcomfy.model_managementÚcomfy.model_prefetchÚ	comfy.opsÚcomfy.patcher_extensionÚcomfy.quant_opsÚcomfy.ldm.modules.attentionr   r   r   r`   r_   rÓ  rã  r   r$   r)   r.   r1   r<   rP   r[   rb   rk   rx   r�   rˆ   rª  rŠ   r»   r½   rë   r÷   r  r  r  r  r$  r2  rC  r\  rq  rš  r	   r   r   Ú<module>rs     sN  ðñó  ã Ý ã Û Û Û Û Û ß eÑ eà!€Ø€ØÐ ØÐ ò=ô6ô4ò9ôMò
]òòcòFòbò	òòôD�2—9‘9ô Dò ô+-�—	‘	ô +-ô\Kˆ"�)‰)ô Kô,�—	‘	ô ,ò"ò
òô/�2—9‘9ô /ô"�2—9‘9ô "ôAˆr�y‰yô Aô,%V�—‘ô %VòP	n÷x ñ x ôv|L�R—Y‘Yö |Lr   