+
    „°ñj� ã                   óX  € ^ RI t ^ RIHt ^ RIHu Ht ^ RIHtHt ^ RI	H	t	 ^ RI
t
^ RIt^ RIt^ RIt^ RIt^ RIt^ RIt^ RIHt ^ RIHt ^ RIHtHtHt ^ RIHt ^ RIt^RIHtHtH t H!t!H"t"H#t#H$t$H%t%H&t&H't'H(t(H)t)H*t*H+t+ ] ! R	 R
]!4      4       t, ! R R4      t-R^. ..3R^. ...3R^. ....3R^. .....3R^. . .. .3R^. . . .. . .3R^. . .. .. .3R^. .. .. .. .3RRa/	t.. t/]0! ^@4       Fž  t1^ .]0! ^^4       U u. uF$  p ]1^V ^,
          ,          ,          '       g   K"  V NK&  	  up ,           ^.,           t2]/Pg                  ]4;QJ d"    . R ]5! ]2]2R,          4       4       F  NK  	  5M! R ]5! ]2]2R,          4       4       4      4       K   	  R t6R t7R t8] ! R R4      4       t9]:! R^R^^^^^RR 7	      t;R!]:! RR"]:! R#^R$^R%7      R&7      R']:! R(R)^^^^R*7      R+]:! R,R-^ ^^^ R*7      R.]:! RR/^ ^^^ R0]:! R1R2^R37      R47      R5]:! R6R7^@^^^0R0]:! R1R2^R37      R47      /t</ 3R8 lt= ! R9 R:]&4      t>RbR; lt? ! R< R=]P€                  4      tAR> tB ! R? R@]P€                  4      tC ! RA RB]P€                  4      tD ! RC RD]$4      tE ! RE RF]P€                  4      tF ! RG RH]P€                  4      tG ! RI RJ]P€                  4      tH ! RK RL]P€                  4      tI ! RM RN]P€                  4      tJ ! RO RP]P€                  4      tK ! RQ RR]P€                  4      tL ! RS RT]P€                  4      tM ! RU RV]] ] P                  P€                  4      tN ! RW RX]Pž                  4      tP ! RY RZ]P¢                  4      tR ! R[ R\]P¦                  4      tT ! R] R^]Pª                  4      tVRcR_ ltWRdR` ltXR# u up i )eé    N)Ú	dataclassÚfield)Útqdm)Úis_available)ÚQuantizedTensor)ÚAttentionTensorContainerÚComfyAttentionÚoptimized_attention_for_device)Úsd1_clip)Ú	SPEC_ROWSÚ	BaseLlamaÚBaseGenerateÚFixedKVÚFixedKVCacheÚInt8FixedKVCacheÚLlama2_ÚMLPÚRMSNormÚapply_penaltyÚ
apply_ropeÚpenalty_activeÚprecompute_freqs_cisÚrope_matrixc                   ó    a € ] tR t^t o RtRtRtRtRtRt	Rt
RtRt^ t]R 4       tR tR tR tRR lt]R 4       t]R 4       tV 3R	 ltR
tV tR# )ÚLinearKVNc                ó¾  € \         P                  \         P                  r!\        P                  ! \        \        V4      4      R.V,          ,           \        \        V4      4      ,           \        P                  R7      p\        P                  ! ^V3\        P                  R7      p\        P                  ! V 4      P                  R8H  pR\        P                  ! V3\        P                  V R7      RV'       d   VP                  4       MTRV'       d=   \        P                  P                  4       \        P                  P                  4       .MRRRR	^ R
VRRRR/# )é   ©ÚdtypeÚcudaÚctl©r   ÚdeviceÚhostÚcopiedNÚstepÚparityÚsingleÚpathÚtreeéÿÿÿÿ)Úcomfy_kitchenÚgated_delta_ctl_intsÚgated_delta_slot_maxÚtorchÚtensorÚlistÚrangeÚint32Úzerosr#   ÚtypeÚ
pin_memoryr    ÚEvent)r#   ÚnÚsmr(   r$   r    s   &     Ú>C:\Ai_Coding\apps\studio\ComfyUI\comfy\text_encoders\qwen35.pyÚdeferred_trackerÚLinearKV.deferred_tracker(   s  € ô ×2Ñ2´M×4VÑ4Vˆ2Ü—’œd¤5¨£9›o°°°rµ	Õ9¼DÄÀrÃ»OÕKÔSX×S^ÑS^Ô_ˆÜ�{Š{˜A˜q˜6¬¯©Ô5ˆä�|Š|˜FÓ#×(Ñ(¨FÑ2ˆØ”u—{’{ A 4¬u¯{©{À6ÔJÈF×imÐTX×TcÑTcÔTeÐswØÇdœ5Ÿ:™:×+Ñ+Ó-¬u¯z©z×/?Ñ/?Ó/AÑBÐPTÐV\Ð^bÐdlÐnoÐqyð  |Bð  DJð  LPð  RXð  Z^ð_ð 	_ó    c                óB   € V P                   ^ 8„  ;'       d
    V\        8*  # )r   )Úindexr   )ÚselfÚ
num_tokenss   &&r:   Údecode_stepÚLinearKV.decode_step3   s   € Ø�z‰z˜A‰~×9Ð9 *´	Ñ"9Ð9r=   c                óì  € V P                   pVR ,          V P                  V38w  Ed§   V P                  V3VR &   VR;;,          ^,          uu&   VR,          e&   VR,          VR,          ,          P                  4        VR,          VR,          ,          pV P                  V^ &   VR,          V^&   VR,          VR&   VR,          eM   \        P
                  ! VR,          \        P                  R7      V^^\        VR,          4      ,           % RVR&   VR	,          e2   VR	,          P                  V\        VR	,          P                  4      ) R% V P                  P                  VR
R7       VR,          eX   VR,          VR,          ,          P                  \        P                  P                  V P                  P                  4      4       V P                  V4      '       d	   Wn        R# ^ V n        R# )r&   r'   r%   Nr$   r(   :é   NNr)   r   r*   T)Únon_blocking)Úctl_trackerr?   ÚsynchronizeÚuncommittedr/   r0   r3   Úlenr!   Úcopy_Úrecordr    Úcurrent_streamr#   rB   )r@   rA   Útr$   s   &&  r:   ÚprepareÚLinearKV.prepare6   s}  € ð ×ÑˆØˆV�9˜Ÿ™ ZÐ0Õ0ØŸ™ ZÐ0ˆAˆf‰IØˆh�K˜1Õ‹Kà��{Ò&Ø�(•˜A˜h�KÕ(×4Ñ4Ô6Ø�V•9˜Q˜x�[Õ)ˆDØ×&Ñ&ˆD�‰GØ˜•kˆD�‰GØ˜•{ˆD�‰HØ��yÒ$Ü-2¯\ª\¸!¸F½)Ì5Ï;É;Ô-W��Q�qœ3˜q �y›>Õ)Ð*Ø ��&‘	Ø��yÒ$Ø-.¨v­Y¯]©]�”c˜!˜F�)Ÿ-™-Ó(Ð(Ð)Ð*Ø�H‰H�N‰N˜4¨dˆNÔ3Ø��{Ò&Ø�(•˜A˜h�KÕ(×/Ñ/´·
±
×0IÑ0IÈ$Ï(É(Ï/É/Ó0ZÔ[Ø)-×)9Ñ)9¸*×)EÒ)E˜:ÖÈ1ˆÖr=   c                ó"   € W P                   R &   R# )r)   N)rG   )r@   Úbaser)   s   &&&r:   Úcommit_pathÚLinearKV.commit_pathN   s   € à#'×Ñ˜Ó r=   c                ój   € V ;P                   V,          un         V ;P                  V,          un        R # ©N)r?   rI   )r@   Údiscards   &&r:   ÚrollbackÚLinearKV.rollbackR   s!   € à�
Š
�gÕ�
Ø×Ò˜GÕ#×r=   c                ó   € V P                   # rV   ©Úkey©r@   s   &r:   Ú
conv_stateÚLinearKV.conv_stateW   s   € à�x‰xˆr=   c                ó   € V P                   # rV   ©Úvaluer]   s   &r:   Úrecurrent_stateÚLinearKV.recurrent_state[   s   € à�z‰zÐr=   c                ó2  <€ V ^8„  d   Qh/ S[ P                  ;R&   S[ P                  ;R&   S[ P                  ;R&   S[ P                  ;R&   S[ P                  ;R&   S[ P                  ;R&   S[ P                  ;R&   S[ P                  ;R&   S[;R	&   S[;R
&   # )rE   Úg_decayÚdt_biasÚnorm_weightÚqkv_bufÚproj_bufÚ	gates_bufÚ	sumsq_bufr!   rG   rI   )r/   ÚTensorÚdictÚint)ÚformatÚ__classdict__s   "€r:   Ú__annotate__ÚLinearKV.__annotate__   s§   ø‡ ‚ ñ �\‰\Ñ ñ ñ �\‰\Ñ ñ	 ñ
 —‘Ñ$ñ ñ �\‰\Ñ ñ ñ �l‰lÑ!ñ ñ �|‰|Ñ"ñ ñ �|‰|Ñ"ñ ñ 
�‰Ññ ñ Ññ ñ Ñò r=   )rI   ©r   )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__rf   rg   rh   ri   rj   rk   rl   r!   rG   rI   Ústaticmethodr;   rB   rO   rS   rX   Úpropertyr^   rc   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__©rq   s   @r:   r   r      s”   ø‡ € ð !€GØ €GØ $€Kð !€GØ!€HØ"€IØ"€IØ€CØ€KØ€Kàñ_ó ð_ò:òMò0(ô$ð
 ñó ðð ñó ð÷K ƒ r=   r   c                   ó0   a € ] tR t^`t o RtR tR tRtV tR# )Ú
VerifyTreea\  Shape of one MTP verify step: draft tokens in a tree rooted at the committed next token.

Built from nested child lists. A node's first child is the MTP argmax, later children its
runner-ups, and only argmax-chain nodes have children. Rows are numbered depth-first, first
child first, so the chain is rows 0..chain and no row sits above its depth.
c                ó\   € W0n         W n        R ;V n        V n        V P	                  V4       R # rV   )r#   ÚrowsÚmaskÚ	positionsÚupdate)r@   ÚspecÚcapacityr#   s   &&&&r:   Ú__init__ÚVerifyTree.__init__h   s&   € ØŒØŒ	Ø%)Ð)ˆŒ	�D”NØ�‰�DÖr=   c           	     ó  a a
€ . . . uS n         S n        S n        V
V 3R  lo
S
! VR4       \        S P                   4      p^ S n        S P                  S P                  ,          '       d,   S P                  S P                  ,          ^ ,          S n        KN  \        R S P                   4       4      S n        S P                   P                  R.S P                  V,
          ,          4       S P                  P                  R \        S P                  V,
          4       4       4       S P                  P                  ^ .S P                  V,
          ,          4       . p\        S P                  4       FC  p^ TreV^ 8¼  d&   V^V,          ,          pS P                   V,          pK,  VP                  V4       KE  	  \        P                  ! V\        P                  S P                  R7      pS P                  f	   VS n        MS P                  P!                  V4       . p\        S P                  ^,           4       F_  pTP                  TS P                  V,          '       d   ^ M^ ,          4       VP                  S P                  V,          R,          4       Ka  	  \"        P$                  p\        P                  ! S P                   R.VS P                  ,
          ,          ,           V,           \'        \        W(4      4      ,           \        P                  R7      S n        \        P                  ! S P                  .\        P*                  S P                  R7      p	S P,                  f
   V	S n        R# S P,                  P!                  V	4       R# )c                 óŠ  <€ \        SP                  4      pSP                  P                  V4       SP                  P                  . 4       SP                  P                  V^ 8  d   ^ MSP                  V,          ^,           4       V^ 8¼  d#   SP                  V,          P                  V4       V  F  pS! W24       K  	  R# )r   N)rJ   ÚparentÚappendÚchildrenÚdepth)ÚnoderŒ   ÚrÚchildÚaddr@   s   &&  €€r:   r“   ÚVerifyTree.update.<locals>.addr   sŒ   ø€ Ü�D—K‘KÓ ˆAØ�K‰K×Ñ˜vÔ&Ø�M‰M× Ñ  Ô$Ø�J‰J×Ñ 6¨A¤:™a°4·:±:¸fÕ3EÈÕ3IÔJØ˜Œ{Ø—‘˜fÕ%×,Ñ,¨QÔ/Û�Ù�E–ó r=   c              3   ó8   "  € T F  p\        V4      x € K  	  R # 5irV   )rJ   )Ú.0Úcs   & r:   Ú	<genexpr>Ú$VerifyTree.update.<locals>.<genexpr>�   s   é € Ð8©- Qœ#˜aŸ&˜&«-ùs   ‚c              3   ó&   "  € T F  p. x € K	  	  R # 5irV   © )r–   Ú_s   & r:   r˜   r™   ƒ   s   é € ÐBÑ)A A�RÓ)Aùs   ‚r"   Nºr   NNr   r+   )rŒ   rŽ   r�   rJ   ÚchainÚmaxÚfanoutÚextendr‚   r2   r�   r/   r0   r3   r#   rƒ   rK   r,   r.   r1   r!   Úlongr„   )r@   r†   Úcountrƒ   r‘   ÚbitsÚaÚprogr9   r„   r“   s   f&        @r:   r…   ÚVerifyTree.updaten   sc  ù€ à13°R¸Ð.ˆŒ�T”] D¤Jö	ñ 	ˆD�"ŒÜ�D—K‘KÓ ˆØˆŒ
Ø�m‰m˜DŸJ™J×'Ô'ØŸ™ t§z¡zÕ2°1Õ5ˆDŽJÜÑ8¨$¯-ª-Ó8Ó8ˆŒØ�‰×Ñ˜B˜4 4§9¡9¨uÕ#4Õ5Ô6Ø�‰×ÑÑB¬¨t¯y©y¸5Õ/@Ô)AÓBÔBØ�
‰
×Ñ˜1˜# §¡¨UÕ!2Õ3Ô4àˆÜ�t—y‘yÖ!ˆAØ˜�!Ø�q”&Ø˜˜Q�•�Ø—K‘K •N’Ø�K‰K˜Öñ "ô �|Š|˜D¬¯©¸D¿K¹KÔHˆØ�9‰9ÒØˆD�Ià�I‰I�O‰O˜DÔ!ð ˆÜ�t—z‘z A•~Ö&ˆAØ�K‰K˜ 4§=¡=°×#3Ô#3™R¸Õ;Ô<Ø�K‰K˜Ÿ™ aÕ(¨Õ,Ö-ñ 'ô ×/Ñ/ˆÜ—<’< §¡¨r¨d°b¸4¿9¹9µnÕ.EÕ EÈÕ LÌtÔTYÐZ_ÓTdÓOeÕ eÔmr×mxÑmxÔyˆŒÜ—L’L $§*¡* ´U·Z±ZÈÏÉÔTˆ	Ø�>‰>Ò!Ø&ˆDŽNà�N‰N× Ñ  Ö+r=   )
rž   rŽ   r!   r�   r#   r    rƒ   rŒ   r„   r‚   N)	ru   rv   rw   rx   Ú__doc__rˆ   r…   r|   r}   r~   s   @r:   r€   r€   `   s   ø‡ € ñò÷0,ð 0,r=   r€   Ú2Ú3Ú4Ú5Útree2s1Útree2s2Útree3s1Ú	tree4s1m8Úautoc              #   ó6   "  € T F  w  rW!,
          x € K  	  R # 5irV   r›   )r–   r¥   Úbs   &  r:   r˜   r˜   ²   s   é € ÐAÑ+@¡4 1˜ŸšÓ+@ùs   ‚r�   c                 óŒ   € . p\        V 4       F-  pV.\        V^,
          4       Uu. uF  p. NK  	  up,           pK/  	  V# u upi rt   )Úreversedr2   )Úwidthsr�   Úwidthrœ   s   &   r:   Ú	tree_specr¸   µ   sF   € Ø€DÜ˜&Ö!ˆØˆv¤U¨5°1­9Ô%5Ó6Ñ%5 ›Ñ%5Ñ6Õ6Šñ "à€Kùò 7s   §Ac                óX  aaa€ . oR.^,          pV FY  p\        V4      p\        WT4       UUu. uF#  w  rxV^V,          ,           V^,           ,          NK%  	  pppSP                  V4       K[  	  VVV3R lp	\        \        V	R7      p
V	! V
4      RV	! V 4      ,          8”  d   V
# T # u uppi )zNReallocate seven draft rows using conditional rank hits and measured GPU cost.ç      À?c                 óÈ   <€ R R r!\        V S4       F/  w  r4W!\        VRV 4      ,          ,          pW^ ,          ,          pK1  	  VS\        V 4      S,          ,           ,          # )ç      ð?N)ÚzipÚsumrJ   )ÚshapeÚreachÚemittedr·   ÚprobabilityÚdraft_msÚprobabilitiesÚ	verify_mss   &    €€€r:   ÚscoreÚbest_widths.<locals>.scoreÅ   s^   ø€ Ø˜cˆwÜ"% e¨]Ö";ÑˆEØœs ;¨v°Ð#6Ó7Õ7Õ7ˆGØ •^Õ#ŠEñ #<ð ˜)¤c¨%£j°8Õ&;Õ;Õ<Ð<r=   r[   g{®Gázð?)r¾   r½   r�   rŸ   Ú_SHAPES)r¶   ÚhitsrÃ   rÅ   ÚpriorÚrowr£   ÚhitÚprÆ   ÚbestrÄ   s   &&ff       @r:   Úbest_widthsrÏ   ¼   sš   ú€ à€MØˆG�a�K€EÛˆÜ�C“ˆÜ;>¸s¼?ÔK¹?±°�#˜˜A�•+ %¨!¥)×,Ð,¹?ˆÑKØ×Ñ˜UÖ#ñ ÷
=ô Œw˜EÔ"€DÙ˜“; ©¨f«Õ!5Ô5ˆ4ÐA¸6ÐAùó Ls   ®)B&c                 ón   € \        V 4       Uu. uF  q^,           ^,          ^ 8X  d   RMRNK  	  up# u upi )r   Úfull_attentionÚlinear_attention)r2   )r8   Úis   & r:   Ú_qwen35_layer_typesrÔ   Ð   s6   € ÜTYÐZ[ÔT\Ó]ÑT\Èq a¥%¨1¥°Ô!1ÑÐ7IÒIÑT\Ñ]Ð]ùÒ]s   Ž!2c                   óÌ   a € ] tR t^Ót o RtRtRt^t^t^t	Rt
Rt^t^t^€t^€t^tRtRtRt]! R	 R
7      t]! R R
7      tRtRtRtRtRt]! R R
7      tRtRtRtRt V 3R lt!Rt"V t#R# )ÚQwen35Configi Ê é   é   é   g      Ð?i €  ç�íµ ÷Æ°>g    ÐcAc                 ó
   € . RO# )é   )rÜ   rÜ   é
   r›   r›   r=   r:   Ú<lambda>ÚQwen35Config.<lambda>è   s   € »r=   )Údefault_factoryc                 ó   € \        ^4      # )é   )rÔ   r›   r=   r:   rÞ   rß   é   s
   € Ô6IÈ"Ô6Mr=   TÚsiluFc                 ó
   € R R.# )éìÈ iîÈ r›   r›   r=   r:   rÞ   rß   ï   s	   € °v¸vÑ6Fr=   Ú	qwen35_2bNc                ój  <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[ ;R	&   S[ ;R
&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   # )rE   Ú
vocab_sizeÚhidden_sizeÚintermediate_sizeÚnum_hidden_layersÚnum_attention_headsÚnum_key_value_headsÚhead_dimÚpartial_rotary_factorÚlinear_num_key_headsÚlinear_num_value_headsÚlinear_key_head_dimÚlinear_value_head_dimÚconv_kernel_sizeÚmax_position_embeddingsÚrms_norm_epsÚ
rope_thetaÚmrope_sectionÚlayer_typesÚrms_norm_addÚmlp_activationÚqkv_biasÚ
final_normÚlm_headÚstop_tokensÚtransformer_typeÚ	rope_dimsÚ
rope_scaleÚmtp)ro   Úfloatr1   ÚboolÚstr)rp   rq   s   "€r:   rr   ÚQwen35Config.__annotate__Ó   ss  ø‡ ‚ áÑñ ñ Ññ ñ Ñ!ñ	 ñ
 Ññ ñ Ñ ñ ñ Ñ ñ ñ Ññ ñ !Ñ'ñ ñ Ñ"ñ ñ  Ñ$ñ ñ Ñ"ñ ñ Ñ$ñ ñ  Ññ! ñ$ !Ñ(ñ% ñ& Ññ' ñ( Ñ"ñ) ñ* ÑEñ+ ñ, ÑNñ- ñ. Ññ/ ñ0 Ñ ñ1 ñ2 Ññ3 ñ4 Ññ5 ñ6 Ññ7 ñ8 ÑGñ9 ñ< Ñ'ñ= ñ> Ññ? ñ@ ÑñA ñB 
ÑòC r=   r›   )$ru   rv   rw   rx   rè   ré   rê   rë   rì   rí   rî   rï   rð   rñ   rò   ró   rô   rõ   rö   r÷   r   rø   rù   rú   rû   rü   rý   rþ   rÿ   r   r  r  r  r{   r|   r}   r~   s   @r:   rÖ   rÖ   Ó   s·   ø‡ € à€JØ€KØ!ÐØÐà ÐØ ÐØ€HØ#'Ðà "ÐØ"$ÐØ"ÐØ!$ÐØÐà#(ÐØ€LØ"€JÙÑ0DÔE€MÙÑ.MÔN€KØ€LØ €NØ€HØ€JØ€GÙÑ.FÔG€Kà'ÐØ€IØ€JØ€C÷C ƒ r=   rÖ   i   i   i 	  )	ré   Ú	num_headsrê   r�   Ú
patch_sizeÚtemporal_patch_sizeÚin_channelsÚspatial_merge_sizeÚnum_position_embeddingsÚ
qwen35_08bi   é   i   )ré   r  rê   r�   )ré   rê   Úvisionræ   r×   rØ   )ré   rê   rë   rì   rí   rñ   Ú	qwen35_4bi 
  i $  Ú	qwen35_9bi 0  Ti€  iÐ  )ré   rê   r�   )ré   rê   rë   rì   rí   rñ   rþ   r  Ú
qwen35_27bi   i D  c                 óÞ   € \         P                  V / 4      P                  4       pVP                  R R4       RV9   d   \	        VR,          4      VR&   VP                  V4       \        R/ VB # )r  Nrë   rù   r›   )ÚQWEN35_MODELSÚgetÚcopyÚpoprÔ   r…   rÖ   )Ú
model_typeÚconfig_dictÚ	overridess   && r:   Ú_make_configr    sd   € Ü×!Ñ! *¨bÓ1×6Ñ6Ó8€IØ‡M�M�(˜DÔ!Ø˜iÔ'Ü#6°yÐATÕ7UÓ#Vˆ	�-Ñ Ø×Ñ�[Ô!ÜÑ$˜)Ñ$Ð$r=   c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚRMSNormGatedi
  c                óŠ   <€ \         SV `  V4      \        P                  ! VP	                  VP
                  4      4      ,          # rV   )ÚsuperÚforwardÚFrã   Útor   )r@   ÚxÚgateÚ	__class__s   &&&€r:   r!  ÚRMSNormGated.forward  s-   ø€ Ü‰w‰˜qÓ!¤A§F¢F¨4¯7©7°1·7±7Ó+;Ó$<Õ<Ð<r=   r›   )ru   rv   rw   rx   r!  r|   r}   Ú__classcell__©r&  rq   s   @@r:   r  r  
  s   ù‡ € ÷=õ =r=   r  c                 ó6  € V P                   p\        P                  ! V RR7      p \        P                  ! VRR7      pWW$V3 U	u. uF?  q™P                  ^^4      P	                  4       P                  \        P                  4      NKA  	  up	w  rr$pVP                  w  r«rÍVP                  R,          pW\V,          ,
          V,          p\        P                  ! V ^ ^ ^ V34      p \        P                  ! V^ ^ ^ V34      p\        P                  ! V^ ^ ^ V34      p\        P                  ! V^ V34      p\        P                  ! V^ V34      pWÏ,           p^V P                  R,          R,          ,          pV V,          p W$P                  R4      ,          pWP                  R4      ,          pWVVV3 U	u. uFI  q™P                  V	P                  ^ ,          V	P                  ^,          RWYP                  R,          4      NKK  	  up	w  rpppVP                  VP                  ^ ,          VP                  ^,          RV4      p\        P                  ! \        P                  ! WU\        P                  V P                  R7      ^ R7      pVP!                  RR7      pVP                  R4      VP                  R	4      ,
          P#                  4       P%                  4       P'                  4       P#                  4       pVVP                  RR	4      ,          V,          P)                  V^ 4      ) p\+        ^V4       Fs  pVRVRV13,          P-                  4       pVRRV1RV13,          P-                  4       pVVP                  R4      V,          P/                  R	4      ,           VRVRV13&   Ku  	  V\        P0                  ! VVP                   VP                  R7      ,           pVV,          pVVVP%                  4       P                  R4      ,          ,          pVf'   \        P2                  ! W«WÞ4      P                  V4      MVP                  V4      p\        P4                  ! V4      p\        P                  ! \        P                  ! WU\        P                  V P                  R7      ^R7      p\+        ^ VV,          4       EF9  pV RRV3,          VRRV3,          VRRV3,          pppVVP                  RR	4      ,          VRRV3,          ,          P7                  V^ 4      pVRRV3,          V,          p VV ,
          p!VVRRVRR3,          P%                  4       ,          V,          p"V"VV!,          ,           VRRV3&   VVRRVRRR3,          P%                  4       ,          VVRRVRR3,          VRRV3,          ,
          P%                  4       R
,          ,          P                  RR	4      V!,          ,           pEK<  	  V'       g   RpVP                  VP                  ^ ,          VP                  ^,          RVP                  R,          4      pVRRRV13,          pVP                  ^^4      P	                  4       P                  V4      pVV3# u up	i u up	i )r   ©Údimç      à?r"   )Údiagonal.NºNNNr+   éþÿÿÿ).N)r   r"  Ú	normalizeÚ	transposeÚ
contiguousr#  r/   Úfloat32r¿   ÚpadÚ	unsqueezeÚreshapeÚtriuÚonesr  r#   ÚcumsumÚtrilÚexpr  Úmasked_fillr2   Úcloner¾   Úeyer4   Ú
zeros_likeÚmasked_fill_)#Úqueryr\   rb   ÚgÚbetaÚ
chunk_sizeÚinitial_stateÚoutput_final_stateÚinitial_dtyper$  Ú
batch_sizer  Úsequence_lengthÚ
k_head_dimÚ
v_head_dimÚpad_sizeÚtotal_sequence_lengthÚscaleÚv_betaÚk_betarƒ   Ú
decay_maskÚattnrÓ   rË   ÚsubÚ
k_cumdecayÚlast_recurrent_stateÚcore_attn_outÚq_iÚk_iÚv_iÚv_primeÚv_newÚ
attn_inters#   &&&&&&&&                           r:   Útorch_chunk_gated_delta_ruler^    s½  € Ø—K‘K€MÜ�KŠK˜ 2Ô&€EÜ
�+Š+�c˜rÔ
"€CØ]bÐinÐvwÑ\xÓ!yÑ\xÐWX§+¡+¨a°Ó"3×">Ñ">Ó"@×"CÑ"CÄEÇMÁMÖ"RÑ\xÑ!yÑ€E�˜Qà9<¿¹Ñ6€J˜?Ø—‘˜R•€JØ¨zÕ9Õ9¸ZÕG€HÜ�EŠE�%˜!˜Q  8Ð,Ó-€EÜ
�%Š%��a˜˜A˜xÐ(Ó
)€CÜ�EŠE�%˜!˜Q  8Ð,Ó-€EÜ�5Š5�˜˜8�}Ó%€DÜ	�Šˆa�!�X�Ó€AØ+Õ6ÐØ�—‘˜R• CÕ'Õ(€EØ�E�M€Eà—^‘^ BÓ'Õ'€FØ—>‘> "Ó%Õ%€FØrwð  Dð  FLð  NTñ  rUó  )Vñ  rUÐlm¯©°1·7±7¸1µ:¸q¿w¹wÀq½zÈ2Èz×[bÑ[bÐceÕ[fÖ)gñ  rUñ  )VÑ%€E��v˜vØ	�	‰	�!—'‘'˜!•*˜aŸg™g a�j¨"¨jÓ9€AÜ�:Š:”e—j’j ¼u¿z¹zÐRW×R^ÑR^Ô_ÐjkÔl€Dà	�‰�RˆÓ€AØ—;‘;˜r“? Q§[¡[°£_Õ4×:Ñ:Ó<×@Ñ@ÓB×HÑHÓJ×PÑPÓR€JØ�s—}‘} R¨Ó,Õ,°
Õ:×GÑGÈÈaÓPÐP€DÜ�1�jÖ!ˆØ�3˜˜2˜A˜2�:Õ×$Ñ$Ó&ˆØ�3˜˜˜˜B˜Q˜B�;Õ×%Ñ%Ó'ˆØ #§-¡-°Ó"3°cÕ"9×!>Ñ!>¸rÓ!BÕBˆˆS�!�R�a�RˆZÓñ "ð ”%—)’)˜J¨d¯j©jÀÇÁÔMÕM€DØ�6�M€EØ˜ !§%¡%£'×"3Ñ"3°BÓ"7Õ7Õ8€Jð Ò ô 	�Š�J¨:ÓB×EÑEÀeÔLà×Ñ˜eÓ$ð ô
 ×$Ò$ UÓ+€MÜ�:Š:”e—j’j ¼u¿z¹zÐRW×R^ÑR^Ô_ÐjkÔl€Dä�1Ð+¨zÕ9×:ˆØ˜a  A˜g�¨¨A¨q°!¨G­°e¸A¸qÀ!¸Gµn�#ˆSˆØ�c—m‘m B¨Ó+Õ+¨j¸¸A¸q¸Õ.AÕA×OÑOÐPTÐVWÓXˆØ˜a  A˜gÕ&Ð*>Õ>ˆØ�g•ˆØ˜A˜a  A q¨$Ð.Õ/×3Ñ3Ó5Õ5Ð9MÕMˆ
Ø!+¨d°U­lÕ!:ˆ�a˜˜A�gÑà  1 Q¨¨1¨b°$¸Ð%<Õ#=×#AÑ#AÓ#CÕCØ�a˜˜1˜a  TÐ)Õ*¨Q¨q°!°Q¨w­ZÕ7×<Ñ<Ó>¸yÕIÕI×TÑTÐUWÐY[Ó\Ð_dÕdõeó 	ñ ;÷ Ø#ÐØ!×)Ñ)¨-×*=Ñ*=¸aÕ*@À-×BUÑBUÐVWÕBXÐZ\Ð^k×^qÑ^qÐrtÕ^uÓv€MØ! ! QÐ(8¨Ð(8Ð"8Õ9€MØ!×+Ñ+¨A¨qÓ1×<Ñ<Ó>×AÑAÀ-ÓP€MØÐ.Ð.Ð.ùòo "zùò  )Vs   ÁAZÆ3AZc                   ó@   a a€ ] tR tRt oRV 3R lltRR ltRtVtV ;t# )ÚGatedDeltaNetiN  c                óÎ  <€ \         S	V `  4        VP                  pVP                  V n        VP
                  V n        VP                  V n        VP                  V n
        VP                  V n        V P                  V P                  ,          pV P                  V P                  ,          pW`n        Wpn        V^,          V,           pVP                  WXRW#R7      V n        VP                  WWRW#R7      V n        \"        P$                  P'                  V P                  V P                   34      V n        VP                  WPP                  RW#R7      V n        VP                  WPP                  RW#R7      V n        VP                  WuRW#R7      V n        \0        P2                  ! \4        P6                  ! V P                  W#R7      4      V n        \0        P2                  ! \4        P6                  ! V P                  W#R7      4      V n        VP=                  WˆRV P                  W€P                  ^,
          W#R7      V n        \A        V P                  VPB                  W#R7      V n"        R# )rE   F©Úbiasr#   r   ©r#   r   )r  Úout_channelsrc  Úkernel_sizeÚgroupsÚpaddingr#   r   ©Úepsr#   r   N)#r   rˆ   ré   rð   Únum_key_headsrñ   Únum_value_headsrò   Úkey_head_dimró   Úvalue_head_dimrô   Úkey_dimÚ	value_dimÚLinearÚin_proj_qkvÚ	in_proj_zÚcomfyÚopsÚCombinedLinearÚcombined_qkvzÚ	in_proj_bÚ	in_proj_aÚout_projÚnnÚ	Parameterr/   Úemptyrg   ÚA_logÚConv1dÚconv1dr  rö   Únorm)
r@   Úconfigr#   r   ru  Úhiddenro  rp  Úconv_dimr&  s
   &&&&&    €r:   rˆ   ÚGatedDeltaNet.__init__O  sÛ  ø€ Ü‰ÑÔà×#Ñ#ˆØ#×8Ñ8ˆÔØ%×<Ñ<ˆÔØ"×6Ñ6ˆÔØ$×:Ñ:ˆÔØ &× 7Ñ 7ˆÔà×$Ñ$ t×'8Ñ'8Õ8ˆØ×(Ñ(¨4×+>Ñ+>Õ>ˆ	ØŒØ"ŒØ˜Q•; Õ*ˆàŸ:™: f¸UÈ6˜:Ó_ˆÔØŸ™ F¸EÈ&˜Ó^ˆŒÜ"ŸY™Y×5Ñ5°t×7GÑ7GÈÏÉÐ6XÓYˆÔØŸ™ F×,@Ñ,@ÀuÐU[˜ÓiˆŒØŸ™ F×,@Ñ,@ÀuÐU[˜ÓiˆŒØŸ
™
 9¸5È˜
Ó]ˆŒä—|’|¤E§K¢K°×0DÑ0DÈVÔ$aÓbˆŒÜ—\’\¤%§+¢+¨d×.BÑ.BÈ6Ô"_Ó`ˆŒ
à—j‘j¨XÐSXÐfj×f{Ñf{Ø×%:Ñ%:¸QÕ%>Àvð !ó \ˆŒô ! ×!4Ñ!4¸&×:MÑ:MÐV\ÔjˆŽ	r=   c                ó  € VP                   w  rEpV P                  P                  V4      pV\        J d$   V P	                  V4      pV P                  V4      p	MCVP                  V P                  ^,          V P                  ,           V P                  3RR7      w  r‰VEe4   VP                  V4      '       Ed   Tp
\        P                  P                  V P                  VRR7      ;_uu_ 4       w  r¼\        P                  ! WŠP                   W¼V
P"                  V
P$                  V
P&                  4       RRR4       \        P                  P                  V P(                  VRR7      ;_uu_ 4       w  rÖ\        P                  P                  V P*                  VRR7      ;_uu_ 4       w  ræ\-        V\.        4      '       d   VP1                  4       p\-        V\.        4      '       d   VP1                  4       p\        P2                  ! WWêP4                  V
P6                  V
P8                  V P                  V P:                  V P<                  R	,          WšP>                  V P@                  PB                  V
P$                  V
PD                  V
PF                  V
P&                  4      pRRR4       RRR4       V PI                  XPK                  WER4      4      V3# VPM                  ^^4      pV P+                  V4      pV P)                  V4      pVew   VP                   p\N        PP                  ! VV PR                  VP                   R,          ,
          ^ 34      pVPU                  VRRVP                   R,          ) R13,          4       \N        PV                  ! V P                  V4      RRRV13,          4      pVPM                  ^^4      pVP                  V P                  V P                  V P                  .RR7      w  ppp\        PX                  P[                  V P\                  VP^                  \`        Pb                  4      Pe                  4       ) p\        PX                  P[                  V P4                  VP^                  \`        Pb                  4      pVe^   VVn        VVn        \        PX                  Pg                  V P@                  Ph                  VPj                  VP^                  R7      Vn        VPm                  4       pV\N        Pn                  ! VPq                  4       V,           4      ,          pVPK                  WEV P:                  V P<                  4      pVPK                  WEV P:                  V P<                  4      pVPK                  WEV Pr                  V Pt                  4      pV Pr                  V P:                  8w  dD   V Pr                  V P:                  ,          pVPw                  V^R7      pVPw                  V^R7      p\y        VVVVVRVRJR7      w  ppRpVeE   Ve?   VP8                  PU                  VP{                  VP8                  Pj                  4      4       TpV PA                  VPK                  RV Pt                  4      V	PK                  RV Pt                  4      4      pV PI                  VPK                  WER4      4      pVV3#   + '       g   i     EL©; i  + '       g   i     ELP; i  + '       g   i     EL\; i)
rE   r+  NT©Úoffloadabler/  r"   )rC  rD  rF  rG  r+   g      à¿)>r¿   rw  r!  ÚNotImplementedrr  rs  Úsplitro  rp  rB   rt  ru  ÚCastBiasWeightContextr€  r,   Údeltanet_conv_step_deferredr^   rj   ri   r!   ry  rx  Ú
isinstancer   Ú
dequantizeÚgated_delta_decode_deferredrg   rf   rc   rk  rm  rh   r�  rj  rk   rl   rz  r7  r2  r"  r5  rô   rK   rã   Úmodel_managementÚcast_to_devicer~  r#   r/   r4  r<  Úcast_toÚweightr   ÚsigmoidÚsoftplusr  rl  rn  Úrepeat_interleaver^  r#  ) r@   r$  Úpast_key_valueÚkwargsrI  Úseq_lenrœ   ÚqkvzÚprojÚzÚkvÚconv_weightÚ	conv_biasÚw_aÚw_brW  Ú	mixed_qkvr³   r¥   r^   Úconv_state_initrB  r\   rb   rf   rg   rD  rC  ÚreprV  Úpresent_key_valueÚoutputs    &&&,                            r:   r!  ÚGatedDeltaNet.forwardn  s   € Ø!"§¡Ñˆ
˜Qð ×!Ñ!×)Ñ)¨!Ó,ˆØ”>Ó!Ø×#Ñ# AÓ&ˆDØ—‘˜qÓ!‰Aà—j‘j $§,¡,°Õ"2°T·^±^Õ"CÀTÇ^Á^Ð!TÐZ\�jÓ]‰GˆDàÓ%¨.×*DÑ*DÀW×*MÓ*Mð  ˆBÜ—‘×0Ñ0°·±¸dÐPTÐ0×UÔUÑYqÐZeÜ×9Ò9¸$ÇÁÈ{Ðgi×grÑgrÐtv×t~Ñt~ð  AC÷  AGñ  AGô  H÷ Vä—‘×0Ñ0°·±ÀÐPTÐ0×UÔUÑYaÐZ]Ü—‘×0Ñ0°·±ÀÐPTÐ0×UÔUÑYaÐZ]Ü˜c¤?×3Ò3ØŸ.™.Ó*�CÜ˜c¤?×3Ò3ØŸ.™.Ó*�CÜ -× IÒ IØ˜C§¡¨R¯Z©Z¸×9KÑ9KØ—L‘L $×"4Ñ"4°d×6GÑ6GÈ4Õ6OÐQR×TbÑTbÐdh×dmÑdm×dqÑdqØ—J‘J §¡¨b¯l©l¸B¿F¹Fó!D�÷ V÷ Vð —=‘= ×!6Ñ!6°zÈBÓ!OÓPÐR`Ð`Ð`à—N‘N 1 aÓ(ˆ	Ø�N‰N˜1ÓˆØ�N‰N˜1Óˆð Ò%Ø'×2Ñ2ˆJÜŸeše I°×0EÑ0EÈ	ÏÉÐXZÕH[Õ0[Ð]^Ð/_Ó`ˆOØ×Ñ˜_¨Q°°J×4DÑ4DÀRÕ4HÐ3HÑ3IÐ-IÕJÔKÜ—F’F˜4Ÿ;™; yÓ1°!°Q¸¸¸°.ÕAÓBˆ	ð ×'Ñ'¨¨1Ó-ˆ	Ø%ŸO™O¨T¯\©\¸4¿<¹<ÈÏÉÐ,XÐ^`˜OÓaÑˆˆs�EÜ×)Ñ)×8Ñ8¸¿¹ÀQÇXÁXÌuÏ}É}Ó]×aÑaÓcÐcˆÜ×(Ñ(×7Ñ7¸¿¹ÀaÇhÁhÔPU×P]ÑP]Ó^ˆØÒ%Ø%,ˆNÔ"Ø%,ˆNÔ"Ü).×)?Ñ)?×)GÑ)GÈÏ	É	×HXÑHXÐ`a×`gÑ`gÐpq×pxÑpxÐ)GÓ)yˆNÔ&à�y‰y‹{ˆØ”a—j’j §¡£¨WÕ!4Ó5Õ5ˆØ—‘˜j°4×3EÑ3EÀt×GXÑGXÓYˆØ�k‰k˜*¨t×/AÑ/AÀ4×CTÑCTÓUˆØ—‘˜j°4×3GÑ3GÈ×I\ÑI\Ó]ˆØ×Ñ 4×#5Ñ#5Ô5Ø×&Ñ&¨$×*<Ñ*<Õ<ˆCØ×+Ñ+¨C°QÐ+Ó7ˆEØ×'Ñ'¨°Ð'Ó3ˆCô /KØ�3˜ ¨ØØ-°TÐ9ô/
Ñ+ˆÐ+ð !ÐØÒ%Ø#Ò/Ø×.Ñ.×4Ñ4Ð5I×5LÑ5LÈ^×MkÑMk×MqÑMqÓ5rÔsØ .Ðð Ÿ	™	 -×"7Ñ"7¸¸D×<OÑ<OÓ"PÐRS×R[ÑR[Ð\^Ð`d×`sÑ`sÓRtÓuˆØ—‘˜}×4Ñ4°ZÈ"ÓMÓNˆØÐ(Ð(Ð(÷{ V×UÐUú÷ V×UÐUú÷ V×UÐUús2   Ã.A[Å/7[;Æ&C:['	Ê [;Û[$	Û'[8Û2	[;Û;\	)r~  rw  r€  rô   rg   ry  rx  rr  rs  ro  rm  r�  rk  rl  rz  rp  rn  ©NNNrV   ©	ru   rv   rw   rx   rˆ   r!  r|   r}   r(  r)  s   @@r:   r`  r`  N  s   ù‡ € ÷k÷>L)ô L)r=   r`  c                óð   € V RRV13,          pV RVR13,          pVRRV13,          pVRVR13,          p\        WFV4      w  rF\        P                  ! WE.RR7      p \        P                  ! Wg.RR7      pW3# )z3Apply RoPE to only the first rotary_dim dimensions..Nr+  r+   )r   r/   Úcat)ÚxqÚxkÚ	freqs_cisÚ
rotary_dimÚxq_rotÚxq_passÚxk_rotÚxk_passs   &&&&    r:   Úapply_partial_roper´  ¾  s…   € à��[�j�[Ð Õ!€FØ��j‘kÐ!Õ"€GØ��[�j�[Ð Õ!€FØ��j‘kÐ!Õ"€Gä °	Ó:�N€Fä	�Š�FÐ$¨"Ô	-€BÜ	�Š�FÐ$¨"Ô	-€BØˆ6€Mr=   c                   óL   a a€ ] tR tRt oRV 3R lltR tR tRR ltRtVt	V ;t
# )	ÚGatedAttentioniÌ  c                ó´  <€ \         SV `  4        VP                  V n        VP                  V n        VP                  V n        VP                  V n        V P                  V P                  ,          V n        \        V P                  VP                  ,          4      V n        VP                  VP                  V P                  ^,          VP                  W#R7      V n        VP                  VP                  V P
                  V P                  ,          VP                  W#R7      V n        VP                  VP                  V P
                  V P                  ,          VP                  W#R7      V n        \"        P$                  P'                  V P                  V P                  V P                   34      V n        VP                  V P                  VP                  RW#R7      V n        \-        V P                  VP.                  VP0                  W#R7      V n        \-        V P                  VP.                  VP0                  W#R7      V n        \7        4       V n        R# )rE   rb  F©rj  r“   r#   r   N)r   rˆ   rì   r  rí   Únum_kv_headsrî   ré   Ú
inner_sizero   rï   r¯  rq  rü   Úq_projÚk_projÚv_projrt  ru  rv  Úcombined_qkvÚo_projr   rö   rú   Úq_normÚk_normr	   Úcomfy_attention©r@   r‚  r#   r   ru  r&  s   &&&&&€r:   rˆ   ÚGatedAttention.__init__Í  s²  ø€ Ü‰ÑÔà×3Ñ3ˆŒØ"×6Ñ6ˆÔØŸ™ˆŒØ!×-Ñ-ˆÔØŸ.™.¨4¯=©=Õ8ˆŒÜ˜dŸm™m¨f×.JÑ.JÕJÓKˆŒð —j‘j ×!3Ñ!3°T·_±_ÀqÕ5HÈvÏÉÐgm�jÓ{ˆŒØ—j‘j ×!3Ñ!3°T×5FÑ5FÈÏÉÕ5VÐ]c×]lÑ]lÐu{�jó  JˆŒØ—j‘j ×!3Ñ!3°T×5FÑ5FÈÏÉÕ5VÐ]c×]lÑ]lÐu{�jó  JˆŒÜ!ŸI™I×4Ñ4°d·k±kÀ4Ç;Á;ÐPT×P[ÑP[Ð5\Ó]ˆÔØ—j‘j §¡°&×2DÑ2DÈ5ÐY_�jÓmˆŒô ˜dŸm™m°×1DÑ1DÈ&×J]ÑJ]ÐflÔzˆŒÜ˜dŸm™m°×1DÑ1DÈ&×J]ÑJ]ÐflÔzˆŒÜ-Ó/ˆÖr=   c                ó  € V P                   P                  pVR 8X  g)   Vfb   \        P                  P	                  4       '       d>   V\
        P                  8X  d)   V P                  R8X  d   \        V4      '       d   \        # \        # )Úcomfy_kitchen_int8rÙ   )rÂ  Úmethodrt  r�  Úcomfy_kitchen_attention_enabledr/   Úbfloat16rî   Úint8_decode_is_availabler   r   )r@   r#   r   rÇ  s   &&& r:   Úkv_cache_typeÚGatedAttention.kv_cache_typeã  sc   € Ø×%Ñ%×,Ñ,ˆØÐ)Ô)¨Vª^Ä×@VÑ@V×@vÑ@v×@xÒ@xØœŸ™Ô&¨4¯=©=¸CÔ+?ÔD\Ð]c×DdÒDdÜ'Ð'ÜÐr=   c           
     ó²   € V P                  W44      pWe9  d   VP                  W4      WV&   VP                  WP                  W P                  W4WV,          4      # rV   )rË  Úsharedr4   r¹  rî   )r@   Úbatchr‡   r#   r   rÎ  Ú
cache_types   &&&&&& r:   Úinit_kv_cacheÚGatedAttention.init_kv_cacheê  sQ   € Ø×'Ñ'¨Ó6ˆ
ØÔ#Ø!+×!2Ñ!2°5Ó!AˆFÑØ×Ñ ×'8Ñ'8¸(ÇMÁMÐSYÐbhÕbtÓuÐur=   c           	     óÄ  € VP                   w  rgpV P                  P                  V4      p	V	\        J d5   V P	                  V4      p
V P                  V4      pV P                  V4      pMFV P                  V P                  ,          pV	P                  V P                  ^,          WÝ3R	R7      w  r«pV
P                  WgV P                  V P                  ^,          4      p
V
RRV P                  13,          V
RV P                  R13,          rþVP                  WgR	4      pV P                  V4      P                  ^^4      pV P!                  VP                  WgV P                  V P                  4      4      P                  ^^4      pVP                  WgV P                  V P                  4      P                  ^^4      p\#        WëW0P$                  4      w  rëTpVRJ;'       d    V\&        8*  ;'       d    VRJ pV'       d   VP)                  W¼4       V'       df   \+        V\,        4      '       g=   V P.                  P0                  f8   \2        P4                  P7                  4       '       g   VP9                  WëV4      pM½V'       d?   VP:                  VP<                  rËVP?                  V4      p\A        VPB                  4      pMVe   VPE                  W¼4      w  r¼V P                  V P                  8w  d   RR/M/ p\G        \H        WëV34      w  ppp???V! VVVV P                  3RVRRRV P.                  /VB pVVPK                  4       ,          pV PM                  V4      V3# )
rE   r+  .NÚ
enable_gqaTrƒ   Úskip_reshapeÚpreferred_attentionr+   )'r¿   r¾  r!  r‰  r»  r¼  r½  r¹  rî   rŠ  rº  Úviewr  r7  rÀ  r2  rÁ  r´  r¯  r   Úwriter�  r   rÂ  rÇ  rt  r�  rÈ  Úattendr\   rb   rƒ   r
   r#   r�   Úmapr   r”  r¿  )r@   r$  Úattention_maskr®  Úoptimized_attentionr—  rI  Ú
seq_lengthrœ   ÚqkvÚqgr­  ÚxvÚkv_sizer¬  r%  r¥  Údecoder¦  Ú
gqa_kwargsÚqÚkÚvs   &&&&&&                 r:   r!  ÚGatedAttention.forwardð  së  € Ø$%§G¡GÑ!ˆ
 ð ×Ñ×'Ñ'¨Ó*ˆØ”.Ó Ø—‘˜Q“ˆBØ—‘˜Q“ˆBØ—‘˜Q“‰Bà×'Ñ'¨$¯-©-Õ7ˆGØŸ™ D§O¡O°aÕ$7¸Ð#JÐPR˜ÓS‰JˆB�Bà�W‰W�Z¨T¯^©^¸T¿]¹]ÈQÕ=NÓOˆØ�c˜>˜DŸM™M˜>Ð)Õ*¨B¨s°D·M±M±NÐ/BÕ,CˆDØ�|‰|˜J°BÓ7ˆà�[‰[˜‹_×&Ñ& q¨!Ó,ˆØ�[‰[˜Ÿ™ ¸×9JÑ9JÈDÏMÉMÓZÓ[×eÑeÐfgÐijÓkˆØ�W‰W�Z¨T×->Ñ->ÀÇÁÓN×XÑXÐYZÐ\]Ó^ˆô $ B¨I·±ÓG‰ˆð +ÐØ tÐ+×bÐb°
¼iÑ0G×bÐbÈNÐ^bÐLbˆßØ× Ñ  Ô(ç”z .Ô2B×CÒCØ×+Ñ+×2Ñ2Ò:Ä5×CYÑCY×CyÑCy×C{ÒC{Ø#×*Ñ*¨2°2Ó6‰FçØ'×+Ñ+¨^×-AÑ-A�BØ!/×!4Ñ!4°ZÓ!@�Ü&DÀQÇXÁXÓ&NÑ#ØÒ+Ø'×.Ñ.¨rÓ6‘�Ø15·±À4×CTÑCTÔ1T˜,¨Ñ-ÐZ\ˆJÜÔ2°R¸R°LÓA‰GˆAˆq�!Ø�B˜Ù(¨¨A¨q°$·.±.ñ aÀ~ð aÐdhð aØ=A×=QÑ=QðaØU_ñaˆFð ˜$Ÿ,™,›.Õ(ˆØ�{‰{˜6Ó"Ð$5Ð5Ð5r=   )r¾  rÂ  rî   ré   rº  rÁ  r¼  r  r¹  r¿  rÀ  r»  r¯  r½  r¨  ©NNNN)ru   rv   rw   rx   rˆ   rË  rÑ  r!  r|   r}   r(  r)  s   @@r:   r¶  r¶  Ì  s   ù‡ € ÷0ò,òv÷/6ô /6r=   r¶  c                   ó@   a a€ ] tR tRt oRV 3R lltRR ltRtVtV ;t# )ÚQwen35TransformerBlocki#  c                ó¬  <€ \         SV `  4        VP                  V,          V n        V P                  R 8X  d   \	        WWER7      V n        M\        WWER7      V n        \        WWER7      V n	        \        VP                  VP                  VP                  W4R7      V n        \        VP                  VP                  VP                  W4R7      V n        R# )rÒ   ©r#   r   ru  r¸  N)r   rˆ   rù   Ú
layer_typer`  Úlinear_attnr¶  Ú	self_attnr   Úmlpr   ré   rö   rú   Úinput_layernormÚpost_attention_layernorm)r@   r‚  r?   r#   r   ru  r&  s   &&&&&&€r:   rˆ   ÚQwen35TransformerBlock.__init__$  s°   ø€ Ü‰ÑÔØ ×,Ñ,¨UÕ3ˆŒØ�?‰?Ð0Ô0Ü,¨VÈ%ÔYˆDÕä+¨FÈÔXˆDŒNÜ�v°EÔCˆŒÜ& v×'9Ñ'9¸v×?RÑ?RÐX^×XkÑXkÐtzô   IˆÔÜ(/°×0BÑ0BÈ×H[ÑH[Ðag×atÑatð  ~Dô  )RˆÖ%r=   c                óV  € TpV P                   R 8X  d&   V P                  V P                  V4      W%R7      w  rxM%V P                  V P                  V4      W#WER7      w  rx\        P
                  ! WVR7      p\        P
                  ! WP                  WP                  R7      VR7      pW3# )rÒ   )rÛ  r—  ©rÛ  r®  rÜ  r—  )Úout)r�  )rí  rî  rñ  rï  r/   r“   rð  rò  )	r@   r$  rÛ  r®  rÜ  r—  r¦  Úhr¥  s	   &&&&&&   r:   r!  ÚQwen35TransformerBlock.forward/  s¥   € ØˆØ�?‰?Ð0Ô0Ø#'×#3Ñ#3°D×4HÑ4HÈÓ4KÐ\jÐ#3ó  $KÑ ˆAÐ à#'§>¡>°$×2FÑ2FÀqÓ2IÐZhð  Tg >ó  $GÑ ˆAô �IŠI�a Ô'ˆÜ�IŠI�aŸ™ !×*GÑ*G˜ÓHÈfÔUˆØÐ#Ð#r=   )rñ  rí  rî  rð  rò  rï  r¨  rè  r©  r)  s   @@r:   rê  rê  #  s   ù‡ € ÷	R÷
$ô 
$r=   rê  c                   ó0   a € ] tR tRt o RR ltR tRtV tR# )ÚQwen35Transformeri=  Nc                ó¢  € \         P                  P                  V 4       Wn        R V n        R V n        VP                  V n        VP                  VP                  VP                  W#R7      V n	        \         P                  ! \        VP                  4       Uu. uF  p\        WW#VR7      NK  	  up4      V n        VP                  '       d4   \!        VP                  VP"                  VP$                  W#R7      V n        MRV n        VP(                  '       d1   VP+                  VP                  VP                  RW#R7      V n        R# R# u upi )Trd  ©r?   r#   r   ru  r¸  NFrb  )r{  ÚModulerˆ   r‚  Úprefetch_dynamic_vbarsÚgraph_dynamic_vbar_blocksrè   Ú	Embeddingré   Úembed_tokensÚ
ModuleListr2   rë   rê  Úlayersrý   r   rö   rú   r�  rþ   rq  )r@   r‚  r#   r   ru  rÓ   s   &&&&& r:   rˆ   ÚQwen35Transformer.__init__>  s  € Ü
�	‰	×Ñ˜4Ô ØŒØ&*ˆÔ#Ø)-ˆÔ&Ø ×+Ñ+ˆŒØŸM™M¨&×*;Ñ*;¸V×=OÑ=OÐX^˜MÓlˆÔÜ—m’mä˜6×3Ñ3Ô4ó%
á4�ô # 6¸6ÐTW×XÙ4ñ%
ó ˆŒð
 ××ÐÜ × 2Ñ 2¸×8KÑ8KÐQW×QdÑQdÐmsô  BˆD�IàˆDŒIà�>�>ˆ>ØŸ:™: f×&8Ñ&8¸&×:KÑ:KÐRWÐ`f˜:ÓtˆDŽLñ ùò%
s   ÂEc           	     óæ   € \        V P                  P                  V P                  P                  ,          4      p\	        W1V P                  P
                  V P                  P                  R VR7      # )T)r  Úinterleaved_mroper#   )ro   r‚  rî   rï   r   r÷   rø   )r@   Úposition_idsr#   r¯  s   &&& r:   Úcompute_freqs_cisÚ#Qwen35Transformer.compute_freqs_cisR  sU   € Ü˜Ÿ™×-Ñ-°·±×0QÑ0QÕQÓRˆ
Ü# J¸d¿k¹k×>TÑ>TØ.2¯k©k×.GÑ.GÐ[_Ðhnôpð 	pr=   )r‚  r  rÿ  r  rþ   r�  rþ  rè   r¨  )ru   rv   rw   rx   rˆ   r  r|   r}   r~   s   @r:   rú  rú  =  s   ø‡ € ôu÷(pð pr=   rú  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚQwen35VisionPatchEmbediY  c           
     ó8  <€ \         SV `  4        VR ,          V n        VR,          V n        VR,          V n        VR,          V n        V P                  V P                  V P                  .pVP                  V P                  V P
                  WURW#R7      V n        R# )r	  r
  r  ré   T)rf  Ústriderc  r#   r   N)r   rˆ   r	  r
  r  Ú	embed_dimÚConv3dr›  )r@   r‚  r#   r   ru  rf  r&  s   &&&&& €r:   rˆ   ÚQwen35VisionPatchEmbed.__init__Z  sˆ   ø€ Ü‰ÑÔØ  Õ.ˆŒØ#)Ð*?Õ#@ˆÔ Ø! -Õ0ˆÔØ Õ.ˆŒØ×/Ñ/°·±À$Ç/Á/ÐRˆØ—J‘J˜t×/Ñ/°·±È[Ðswð  AG�Jó  UˆŽ	r=   c                óÒ   € VP                  RV P                  V P                  V P                  V P                  4      pV P	                  V4      P                  RV P
                  4      # ©r   r+   )r×  r  r
  r	  r›  r  ©r@   r$  s   &&r:   r!  ÚQwen35VisionPatchEmbed.forwardc  sN   € Ø�F‰F�2�t×'Ñ'¨×)AÑ)AÀ4Ç?Á?ÐTX×TcÑTcÓdˆØ�y‰y˜‹|× Ñ   T§^¡^Ó4Ð4r=   )r  r  r	  r›  r
  r¨  r©  r)  s   @@r:   r  r  Y  s   ù‡ € ÷U÷5ò 5r=   r  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚQwen35VisionMLPih  c                óˆ   <€ \         SV `  4        VP                  WR W4R7      V n        VP                  W!R W4R7      V n        R# )Trb  N)r   rˆ   rq  Ú
linear_fc1Ú
linear_fc2)r@   ré   rê   r#   r   ru  r&  s   &&&&&&€r:   rˆ   ÚQwen35VisionMLP.__init__i  s=   ø€ Ü‰ÑÔàŸ*™* [È$ÐW]˜*ÓkˆŒØŸ*™*Ð%6È$ÐW]˜*ÓkˆŽr=   c                ón   € V P                  \        P                  ! V P                  V4      R R7      4      # )Útanh)Úapproximate)r  r"  Úgelur  )r@   Úhidden_states   &&r:   r!  ÚQwen35VisionMLP.forwardo  s&   € Ø�‰œqŸvšv d§o¡o°lÓ&CÐQWÔXÓYÐYr=   )r  r  r¨  r©  r)  s   @@r:   r  r  h  s   ù‡ € ÷l÷Zò Zr=   r  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚQwen35VisionRotaryEmbeddingis  c           	     óÒ   <€ \         SV `  4        Wn        R V\        P                  ! ^ V^\        P
                  R7      V,          ,          ,          pV P                  RVRR7       R# )r¼   r   Úinv_freqF)Ú
persistentN)r   rˆ   r,  r/   Úaranger  Úregister_buffer)r@   r,  Úthetar$  r&  s   &&& €r:   rˆ   Ú$Qwen35VisionRotaryEmbedding.__init__t  sP   ø€ Ü‰ÑÔØŒØ˜%¤E§L¢L°°C¸Ä%Ç+Á+Ô$NÐQTÕ$TÕUÕVˆØ×Ñ˜Z¨¸eÐÖDr=   c                óÆ   € \         P                  ! WP                  P                  V P                  P                  R 7      p\         P
                  ! W P                  4      pV# )rd  )r/   r&  r$  r#   r   Úouter)r@   ÚseqlenÚseqÚfreqss   &&  r:   r!  Ú#Qwen35VisionRotaryEmbedding.forwardz  s=   € Ü�lŠl˜6¯-©-×*>Ñ*>ÀdÇmÁm×FYÑFYÔZˆÜ—’˜C§¡Ó/ˆØˆr=   r+  )g     ˆÃ@r©  r)  s   @@r:   r"  r"  s  s   ù‡ € ÷E÷ò r=   r"  c                   ó@   a a€ ] tR tRt oRV 3R lltRR ltRtVtV ;t# )ÚQwen35VisionAttentioni€  c                óD  <€ \         SV `  4        Wn        W n        V P                  V P                  ,          V n        VP                  V P                  V P                  ^,          RW4R7      V n        VP                  V P                  V P                  W4R7      V n        R# )é   Trb  rd  N)r   rˆ   r,  r  rî   rq  rÞ  r›  )r@   ré   r  r#   r   ru  r&  s   &&&&&&€r:   rˆ   ÚQwen35VisionAttention.__init__�  sn   ø€ Ü‰ÑÔàŒØ"ŒØŸ™ D§N¡NÕ2ˆŒØ—:‘:˜dŸh™h¨¯©°1­¸4È�:Ó\ˆŒØ—J‘J˜tŸx™x¨¯©¸&�JÓNˆŽ	r=   c                ón  € VP                   ^ ,          pV P                  V4      P                  V^V P                  R4      P	                  ^^ ^^4      P                  ^ 4      w  rgp\        WgV4      w  rgVR,          VRR ,
          P                  4       p	\        P                  ! Wi^ R7      p
\        P                  ! Wy^ R7      p\        P                  ! W‰^ R7      p. p\        W«V4       FŽ  w  rïpVP                  ^ ^4      P                  ^ 4      pVP                  ^ ^4      P                  ^ 4      pVP                  ^ ^4      P                  ^ 4      pVP                  V! WïVV P                  RR7      4       K�  	  \        P                  ! V^R7      pVP                  VR4      pV P                  V4      # )r   r�   Nr+  T)rÕ  r+   )r¿   rÞ  r7  r  ÚpermuteÚunbindr   Útolistr/   rŠ  r½   r2  r6  r�   r«  r›  )r@   r$  Ú
cu_seqlensÚposition_embeddingsrÜ  rÝ  Úquery_statesÚ
key_statesÚvalue_statesÚlengthsÚq_splitsÚk_splitsÚv_splitsÚattn_outputsrä  rå  ræ  Úattn_outputs   &&&&&             r:   r!  ÚQwen35VisionAttention.forwardŠ  su  € Ø—W‘W˜Q•Zˆ
à�H‰H�Q‹K×Ñ 
¨A¨t¯~©~¸rÓB×JÑJÈ1ÈaÐQRÐTUÓV×]Ñ]Ð^_Ó`ñ 	/ˆ ,ô $.¨lÐH[Ó#\Ñ ˆð ˜b•> J¨s° OÕ3×;Ñ;Ó=ˆÜ—;’;˜|¸!Ô<ˆÜ—;’;˜z¸Ô:ˆÜ—;’;˜|¸!Ô<ˆàˆÜ˜8¨xÖ8‰GˆA�!Ø—‘˜A˜qÓ!×+Ñ+¨AÓ.ˆAØ—‘˜A˜qÓ!×+Ñ+¨AÓ.ˆAØ—‘˜A˜qÓ!×+Ñ+¨AÓ.ˆAØ×ÑÑ 3°A¸!¸T¿^¹^ÐZ^Ô _Ö`ñ	 9ô —i’i °!Ô4ˆØ!×)Ñ)¨*°bÓ9ˆØ�y‰y˜Ó%Ð%r=   )r,  rî   r  r›  rÞ  r¨  rV   r©  r)  s   @@r:   r1  r1  €  s   ù‡ € ÷O÷&ô &r=   r1  c                   ó@   a a€ ] tR tRt oRV 3R lltRR ltRtVtV ;t# )ÚQwen35VisionBlocki£  c                óÔ   <€ \         SV `  4        VP                  VR WER7      V n        VP                  VR WER7      V n        \        WWEVR7      V n        \        WWEVR7      V n        R# )rÚ   ri  rì  N)	r   rˆ   Ú	LayerNormÚnorm1Únorm2r1  rS  r  rð  )r@   ré   r  rê   r#   r   ru  r&  s   &&&&&&&€r:   rˆ   ÚQwen35VisionBlock.__init__¤  s\   ø€ Ü‰ÑÔà—]‘] ;°DÀ�]ÓUˆŒ
Ø—]‘] ;°DÀ�]ÓUˆŒ
Ü)¨+ÈÐbeÔfˆŒ	Ü" ;È&ÐcfÔgˆŽr=   c                ó    € WP                  V P                  V4      W#VR 7      ,           pWP                  V P                  V4      4      ,           # )©r9  r:  rÜ  )rS  rI  rð  rJ  )r@   r$  r9  r:  rÜ  s   &&&&&r:   r!  ÚQwen35VisionBlock.forward¬  sF   € Ø—	‘	˜$Ÿ*™* Q›-°Jð  ~Q�	ó  Rõ  RˆØ—8‘8˜DŸJ™J q›MÓ*Õ*Ð*r=   )rS  rð  rI  rJ  r¨  rV   r©  r)  s   @@r:   rF  rF  £  s   ù‡ € ÷h÷+ô +r=   rF  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚQwen35VisionPatchMergeri±  c                óà   <€ \         SV `  4        W^,          ,          pVP                  VRWER7      V n        VP	                  WwWER7      V n        VP	                  WsWER7      V n        Wpn        R# )rE   rÚ   ri  rd  N)r   rˆ   rH  r�  rq  r  r  Ú	merge_dim)	r@   ré   r  Úout_hidden_sizer#   r   ru  rR  r&  s	   &&&&&&& €r:   rˆ   Ú Qwen35VisionPatchMerger.__init__²  s^   ø€ Ü‰ÑÔà¸Õ#:Õ;ˆ	Ø—M‘M +°4À�MÓTˆŒ	ØŸ*™* YÀ&˜*ÓVˆŒØŸ*™* YÈ˜*Ó\ˆŒØ"Žr=   c                óÀ   € V P                  V4      P                  RV P                  4      pV P                  \        P
                  ! V P                  V4      4      4      # r  )r�  r×  rR  r  r"  r  r  r  s   &&r:   r!  ÚQwen35VisionPatchMerger.forward»  sA   € Ø�I‰I�a‹L×Ñ˜b $§.¡.Ó1ˆØ�‰œqŸvšv d§o¡o°aÓ&8Ó9Ó:Ð:r=   )r  r  rR  r�  r¨  r©  r)  s   @@r:   rP  rP  ±  s   ù‡ € ÷#÷;ò ;r=   rP  c                   óH   a a€ ] tR tRt oRV 3R lltR tR tR tRtVt	V ;t
# )ÚQwen35VisionModeliÀ  c                óf  <€ \         SV `  4        VR ,          V n        VR,          V n        V P                  V P                  ,          V n        VR,          V n        VR,          V n        VR,          V n        \        WW4R7      V n	        VP                  V P                  V P
                  W#R7      V n        \        V P                  R,          4      V n        \        V P
                  V P                  ,          ^,          4      V n        \         P"                  ! \%        VR,          4       Uu. uF.  p\'        V P
                  V P                  VR	,          W#VR7      NK0  	  up4      V n        \+        V P
                  V P                  VR
,          W#VR7      V n        . V n        RV n        R# u upi )r  r	  ré   r  r  rì  rd  r-  r�   rê   rS  N)r   rˆ   r  r	  Úspatial_merge_unitré   r  r  r  Úpatch_embedr   Ú	pos_embedro   Únum_grid_per_sider"  Úrotary_pos_embr{  r  r2   rF  ÚblocksrP  ÚmergerÚdeepstack_visual_indexesÚdeepstack_merger_list)r@   r‚  r#   r   ru  rœ   r&  s   &&&&& €r:   rˆ   ÚQwen35VisionModel.__init__Á  sy  ø€ Ü‰ÑÔØ"(Ð)=Õ">ˆÔØ  Õ.ˆŒØ"&×"9Ñ"9¸D×<SÑ<SÕ"SˆÔà! -Õ0ˆÔØ Õ,ˆŒØ'-Ð.GÕ'HˆÔ$ä1°&ÈuÔ^ˆÔØŸ™ t×'CÑ'CÀT×EUÑEUÐ^d˜ÓrˆŒÜ!$ T×%AÑ%AÀSÕ%HÓ!IˆÔÜ9¸$×:JÑ:JÈdÏnÉnÕ:\Ð`aÕ:aÓbˆÔÜ—m’mä˜6 '�?Ô+ó%
á+�ô ˜d×.Ñ.°·±ÀÐGZÕ@[Ðdjð  ~A÷  BÙ+ñ%
ó ˆŒô .¨d×.>Ñ.>À×@WÑ@WÐY_Ð`qÕYrð  |Bð  UXô  YˆŒØ(*ˆÔ%Ø%)ˆÖ"ùò%
s   Ä.4F.c                ó*  € V P                   pVP                  4       p\        R  V 4       4      pV P                  V4      pVP                  p\        R V 4       4      p\        P                  ! V^3\        P                  VR7      p^ p	V EFj  w  r«p\        V
4      \        V4      \        V4      rËp
W²,          WÂ,          rí\        P                  ! WÖR7      p\        P                  ! WæR7      p\        P                  ! W&R7      p\        P                  ! W&R7      pVR,          V,          VR,          ,           pVR,          V,          VR,          ,           pVP                  WÞW"4      P                  R	4      pVP                  WÞW"4      P                  R	4      p\        P                  ! VV3R	R7      pV
^8”  d   VP                  V
^4      pVP                  ^ ,          pVW‰V	V,           % V	V,          p	EKm  	  WX,          pVP!                  ^4      pV# )
c              3   ó>   "  € T F  w  rp\        W#4      x € K  	  R # 5irV   ©rŸ   )r–   rœ   r÷  Úws   &   r:   r˜   Ú0Qwen35VisionModel.rot_pos_emb.<locals>.<genexpr>Ú  s   é € Ð<©m¡7 1¨”S˜—Y�Y«mùs   ‚c              3   óX   "  € T F   w  rp\        W,          V,          4      x € K"  	  R # 5irV   )ro   )r–   rN   r÷  rg  s   &   r:   r˜   rh  Ý  s    é € ÐG¹©g¨a°Aœ3˜q�u q�yŸ>˜>»ùs   ‚(*r"   ©r#   r+  )r/  NNN)NNr/  N)Nr/  NN)NNNr/  r+   )r  r8  rŸ   r^  r#   r¾   r/   r}  r¢   ro   r&  Úexpandr7  ÚstackÚrepeatr¿   Úflatten)r@   Úgrid_thwÚ
merge_sizeÚgrid_thw_listÚmax_hwÚ
freq_tabler#   Útotal_tokensÚpos_idsÚoffsetÚ
num_framesÚheightr·   Úmerged_hÚmerged_wÚ
block_rowsÚ
block_colsÚ	intra_rowÚ	intra_colÚrow_idxÚcol_idxÚcoordsrA   Ú
embeddingss   &&                      r:   Úrot_pos_embÚQwen35VisionModel.rot_pos_emb×  s¿  € Ø×,Ñ,ˆ
Ø Ÿ™Ó)ˆÜÑ<©mÓ<Ó<ˆØ×(Ñ(¨Ó0ˆ
Ø×"Ñ"ˆÜÑG¹ÓGÓGˆÜ—+’+˜|¨QÐ/´u·z±zÈ&ÔQˆØˆÜ)6Ñ%ˆJ Ü(+¨J«¼¸V»ÄcÈ%Ãj ˆJØ!'Õ!5°uÕ7J�hÜŸš hÔ>ˆJÜŸš hÔ>ˆJÜŸš ZÔ?ˆIÜŸš ZÔ?ˆIØ Ð!4Õ5¸
ÕBÀYÐObÕEcÕcˆGØ Ð!4Õ5¸
ÕBÀYÐObÕEcÕcˆGØ—n‘n X¸ÓP×XÑXÐY[Ó\ˆGØ—n‘n X¸ÓP×XÑXÐY[Ó\ˆGÜ—[’[ '¨7Ð!3¸Ô<ˆFØ˜AŒ~ØŸ™ z°1Ó5�ØŸ™ a�ˆJØ28ˆG˜6 JÕ.Ð/Ø�jÕ ‹Fñ! *7ð"  Õ(ˆ
Ø×'Ñ'¨Ó*ˆ
ØÐr=   c           	     ót  € VP                  4       pV Uu. uF  p\        V^ ,          4      NK  	  ppV Uu. uF  p\        V^,          4      NK  	  ppV Uu. uF  p\        V^,          4      NK  	  ppV P                  P                  P                  p\        ^4       Uu. uF  p. NK  	  p	p\        ^4       Uu. uF  p. NK  	  p
pV EF4  w  r¼p\        V4      \        V4      rÜ\        P                  ! ^ V P                  ^,
          WÇR7      p\        P                  ! ^ V P                  ^,
          W×R7      pVP                  4       pVP                  4       pVP                  4       ^,           P                  V P                  ^,
          R7      pVP                  4       ^,           P                  V P                  ^,
          R7      pVV,
          pVV,
          pVV P                  ,          pVV P                  ,          pVR,          P                  VR,          ,           P                  4       VR,          P                  VR,          ,           P                  4       VR,          P                  VR,          ,           P                  4       VR,          P                  VR,          ,           P                  4       .p^V,
          R,          P                  ^V,
          R,          ,          P                  4       ^V,
          R,          P                  VR,          ,          P                  4       VR,          P                  ^V,
          R,          ,          P                  4       VR,          P                  VR,          ,          P                  4       .p\        ^4       F]  pV	V,          P                  VV,          P                  4       4       V
V,          P                  VV,          P                  4       4       K_  	  EK7  	  \        P                  ! V	\        P                  VR7      p\        P                  ! W P                  P                  P                  VR7      pV P                  V4      P!                  V4      VR,          ,          pV^ ,          V^,          ,           V^,          ,           V^,          ,           pTP#                  \%        WV4       UUu. uF  w  rÍWÍ,          NK  	  upp4      p. pV P&                  p \%        VWEV4       Fq  w  p!r¼pV!P)                  V^4      p!V!P+                  W¼V ,          V VV ,          V R4      P-                  ^ ^^^^^4      P                  ^ ^4      p!VP/                  V!4       Ks  	  \        P0                  ! V4      # u upi u upi u upi u upi u upi u uppi )r   rj  rf  Nr"   )r/  r/  Nr+   )r8  ro   r\  r“  r#   r2   r/   Úlinspacer]  ÚclipÚTrn  r¡   r0   r¢   r   r#  rŠ  r½   r  rm  r×  r6  r�   r«  )"r@   ro  rq  rË   Úgrid_tsÚgrid_hsÚgrid_wsr#   rœ   Úidx_listÚweight_listrN   r÷  rg  Úh_idxsÚw_idxsÚh_idxs_floorÚw_idxs_floorÚh_idxs_ceilÚw_idxs_ceilÚdhÚdwÚbase_hÚbase_h_ceilÚindicesÚweightsÚjÚ
idx_tensorÚweight_tensorÚ
pos_embedsÚpatch_pos_embedsÚpatch_pos_embeds_permuterp  r\  s"   &&                                r:   Úfast_pos_embed_interpolateÚ,Qwen35VisionModel.fast_pos_embed_interpolateõ  si  € Ø Ÿ™Ó)ˆÙ*7Ó8©- 3”3�s˜1•v–;©-ˆÐ8Ù*7Ó8©- 3”3�s˜1•v–;©-ˆÐ8Ù*7Ó8©- 3”3�s˜1•v–;©-ˆÐ8Ø—‘×&Ñ&×-Ñ-ˆÜ % a¤Ó)¡˜1“B¡ˆÐ)Ü#(¨¤8Ó,¡8˜a“r¡8ˆÐ,Ü$‰GˆA�!Ü�q“6œ3˜q›6ˆqÜ—^’^ A t×'=Ñ'=ÀÕ'AÀ1ÔTˆFÜ—^’^ A t×'=Ñ'=ÀÕ'AÀ1ÔTˆFØ!Ÿ:™:›<ˆLØ!Ÿ:™:›<ˆLØ!Ÿ:™:›<¨!Õ+×1Ñ1°d×6LÑ6LÈqÕ6PÐ1ÓQˆKØ!Ÿ:™:›<¨!Õ+×1Ñ1°d×6LÑ6LÈqÕ6PÐ1ÓQˆKØ˜,Õ&ˆBØ˜,Õ&ˆBØ! D×$:Ñ$:Õ:ˆFØ%¨×(>Ñ(>Õ>ˆKà˜•—‘ ,¨tÕ"4Õ4×=Ñ=Ó?Ø˜•—‘ +¨dÕ"3Õ3×<Ñ<Ó>Ø˜TÕ"×$Ñ$ |°DÕ'9Õ9×BÑBÓDØ˜TÕ"×$Ñ$ {°4Õ'8Õ8×AÑAÓCð	ˆGð �b•&˜$•×!Ñ! Q¨¥V¨T¥NÕ2×;Ñ;Ó=Ø�b•&˜$•×!Ñ! B t¥HÕ,×5Ñ5Ó7Ø�D•—‘˜q 2�v t�nÕ,×5Ñ5Ó7Ø�D•—‘˜b �hÕ&×/Ñ/Ó1ð	ˆGô ˜1–X�Ø˜•×"Ñ" 7¨1¥:×#4Ñ#4Ó#6Ô7Ø˜A•×%Ñ% g¨a¥j×&7Ñ&7Ó&9Ö:ô ñ1 %ô6 —\’\ (´%·*±*ÀVÔLˆ
ÜŸš [¿¹×8MÑ8M×8SÑ8SÐ\bÔcˆØ—^‘^ JÓ/×2Ñ2°6Ó:¸]È:Õ=VÕVˆ
Ø% a�=¨:°a­=Õ8¸:Àa½=ÕHÈ:ÐVWÍ=ÕXÐØ+×1Ñ1ÄSÈÔEZÔ2[ÑEZ¹T¸Q°1·5°5ÑEZÒ2[Ó\ÐØ#%Ð Ø×,Ñ,ˆ
Ü"%Ð&6¸È'Ö"RÑˆI�q˜QØ!×(Ñ(¨¨AÓ.ˆIà—‘˜q z¥/°:¸qÀJ½ÐPZÐ\^Ó_ß‘˜˜A˜q ! Q¨Ó*ß‘˜˜A“ð ð
 %×+Ñ+¨IÖ6ñ #Sô �yŠyÐ1Ó2Ð2ùòa 9ùÚ8ùÚ8ùâ)ùÚ,ùó@ 3\s"   •V¶V ÁV%Â!V*Â;V/ÓV4
c                óÌ  € V P                  V4      pV P                  V4      P                  VP                  4      pW,           pV P	                  V4      P                  VP                  4      pVP
                  ^ ,          pVP                  VR
4      pVP                  VR
4      p\        P                  ! WD3R
R7      pVP                  4       P                  R4      pVP                  4       P                  R4      pVP
                  R
,          ^,          p	WxRRV	13,          VRV	R13,          ) 3p
\        P                  ! VR,          VR,          ,          VR,          4      P                  ^ \        P                  R7      p\        P                   ! VR^ R7      p\#        VP                  RRR7      p. p\%        V P&                  4       Fr  w  rïV! WW¬R	7      pV P(                  f   K  WàP*                  9   g   K1  VP-                  V P(                  V P*                  P/                  V4      ,          ! V4      4       Kt  	  V P1                  V4      pV P(                  e   VV3# V# )r   r+  .N)r,  r   ra   FT©rƒ   Úsmall_inputrM  r+   r0  )r/  r   )r/  rE   )r/  r   )r   r   )r[  r   r#  r#   rƒ  r¿   r7  r/   r«  Úcosr6  Úsinr–  r:  r3   r"  r5  r
   Ú	enumerater_  rb  ra  r�   r?   r`  )r@   r$  ro  r�  r^  r™  Úembr¥  r¦  Úsin_halfr:  r9  rÜ  Údeepstack_featuresÚ	layer_numÚblkÚmergeds   &&&              r:   r!  ÚQwen35VisionModel.forward)  sü  € Ø×Ñ˜QÓˆØ×4Ñ4°XÓ>×AÑAÀ!Ç(Á(ÓKˆ
Ø�NˆØ×)Ñ)¨(Ó3×6Ñ6°q·x±xÓ@ˆØ—'‘'˜!•*ˆØ�I‰I�g˜rÓ"ˆØ'×/Ñ/°¸Ó<ˆÜ�iŠi˜Ð8¸bÔAˆØ�g‰g‹i×!Ñ! "Ó%ˆØ�g‰g‹i×!Ñ! "Ó%ˆØ—9‘9˜R•= AÕ%ˆØ"¨¨Y¨h¨Y¨Õ$7¸#¸cÀ8Á9¸nÕ:MÐ9MÐNÐÜ×,Ò,Ø�T�N˜X d�^Õ+¨X°d­^ó
ç
‰&�QœeŸk™kˆ&Ó
*ð 	ô —U’U˜: v°QÔ7ˆ
Ü<¸Q¿X¹XÈEÐ_cÔdÐØÐÜ'¨¯©Ö4‰NˆIÙ�AÐBUÔˆAØ×)Ñ)Ô5¸)×GdÑGdÖ:dØ"×)Ñ)¨$×*DÑ*DÀT×EbÑEb×EhÑEhÐirÓEsÖ*tÐuvÓ*wÖxñ 5ð —‘˜Q“ˆØ×%Ñ%Ò1ØÐ-Ð-Ð-Øˆr=   )r_  rb  ra  ré   r`  r]  r  r  r[  r	  r\  r^  r  rZ  r¨  )ru   rv   rw   rx   rˆ   rƒ  r   r!  r|   r}   r(  r)  s   @@r:   rX  rX  À  s   ù‡ € ÷*ò,ò<23÷hò r=   rX  c                   ó<   a a€ ] tR tRt oRV 3R lltR tRtVtV ;t# )ÚMTPHeadiE  c           
     ó  <€ \         SV `  4        VP                  VP                  ^,          VP                  RW#R7      V n        \        VP                  VP                  VP                  W#R7      V n        \        VP                  VP                  VP                  W#R7      V n	        \        P                  ! \        V^W#VR7      .4      V n        \        VP                  VP                  VP                  W#R7      V n        R# )rE   Frb  r¸  rü  N)r   rˆ   rq  ré   Úfcr   rö   rú   Úpre_fc_norm_embeddingÚpre_fc_norm_hiddenr{  r  rê  r  r�  rÃ  s   &&&&&€r:   rˆ   ÚMTPHead.__init__G  sÖ   ø€ Ü‰ÑÔØ—*‘*˜V×/Ñ/°!Õ3°V×5GÑ5GÈeÐ\b�*ÓpˆŒÜ%,¨V×-?Ñ-?ÀV×EXÑEXÐ^d×^qÑ^qð  {Aô  &OˆÔ"Ü")¨&×*<Ñ*<À&×BUÑBUÐ[a×[nÑ[nÐw}ô  #LˆÔÜ—m’mÔ%;¸FÈ!ÐTZÐmpÔ%qÐ$rÓsˆŒÜ˜F×.Ñ.°F×4GÑ4GÈV×M`ÑM`ÐioÔ}ˆŽ	r=   c                ó$  € V P                  \        P                  ! V P                  V4      V P	                  V4      .RR7      4      p\        VP                  RRR7      pV P                  ^ ,          ! VRW6VR7      w  rWV P                  V4      V3# )r   r+  FTr£  Nrõ  r+   )	r²  r/   r«  r³  r´  r
   r#   r  r�  )r@   Úembedsrƒ  r®  r—  r$  Ú	attentionrœ   s   &&&&&   r:   r!  ÚMTPHead.forwardO  s   € Ø�G‰G”E—I’I˜t×9Ñ9¸&ÓAÀ4×CZÑCZÐ[aÓCbÐcÐikÔlÓmˆÜ2°1·8±8À%ÐUYÔZˆ	Ø�{‰{˜1Ž~˜a°À	ð  zHô  I‰ˆØ�y‰y˜‹|˜QˆÐr=   )r²  r  r�  r³  r´  r¨  r©  r)  s   @@r:   r°  r°  E  s   ù‡ € ÷~÷ò r=   r°  c                   ó‚   a a€ ] tR tRt oRtV 3R ltR tR tRRRRRR. R3V 3R lltRV 3R	 llt	RR
 lt
R tRtVtV ;t# )ÚQwen35iW  ræ   c                ón  <€ \         SV `  4        \        V P                  V4      pVP                  V n        \        WSW$R 7      V n        RV n        VP                  '       d   \        WSW$R 7      V n        V P                  P                  .VP                  '       d   V P                  .M. ,           VP                  '       d   V P                  P                  .M. ,           pV Fn  pVP                  4        FW  p\        V\        P                  P                   4      '       g   K/  RVn        VP$                  f   KF  RVP$                  n        KY  	  Kp  	  \&        P)                  V P                  / 4      P)                  R/ 4      p	/ \*        CV	CRVP,                  /Cp
\/        W£W$R 7      V n        W n        R# )rì  NTr  rS  )r   rˆ   r  r  rë   Ú
num_layersrú  Úmodelr  r°  r  rþ   Úmodulesr�  rt  ru  ÚMixedPrecisionOpÚcomfy_gemv_optimizedÚ_combined_linearr  r  ÚQWEN35_VISION_DEFAULTSré   rX  Úvisualr   )r@   r  r   r#   Ú
operationsr‚  Údecode_unitsÚunitÚmÚvision_overridesÚvision_configr&  s   &&&&&      €r:   rˆ   ÚQwen35.__init__Z  sV  ø€ Ü‰ÑÔÜ˜dŸo™o¨{Ó;ˆØ ×2Ñ2ˆŒÜ& vÀEÔZˆŒ
ØˆŒØ�:�:ˆ:Ü˜v¸EÔRˆDŒHàŸ
™
×)Ñ)Ð*¸F¿J¿J¸J¨t¯x©x©jÈBÕOÐkq×ky×kyÐkyÐTX×T^ÑT^×TfÑTfÑSgð  @Bõ  CˆÛ ˆDØ—\‘\–^�Ü˜a¤§¡×!;Ñ!;×<Ô<Ø-1�AÔ*Ø×)Ñ)Ô5ØBF˜×*Ñ*Ö?ó	 $ñ !ô )×,Ñ,¨T¯_©_¸bÓA×EÑEÀhÐPRÓSÐØmÔ1ÐmÐ5EÐmÐGXÐZ`×ZlÑZlÑmˆÜ'¨ÈEÔbˆŒØŽ
r=   c                óˆ  € V P                   P                  4       w  r\        V P                   R 4      '       d   V P                   P                  MV P                   P                  pV P
                  f   TMW0P
                  3p\        V P                   R 4      '       d    V.VO. VOV P                   P                  N3# V.VOV3# )rþ   )r¾  Úget_dynamic_vram__unitsÚhasattrrþ   r  r  )r@   ÚunitsÚ
last_unitsÚheadÚhots   &    r:   rÍ  ÚQwen35.get_dynamic_vram__unitso  s£   € Ø ŸJ™J×>Ñ>Ó@Ñˆô &-¨T¯Z©Z¸×%CÒ%Cˆt�z‰z×!Ò!ÈÏÉ×I`ÑI`ˆØ—h‘hÒ&‰d¨T·8±8Ð,<ˆÜ�4—:‘:˜y×)Ò)Ø�=˜%�=Ð"H JÐ"H°·
±
×0GÑ0GÐ"HÐHÐHØˆ}�eˆ}˜jÐ(Ð(r=   c           	     ó
  € VR ,          R8X  dn   \         P                  P                  P                  VR,          ^. RO. ROR7      w  r4V P	                  VP                  V\        P                  R7      V4      V3# VR ,          R8X  dz   VR,          w  rV\         P                  P                  P                  VR,          WV^. RO. ROR7      w  rtV P	                  VP                  V\        P                  R7      V4      V3# R# )	r5   ÚimageÚdata)r	  Ú
image_meanÚ	image_stdr   ÚvideoÚsize)r-  r-  r-  ©NN)	rt  Útext_encodersÚqwen_vlÚprocess_qwen2vl_imagesrÄ  r#  r/   r4  Úprocess_qwen2vl_video)r@   Úembedr#   rÕ  Úgridrx  r·   rÙ  s   &&&     r:   Úpreprocess_embedÚQwen35.preprocess_embedz  sð   € Ø��=˜GÔ#ä×-Ñ-×5Ñ5×LÑLÈUÐSYÍ]Ðgiò  wFò  RaÐLó  b‰KˆEØ—;‘;˜uŸx™x¨´e·m±m˜xÓDÀdÓKÈTÐQÐQØ��=˜GÔ#Ø! &�M‰MˆFÜ×-Ñ-×5Ñ5×KÑKÈEÐRXÍMÐ[aÐuwò  ETò  `oÐKó  p‰KˆEØ—;‘;˜uŸx™x¨´e·m±m˜xÓDÀdÓKÈTÐQÐQØÐr=   NTc
                ó¶   <€ \         P                  P                  P                  WƒP                  ^,          VP
                  4      p
\        SV `  WW4WVWzV	R7	      # )r   )rÛ  r·  rA   Úintermediate_outputÚfinal_layer_norm_intermediater   r  Úpast_key_values)rt  rÜ  rÝ  Úqwen2vl_mrope_position_idsr¿   r#   r   r!  )r@   r$  rÛ  r·  rA   rå  ræ  r   Úembeds_inforç  r  r&  s   &&&&&&&&&& €r:   r!  ÚQwen35.forward…  sb   ø€ Ü×*Ñ*×2Ñ2×MÑMÈk×[gÑ[gÐhiÕ[jÐlr×lyÑlyÓzˆÜ‰w‰˜qÈð  |Oð  TYð  FUˆó  Vð  	Vr=   c                óŠ  <€ VP                  R R4      pV P                  e   V'       d   VP                  R4      e%   \        SV `  ! RRVRVRVRVRVR	VR
VRVRV	RV
/
VB # RpV'       d8   VR8w  d1   RTRTR	TR
TRTRVP                  RR4      ;'       g    RRV	e   T	M^*/pV P                  WW¬WÛP                  R4      R7      # )r  TNÚinitial_input_idsr·  Ú	do_sampleÚ
max_lengthÚtemperatureÚtop_kÚtop_pÚmin_pÚrepetition_penaltyÚseedrÿ   ç        Úpresence_penaltyr  )Úsamplingr  r›   )r  r  r  r   ÚgenerateÚ_generate_mtp)r@   r·  rí  rî  rï  rð  rñ  rò  ró  rô  rÿ   r˜  r  r÷  r&  s   &&&&&&&&&&&,  €r:   rø  ÚQwen35.generate‰  s0  ø€ Ø�j‰j˜ Ó%ˆØ�8‰8Ò§3¨&¯*©*Ð5HÓ*IÒ*UÜ‘7Ò#ñ R¨6ð R¸Yð RÐS]ð RÐkvð RØ*/ðRØ7<ðRØDIðRØ^pðRà)-ðRà;FðRàJPñRð Rð ˆß˜¨Ô+Ø% {°G¸UÀGÈUÐT[Ð]bØ,Ð.@Ø*¨F¯J©JÐ7IÈ3Ó,O×,VÐ,VÐSVØ¨Ò(8¡¸bðBˆHð ×!Ñ! &°kÐQY×hrÑhrð  tBó  iCÐ!ó  Dð  	Dr=   c                ó   a aaa"a#a$a%a&a'a(a)a*a+a,a-a.a/a0a1a2a3a4a5a6a7a8a9a:a;a<a=a>a?a@aAaBaC€ VP                   o&S P                  P                  pSf   VP                  o\        P
                  P                  S&4      '       d   \        P                  M\        P                  o.VP                  S.4      pVP                  ^8X  d   VP                  ^ 4      pVP                  ^,          V,           ^,           pS P                  VP                  ^ ,          VS&S.4      o9S P                  P                   ^ ,          P"                  P                  VP                  ^ ,          VS&S./ 4      o5\%        S P                  R4      '       d   S P                  P&                  MS P                  P(                  o4V43R loAR o2Se.   \        P*                  ! S&R7      P-                  SR,          4      o2SR J;'       d    \/        SR,          SR,          4      o8Vf   ^ M>\1        VR#,          P3                  4       4      ^,           VP                  ^,          ,
          o<\5        S P                  P7                  \        P8                  ! S<VS<,           S&\        P:                  R7      P                  ^ 4      S&4      4      o1R$V13R	 llo0\        P<                  ! VP                  ^ ,          ^3S&\        P>                  R7      o6\        P<                  ! VP                  ^ ,          ^VP@                  3S&S.R7      o3S P                  PC                  R VR S9VR
7      w  p	 p
S PE                  V	4      R#,          pSf$   S6PG                  VPI                  R"RR7      4       MSS6PG                  S PK                  VSR,          SR,          SR,          SR,          SR,          . S2SR,          R7	      4       S8'       d:   \        PL                  ! VP                  R",          3S&\        PN                  R7      MR o7S3PG                  V	RR"R 1R3,          4       ?	?\%        S P                  P(                  R4      '       da   S P                  P(                  PP                  ^ ,          p\        P
                  PS                  4        VPU                  VPV                  4       S6^ ,          PY                  4       .pS8'       d#   S7P[                  ^ S6P]                  R"4      R4       VP                  ^,          o:\        P^                  Pa                  V4      o;\c        VR^R7      o$V$V;3R lpVRJ o"R%p\e        ^4       U
u. uF  p
R.^,          NK  	  pp
^ RRpppS"'       d(   \        PL                  ! R&S&\        P>                  R7      MR o+S"'       dK   S&Pf                  R8X  d:   \e        ^4       U
u. uF#  p
\        Ph                  Pk                  RR7      NK%  	  up
MR o=R.^,          o#\l        S"'       d   RMT,          w  pp\o        S"'       d   \q        V4      MTVS&4      o>S>Pr                  o%S9 F9  p\u        V\v        4      '       d   S>VPx                  R&   K*  S>VPz                  R&   K;  	  \        PL                  ! VP                  ^ ,          S>P|                  3S&\        P>                  R7      oC\        P<                  ! VP                  ^ ,          S>P|                  VP@                  3S&S.R7      S0! S:S>P|                  4      P                  4       3o@\        P<                  ! VP                  ^ ,          S"'       d   ^MS>P€                  3S&\        P>                  R7      o-S P                  P‚                  o?S?;'       d     \        P„                  P‡                  S&4      pS P                  P(                  o/\        Pˆ                  ! S64      o,\        Pˆ                  ! S34      o(\        Pˆ                  ! S34      o*S0! S:4      P                  4       o)V"V&V(V)V*V,V-V.V/V0V4V5V V>V?3R lo'V2V7V8VV V>VC3R loBV"V#V%V&V'V+V.V3V5V6V7V8V9V:V<VV V=V>V@VAVBVC3R lp \‹        V4      V8  Ed   VR",          S9  Ed   V'       d    \        P„                  P�                  S&4      M\Ž        P�                  ! 4       ;_uu_ 4        V! 4       w  ppR R R 4       S"'       Ed0   V^,          pV F*  p\e        ^4       F  pVV;;,          R,          uu&   K  	  K,  	  \“        X4       F"  w  ppVV,          V;;,          ^,          uu&   K$  	  V^8”  dt   V^	8X  d   RMR pVVS#^,          S#^ ,          ,
          \‹        V4      ,          V,
          ,          ,          pVVS#^,          S#^,          ,
          V,
          ,          ,          pV^ ,          ^ 8X  d>   \•        VVVV4      p V V8w  d)   T pS>P—                  \q        V4      4       S>Pr                  o%\™        XR V\‹        V4      ,
           4      p\›        V3R! l\“        V4       4       R 4      p!V!e   VV!^,           R 1 VP�                  V4       V! \‹        V4      4       EK!  S$PŸ                  4        \        P„                  P¡                  4        V# u up
i u up
i   + '       g   i     ELõ; i  S$PŸ                  4        \        P„                  P¡                  4        i ; i)'Nrþ   c                 óL  <€ SP                   '       g2   \        P                  ! V SP                  P	                  V 4      R 4      # \
        P                  P                  SV RR7      ;_uu_ 4       w  r\        P                  ! W4      uuR R R 4       #   + '       g   i     R # ; i)NTr‡  )Úcomfy_cast_weightsr"  Úlinearr“  r#  rt  ru  r‹  )r$  rg  Ú_biasrÑ  s   &  €r:   Úverify_logitsÚ+Qwen35._generate_mtp.<locals>.verify_logits¦  sk   ø€ Ø×*×*Ð*Ü—x’x  4§;¡;§>¡>°!Ó#4°dÓ;Ð;Ü—‘×0Ñ0°°qÀdÐ0×KÔKÉzÐPQÜ—x’x “~÷ L×K×KÓKús   Á/BÂB#	rj  rô  ró  rö  r/  rd  c                 ó,   <€ SR R W V,           13,          # )r/  r›   )rÍ   r8   Úftabs   &&€r:   Úfreqs_atÚ&Qwen35._generate_mtp.<locals>.freqs_at·  s   ø€ Ø˜˜1˜a A¥˜g˜Õ&Ð&r=   )r·  rÛ  rç  r  T©r,  Úkeepdimrï  rð  rñ  rò  )rö  Ú_vzGenerating tokens)ÚtotalÚdescÚinitialc                 óL   <€ SP                  V 4       SP                  V 4       R # rV   )r…   )r8   ÚconsoleÚprogresss   &€€r:   Úupdate_progressÚ-Qwen35._generate_mtp.<locals>.update_progressÒ  s   ø€ Ø�O‰O˜AÔØ�N‰N˜1Ör=   rõ  r    )Úenable_timingr±   r*   c           
      óz  <a€ SP                  ^4       SP                  V 4       SP                  V4       S
P                  S! V4      4       \        SR4      ;'       dV    SP                  RJ ;'       d@    \	        SP
                  4      ^ 8H  ;'       d     \        P                  P                  S4      o\        P                  P                  S'       d   RMSSSP                  ..SRSP                  P                  /4      pV	VVVV3R lpVV	V
VVVVVV3	R lp\        P                  P                  TSSSTS;'       d    S'       * ;'       d    SSJRR7       \        P                  P                  VSSSVSRR7       \        P                  P                  VSRRR7       SP                  ^4       SSS3# )	r   r  Nrþ  c                  ó–   <€ S P                  S'       d   SP                  SSR 7      4       R# S! S4      P                  S4      4       R# )©Ú	out_dtypeN)rK   Ú	host_rowsr#  )Ú	draft_embÚdraft_tokenÚdtrà  r  s   €€€€€r:   Ú
embed_coreÚ7Qwen35._generate_mtp.<locals>.draft.<locals>.embed_coreü  s6   ø€ Ø—‘Ïi §¡°Àr Ó JÖwÑ]bÐcnÓ]o×]rÑ]rÐsuÓ]vÖwr=   c                  ó
  <	€ S
P                  SSSS	4      w  rSP                  V4       S
P                  V 4      R,          pS'       dF   SP                  VP                  ^RR7      P                  4       SP                  SR,          4       M"SP                  VP                  RRR7      4       SP                  ^8”  dC   S'       g9   SP                  VP                  SP                  RR7      P                  4       R# R# R# )r/  r+  Tr  Nr+   ©r/  r+   ©r/  :Nr   N)r  rK   ÚlogitsÚtopkr˜  Úargmaxr    )Ún1Úr1r  Úadaptiver  Údraft_freqsÚdraft_hiddenr  Ú	draft_topÚmtp_kvr@   r*   s      €€€€€€€€€r:   ÚcoreÚ1Qwen35._generate_mtp.<locals>.draft.<locals>.coreÿ  sÀ   ø€ ØŸ™ )¨\¸;ÈÓO‘�Ø×"Ñ" 2Ô&ØŸ™ R›¨Õ/�ßØ—O‘O F§K¡K°°r KÓ$:×$BÑ$BÔCØ×%Ñ% i°Õ&6Õ7à×%Ñ% f§m¡m¸ÀD mÓ&IÔJØ—;‘; ”?¯8Ø—O‘O F§K¡K°·±À KÓ$D×$LÑ$LÖMñ ,4‘?r=   r  )r)  Úenable_graphÚmalloc_scope)r,  )rO   rK   rÎ  Úweight_lowvram_functionrJ   Úweight_functionrt  ru  Úvbar_above_watermarkÚmodel_prefetchÚmake_prefetch_queuer  r¾  rþ  Úprefetch_queue_popÚadvance)Útokenrƒ  rÍ   Úqueuer  r)  r  r$  r#   r  r%  r&  r  r'  r  rà  r  rÑ  r(  r@   r*   Ú	use_graphs   &&&   @€€€€€€€€€€€€€€€r:   ÚdraftÚ#Qwen35._generate_mtp.<locals>.draftñ  sÆ  ù€ à�N‰N˜1ÔØ×Ñ˜eÔ$Ø×Ñ˜vÔ&Ø×Ñ™h q›kÔ*Ü  tÓ,÷  eð  e°×1NÑ1NÐRVÐ1V÷  eð  eÔ[^Ð_d×_tÑ_tÓ[uÐyzÑ[z÷  eð  eô  @E÷  @Iñ  @I÷  @^ñ  @^ð  _dó  @eˆIÜ×(Ñ(×<Ñ<ß"‘¨°°d·h±hÐ/?Ð@À&Ø)¨4¯:©:×+LÑ+LÐMóOˆE÷xñ x÷
Nõ 
Nô × Ñ ×3Ñ3°E¸6À5È"ÐS]Ø?H×?pÐ?pÐQZÌ]×?pÐ?pÐ_dÐlpÐ_pð  @Eð 4ô Fä× Ñ ×3Ñ3°E¸6À4ÈÐRVØ?HÐW\ð 4ô ^ä× Ñ ×3Ñ3°E¸6À4ÐV[Ð3Ô\Ø�N‰N˜1ÔØ 	¨<Ð7Ð7r=   c           
      ó^  <€ SpV ^ ,          P                  4       pS'       dÊ   SP                  ^ 4      P                  S
P                  ^4      p\	        ^S
P                  4       FT  pW4,          P                  VS
P                  V,          ,          4       W4,          P                  ^ SRV3,          R4       KV  	  \        P                  ! V\        W!R,          VR,          4      V4      pS	P                  W!R,          VR,          VR,          VR,          R	. S4      P                  ^ ^4      # )
r   r/  Tró  rö  rï  rð  rñ  rò  r¼   )r  r6  rm  r‚   r2   rK   rŒ   Úindex_fill_r/   Úwherer   Úsample_tokenr2  )ÚlgÚsr‚   rƒ   r‘   Ú	generatorÚpen_maskÚ	penalizedr÷  r@   r*   Úverify_tokenss   &    €€€€€€€r:   Úverify_sampleÚ+Qwen35._generate_mtp.<locals>.verify_sample  só   ø€ ØˆAØ�a•5—;‘;“=ˆDßà×)Ñ)¨!Ó,×3Ñ3°D·I±I¸qÓA�Ü˜q $§)¡)Ö,�AØ•G—M‘M $ t§{¡{°1¥~Õ"6Ô7Ø•G×'Ñ'¨¨=¸¸A¸Õ+>ÀÖEñ -ô —{’{ 4¬°tÐ?SÕ=TÐVWÐXjÕVkÓ)lÐnrÓs�Ø×$Ñ$ T¨]Õ+;¸Q¸w½ZÈÈ7ÍÐUVÐW^ÕU_Ø%(¨"¨ió9ß9B¹À1Àa»ðIr=   c            	      óÂ  <aaaa€ S'       dW   S.'       d7   S.^ ,          P                  \        P                  P                  S 4      4       M\        P
                  ! 4       S^ &   S3R,          P                  S&4       S$p \        S4       Fâ  pS!! S3RW^,           13,          V S*V,           4      w  r#p S'       d    S"V,          P                  V^ ,          4       S/P                  V,          pS3RV^ ,          V^ ,          ^,           13,          P                  V4       \        VR,          ^4       F8  w  rVS3RWf^,           13,          P                  VRWU^,           13,          4       K:  	  Kä  	  S'       dW   S.'       d7   S.^,          P                  \        P                  P                  S 4      4       M\        P
                  ! 4       S^&   S-P                  P                  p\        VR4      '       db   VP                  fT   \        VP                  4      ^ 8X  d:   \         P"                  P%                  V4      '       d   VP'                  S3S#R7      pMV! S34      P)                  S#4      pS/P*                  S*,           S+,           p	S-P                  P-                  RVRS)V	S0R7      w  p
 pS1! V
4      pS,f   VP/                  RR7      MS2! V4      pS'       dW   S.'       d7   S.^,          P                  \        P                  P                  S 4      4       M\        P
                  ! 4       S^&   V^ ,          S3R,          .pS'       d!   VP1                  S"P3                  R4      4       \        P4                  ! V4      P7                  4       pVRS/P8                   R.VS/P8                  ^S/P8                  ,          ^,
           ,           uoo^ .o \;        VVV3R	 lS/P                  SR,          ,           4       R4      oSf   MSP1                  S4       KI  . pS'       dÒ   S F\  oSS8¼  d    MTV^^S,          ,           ^^S,          ,            pVP1                  \;        VV3R
 l\        V4       4       ^4      4       K^  	  S.'       dL   RS.^ ,          P=                  S.^,          4      S.^ ,          P=                  S.^,          4      uS^ &   S^&   S^&   MS Uu. uF  pVR,          NK  	  upSR&   \>        ;QJ d    . V3R lSR,           4       F  NK  	  5M! V3R lSR,           4       4      SSR,          ,          3,           pSR,          pVRVV^,           13,          p\        S4      S/P8                  8  d5   S) F.  pVPA                  S/P8                  \        S4      ,
          4       K0  	  V\        S4      ^,
          8H  pV'       g   S) F  pVPC                  S*S4       K  	  \E        V'       d   \        S4      M\        S4      ^,
          S4      pVS8  d   S%PA                  SV,
          4       S&P                  V4       S$P                  V
RVV^,           1R3,          4       S('       dO   SR,           F  pS'PG                  ^ S3RV3,          R4       K!  	  S'PG                  ^ S&P3                  R4      R4       S*\        V4      ,          o*VV3# u upi )r   r/  r�   r  Nr  )r·  rÛ  rç  r  Údecode_buffersr+  Tc              3   ód   <"  € T F%  pSV,          SSR,          ,          8X  g   K!  Vx € K'  	  R# 5i)r   Nr+   r›   )r–   r—   Údrr)   rN   s   & €€€r:   r˜   Ú5Qwen35._generate_mtp.<locals>.step.<locals>.<genexpr>P  s)   øé € ÐXÑ(? 1À2ÀaÅ5ÈAÈdÐSUÍhÍKÑCWŸQšQÓ(?ùs   ƒ0¦
0c              3   óL   <"  € T F  w  rVSS,          8X  g   K  Vx € K  	  R # 5irV   r›   )r–   r‘   r4  r�   rN   s   &  €€r:   r˜   rI  Z  s&   øé € Ð&cÑ9N©X¨QÐRWÐ[\Ð]aÕ[bÑRb§q¢qÓ9Nùs   ƒ$š
$rõ  iè  c              3   ó6   <"  € T F  pSV,          x € K  	  R # 5irV   r›   )r–   r‘   rH  s   & €r:   r˜   rI  _  s   øé € Ð3©( Q˜2˜aŸ5š5«(ùs   ƒr  r+   )r   r�   )$rL   r/   r    rM   ÚtimeÚperf_counterrK   r2   rŽ   r§  r¾  r  rÎ  r-  rJ   r.  rt  ru  r/  r  r#  r„   r!  r!  r�   r7  r«  r8  r‚   ÚnextÚelapsed_timeÚtuplerX   rS   Úminr:  )4Úhid_inrå  ÚdkÚtoprŽ   rš  r—   rà  ÚevÚ
verify_posr$  rœ   r=  ÚtoksÚpacketÚvalsÚranksÚ
candidatesrN   ÚcommitrË   Únext_tokr�  Úon_chainÚkeptr‘   rH  r�   r)   r$  Úclocksr�   r#   r7  Údraft_ranksr  Úh_bufr(  Únt_bufr@  rA  ÚpkvÚposÚrope_offsetr÷  r@   Útimersr*   Úverify_buffersr   rC  rB  s4                     `       @@@€€€€€€€€€€€€€€€€€€€€€€€r:   r&   Ú"Qwen35._generate_mtp.<locals>.step!  s€  ü€ ÷ ßØ˜1•I×$Ñ$¤U§Z¡Z×%>Ñ%>¸vÓ%FÕGä $× 1Ò 1Ó 3�F˜1‘Ià˜%Õ ×&Ñ& vÔ.ØˆFÜ˜5–\�Ù"'¨°a¸¸q½5¸°jÕ(AÀ6È3ÐQRÍ7Ó"S‘�˜ßØ •N×(Ñ(¨¨Q­Ô0ØŸ=™=¨Õ+�Ø˜a ¨!¥¨X°a­[¸1­_Ð!<Ð<Õ=×CÑCÀBÔGÜ% h¨r¥l°AÖ6‘D�AØ! ! Q¨1¥u W *Õ-×3Ñ3°C¸¸1À½U¸7¸
µOÖDó 7ñ "÷ ßØ˜1•I×$Ñ$¤U§Z¡Z×%>Ñ%>¸vÓ%FÕGä $× 1Ò 1Ó 3�F˜1‘IØ—J‘J×+Ñ+ˆEÜ�u˜d×#Ò#¨×(EÑ(EÒ(MÔRUÐV[×VkÑVkÓRlÐpqÔRqÔv{×vÑv÷  wUñ  wUð  V[÷  w\ò  w\Ø—_‘_ ]¸b�_ÓA‘á˜=Ó)×,Ñ,¨RÓ0�ØŸ™¨#Õ-°Õ;ˆJØ—j‘j×(Ñ(¨°bÈÐ_bÐq{ð  M[Ð(ó  \‰GˆAˆq�!á˜qÓ!ˆBØ(0Ò(8�2—9‘9 �9Ô$¹mÈBÓ>OˆDßßØ˜1•I×$Ñ$¤U§Z¡Z×%>Ñ%>¸vÓ%FÕGä $× 1Ò 1Ó 3�F˜1‘IØ˜1•g˜}¨UÕ3Ð4ˆFßØ—‘˜k×1Ñ1°"Ó5Ô6Ü—9’9˜VÓ$×+Ñ+Ó-ˆDØ˜˜$Ÿ)™)Ð$ t f¨t°D·I±I¸aÀ$Ç)Á)½mÈaÕ>OÐ/PÕ&PˆEˆAˆrà�3ˆDØÜÖX¨¯©°d¸2µhÖ(?ÓXÐZ^Ó_�Ø’<ØØ—‘˜DÖ!ØˆEßÛ �DØ˜u”}ÙØ!% b¨1¨t­8¥m°B¸¸T½µMÐ!B�JØ—L‘L¤Õ&c¼À:Ô9NÓ&cÐefÓ!gÖhñ	 !÷
 Ø69¸6À!½9×;QÑ;QÐRXÐYZÕR[Ó;\Ð^dÐefÕ^g×^tÑ^tÐu{Ð|}Õu~Ó^Ð3�F˜1‘I˜v a™y¨&°ª)á39Ó :±6¨a  T§ ±6Ñ :�F˜1‘Iß”UÔ3¨$¨r®(Ó3—U‘UÔ3¨$¨r®(Ó3Ó3°q¸¸b½µ{°nÕDˆFØ�r•(ˆCØ˜A˜s 3¨¥7˜{˜NÕ+ˆHÜ�4‹y˜4Ÿ9™9Ô$Û�BØ—K‘K §	¡	¬C°«IÕ 5Ö6ñ àœc $›i¨!�mÑ+ˆHßÛ�BØ—N‘N 3¨Ö-ñ ô §H”s˜4”y´#°d³)¸aµ-ÀÓGˆDØ�eŒ|Ø—‘ ¨¥Ô-Ø�L‰L˜Ô"Ø�K‰K˜˜!˜S  q¥˜[¨!Ð+Õ,Ô-ßØ˜bŸ˜�AØ×(Ñ(¨¨M¸!¸Q¸$Õ,?ÀÖFñ "à×$Ñ$ Q¨¯©°rÓ(:¸DÔAØ”3�v“;ÕˆCØ˜5�=Ð ùò- !;s   Ó[g     €ï?r¼   rº   c              3   ó>   <"  € T F  w  rVS9   g   K  Vx € K  	  R # 5irV   r›   )r–   rÓ   rN   rÿ   s   &  €r:   r˜   Ú'Qwen35._generate_mtp.<locals>.<genexpr>�  s   øé € ÐQÑ+<¡4 1ÀÀ[Ñ@PŸQšQÓ+<ùs   ƒ“
r+   r  rt   )é   r3  )é   rm  )Qr#   r¾  r‚  rÿ   rt  r�  Úshould_use_bf16r/   rÉ  r4  r#  Úndimr6  r¿   rÑ  r  r  rï  rÎ  rþ   r  Ú	GeneratorÚmanual_seedr   ro   rŸ   r   r  r&  r  r}  r¢   ré   r!  r  rK   r!  r<  r4   r  r  Úreset_cast_buffersÚset_watermarkÚmax_sizeÚitemr:  r7  ÚutilsÚProgressBarr   r2   r5   r    r7   Ú	MTP_MODESr€   r¸   rž   r�  r   rG   Útrackerr‚   r>  r    rÿ  r0  Úmalloc_graph_enabledÚ
empty_likerJ   Úmalloc_graph_scopeÚ
contextlibÚnullcontextr§  rÏ   r…   r1   rN  r¡   ÚcloseÚcleanup_prefetch_queues)Dr@   r·  rî  rÿ   r  r÷  r  ÚcfgÚcapr$  rœ   Úlg0ÚvbarÚidsr  r¶   rÉ   ÚstepsrÃ   rÅ   r‡   r†   r�  Úcompile_allocationsr&   r\  rZ  rË   r‘   ÚlevelÚrankÚmixrÎ   Ústopr$  r`  r  r�   r#   r7  r  r%  r&  ra  r  r'  r  rà  r  r  r?  rb  rÑ  r(  rc  r@  rA  rd  re  r  rf  rg  r*   r6  rh  r   rC  rB  sD   f&&f&f&                           @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@r:   rù  ÚQwen35._generate_mtp—  s£  ÿÿÿÿü€ Ø—‘ˆØ�j‰j×ÑˆØÒØŸ/™/ˆKÜ$×5Ñ5×EÑEÀf×MÒMŒU�^Š^ÔSX×S`ÑS`ˆØ—‘˜2“ˆØ�;‰;˜!ÔØ×%Ñ% aÓ(ˆFØ�l‰l˜1�o 
Õ*¨QÕ.ˆØ× Ñ  §¡¨a¥°#°v¸rÓBˆà—‘—‘ Õ#×-Ñ-×;Ñ;¸F¿L¹LÈ½OÈSÐRXÐZ\Ð^`ÓaˆÜ%,¨T¯Z©Z¸×%CÒ%Cˆt�z‰z×!Ò!ÈÏÉ×I`ÑI`ˆõ	&ð ˆ	ØÒÜŸš¨vÔ6×BÑBÀ8ÈFÕCSÓTˆIØ DÐ(×yÐy¬^¸HÐEYÕ<ZÐ\dÐewÕ\xÓ-yˆ	ð (Ò/‘a´S¸ÀeÕ9L×9PÑ9PÓ9RÓ5SÐVWÕ5WÐZ`×ZfÑZfÐghÕZiÕ5iˆô ˜4Ÿ:™:×7Ñ7¼¿ºÀ[ÐRUÐXcÕRcÐlrÔz÷  {Fñ  {Fô  9G÷  9Qñ  9Qð  RSó  9Tð  V\ó  ]ó  ^ˆ÷	'ô —’˜fŸl™l¨1�o¨qÐ1¸&ÌÏ
É
ÔSˆÜ—’˜VŸ\™\¨!�_¨a°·±ÐAÈ&ÐXZÔ[ˆØ—*‘*×$Ñ$ T°&ÈÐ_bÐq}Ð$Ó~‰ˆˆ1ˆaØ�k‰k˜!‹n˜UÕ#ˆØÒØ�L‰L˜Ÿ™¨°D˜Ó9Õ:à�L‰L˜×*Ñ*¨3°¸Õ0GÈÐRYÕIZÐ\dÐelÕ\mÐowÐxõ  pAØ+3Ð4HÕ+IÈ2ÈyÐksð  uGõ  lHð +ó Iô JçU^”5—;’; §	¡	¨"¥Ð/¸ÄeÇjÁjÕQÐdhˆØ�‰�A�a˜™˜a�i•LÔ!ØˆsÜ�4—:‘:×*Ñ*¨D×1Ò1Ø—:‘:×*Ñ*×-Ñ-¨aÕ0ˆDÜ×"Ñ"×5Ñ5Ô7Ø×Ñ˜tŸ}™}Ô-Ø�a�y�~‰~ÓÐ ˆßØ× Ñ   F§N¡N°2Ó$6¸Ô=Ø�l‰l˜1�oˆÜ—;‘;×*Ñ*¨:Ó6ˆÜ˜ZÐ.AÈ1ÔMˆö	ð ˜$�;ˆàˆÜ#(¨¤8Ó,¡8˜a��˜—	�	¡8ˆÐ,Ø%&¨¨S˜ˆxˆßNV”e—k’k &°¼u¿z¹zÕJÐ\`ˆßMUÐZ`×ZeÑZeÐioÔZoÄÀaÄÓIÁ¸1”%—*‘*×"Ñ"°Ð"Ö6ÁÒIÐuyˆØ�˜•ˆÜ"¯X¡6¸3Õ?‰ˆ�$Ü¯xœ) FÔ+¸TÀ8ÈVÓTˆØ—
‘
ˆÛˆBÜ˜"œh×'Ò'Ø)-�—‘˜vÓ&à%)�—
‘
˜6Ó"ñ	 ô
 Ÿš V§\¡\°!¥_°d·i±iÐ$@ÈÔW\×WaÑWaÔbˆÜŸ+š+ v§|¡|°A¥¸¿	¹	À3Ç?Á?Ð&SÐ\bÐjlÔmÑowÐx{ð  ~B÷  ~Gñ  ~Gó  pH÷  pNñ  pNó  pPð  QˆÜ—K’K §¡¨a¥·x±!ÀTÇ[Á[Ð QÐZ`Ôhm×hrÑhrÔsˆ	Ø—J‘J×8Ñ8ˆ	Ø'×]Ð]¬E×,@Ñ,@×,UÑ,UÐV\Ó,]ÐØ—
‘
×'Ñ'ˆÜ×&Ò& vÓ.ˆÜ×$Ò$ UÓ+ˆ	Ü×'Ò'¨Ó.ˆÙ˜s“m×)Ñ)Ó+ˆ÷!	8÷ !	8ó !	8÷F	Ió 	I÷S	!÷ S	!÷ S	!ó S	!ðj	;Ü�c“(˜ZÕ'¨C°­G¸;Õ,FßI\”e×*Ñ*×=Ñ=¸fÔEÔbl×bxÒbxÓbz×zÑzÙ$(£F‘M�F˜E÷ {ç�8Ø˜Q•J�EÛ#˜Ü!& q¦˜AØ ŸF hÕ.�Fó "*ñ  $ô (1°Ö'7™˜˜tØ˜U� D×)¨QÕ.Õ)ñ (8ð ˜q”yØ%*¨a¤Z™c°U˜Ø  C¨F°1­I¸¸q½	Õ,AÄSÈÃ[Õ+PÐS[Õ+[Õ$\Õ\˜Ø! S¨F°1­I¸¸q½	Õ,AÀIÕ,MÕ%NÕN˜	Ø˜r•z Q”Ü*¨6°4¸À9ÓM˜Ø 6œ>Ø%)˜FØ ŸK™K¬	°&Ó(9Ô:Ø$(§J¡J˜EÜ˜fÐ%; j´3°s³8Õ&;Ð<Ó=�ÜÔQ¬9°VÔ+<ÓQÐSWÓX�ØÒ#Ø˜t a�x™yÐ)Ø—
‘
˜6Ô"Ù¤ F£×,à�M‰MŒOÜ× Ñ ×8Ñ8Ô:Øˆ
ùòy -ùò J÷x {×zÐzûð6 �M‰MŒOÜ× Ñ ×8Ñ8Õ:ús=   Õ!j?×)ká.'k â<k ãk	ãk ã.F!k ë	k	ë	k ë0lc           
     óÎ  € V P                   P                  p. p/ p\        P                  V4      p\	        VP
                  4       EF›  p	VP                  V	,          R 8X  Ed8   \        P                  ! WP                  VP                  VP                  .V\        P                  R7      p
VP                  VP                  ,          ^,          VP                  VP                  ,          ,           p\        P                  ! WVP                  ^,
          .W4R7      p\        WÊ^ RR4      p\        P                   ! WVP                  VP                  WC4      w  Vn        Vn        Vn        Vn        VR,          VuVn        Vn        VP/                  V4       EKT  VP/                  V P                   P0                  V	,          P2                  P5                  WW4V4      4       EKž  	  V# )rÒ   rd  Nr!   )r¾  r‚  r   r;   r2   rë   rù   r/   r4   rñ   rò   ró   r4  rð   rô   r,   Úgated_delta_deferred_buffersri   rj   rk   rl   r!   rG   r�   r  rï  rÑ  )r@   rÏ  Úmax_cache_lenr#   Úexecution_dtypeÚmodel_configrç  rÎ  ry  rÓ   rc   r„  r^   r�  s   &&&&&         r:   rÑ  ÚQwen35.init_kv_cache—  s¼  € Ø—z‘z×(Ñ(ˆØˆØˆÜ×+Ñ+¨FÓ3ˆÜ�|×5Ñ5×6ˆAØ×'Ñ'¨Õ*Ð.@Õ@Ü"'§+¢+Ø×?Ñ?À×AaÑAaÐco÷  dFñ  dFð  GØ!¬¯©ô#�ð (×<Ñ<¸|×?_Ñ?_Õ_ÐbcÕcÐfr÷  gJñ  gJð  MY÷  Moñ  Moõ  goõ  o�Ü"Ÿ[š[Ø l×&CÑ&CÀaÕ&GÐHØ!ô�
ô ˜j¸1¸dÀDÓI�ÜFS×FpÒFpØ \×%HÑ%HÈ,×JkÑJkÐm|óGFÑC�”
˜BœK¨¬°r´|à)0°­¸Ð&�”˜œØ×&Ñ& r×*à×&Ñ& t§z¡z×'8Ñ'8¸Õ';×'EÑ'E×'SÑ'SÐTYÐjpð  DJó  (K÷  Lñ# 7ð$ Ðr=   )r   r¾  r  r½  rÄ  )
NTrÙ   r¼   é2   gÍÌÌÌÌÌì?rõ  r¼   é*   NrÛ  )ru   rv   rw   rx   r  rˆ   rÍ  râ  r!  rø  rù  rÑ  r|   r}   r(  r)  s   @@r:   r»  r»  W  s^   ù‡ € Ø€Jõò*	)ò	ð )-°TÀdÐ`dð  EIð  QUð  ceð  w{÷ V÷Dô~÷@ò r=   r»  c                   ó>   a a€ ] tR tRt oR/ RR3V 3R lltRtVtV ;t# )ÚQwen35Tokenizeri²  Nr×   ræ   c                ó  <€ ^ RI Hp \        P                  P	                  \        P                  P                  \        P                  P                  \        4      4      R4      p\        SV `%  VRWWERRRR^RVR7       R# )r   )ÚQwen2TokenizerÚqwen35_tokenizerFiÿàõrå   )Úpad_with_endÚembedding_directoryÚembedding_sizeÚembedding_keyÚtokenizer_classÚhas_start_tokenÚhas_end_tokenÚpad_to_max_lengthrî  Ú
min_lengthÚ	pad_tokenÚtokenizer_dataN)
Útransformersr˜  Úosr)   ÚjoinÚdirnameÚrealpathÚ__file__r   rˆ   )r@   r›  r¤  rœ  r�  r˜  Útokenizer_pathr&  s   &&&&&  €r:   rˆ   ÚQwen35Tokenizer.__init__³  ss   ø€ Ý/ÜŸ™Ÿ™¤b§g¡g§o¡o´b·g±g×6FÑ6FÄxÓ6PÓ&QÐSeÓfˆÜ‰Ñ˜°eÐQdð  TaØ!°È%Ð\dÐqrð  Eð  Vdð 	ö 	er=   r›   ©ru   rv   rw   rx   rˆ   r|   r}   r(  r)  s   @@r:   r–  r–  ²  s   ù‡ € Ø+/ÀÐSWÐgr÷ e÷ er=   r–  c                   ó`   a a€ ] tR tRt oR/ R3V 3R lltR tRR. . RRR3V 3R lltR	tVtV ;t	# )
ÚQwen35ImageTokenizeriº  Nræ   c                ó¦   <aa€ \         P                  S/ 4      P                  R R4      oVV3R lp\        SV `  WSVR7       RV n        RV n        R# )ré   r×   c                  ó&   <€ \        V / VBR SRS/B # )rœ  r�  )r–  )r¥   Úkwrœ  r  s   *,€€r:   rÞ   Ú/Qwen35ImageTokenizer.__init__.<locals>.<lambda>½  s   ø€ ¤_°aÐ%w¸2Ñ%wÈnÐ%wÐlvÓ%wr=   )r›  r¤  ÚnameÚ	tokenizerz4<|im_start|>user
{}<|im_end|>
<|im_start|>assistant
z_<|im_start|>user
<|vision_start|><|image_pad|><|vision_end|>{}<|im_end|>
<|im_start|>assistant
N)r  r  r   rˆ   Úllama_templateÚllama_template_images)r@   r›  r¤  r  rµ  rœ  r&  s   &&&f @€r:   rˆ   ÚQwen35ImageTokenizer.__init__»  sX   ú€ Ü&×*Ñ*¨:°rÓ:×>Ñ>¸}ÈdÓSˆÝwˆ	Ü‰ÑÐ-@Ðfpð  }FÐô  	GØWˆÔð &JˆÖ"r=   c                ó   € VP                   ^ ,          p\        \        \        W2,          ^,          4      ^4      RV4      p\	        V4       Uu. uF3  p\        WS^,
          ,          \        V^,
          ^4      ,          4      NK5  	  pp\        V4      ^,          ^8X  d   VP                  VR,          4       \        P                  P                  P                  WAP                   ^,          VP                   ^,          4      w  rxRp	. p
\	        ^ \        V4      ^4       Fd  pWe,          We^,           ,          ,           ^V,          ,          pV	RVR R2,          p	V
P                  RRRWWU^,            ,          R	Wx3R
R/4       Kf  	  Wš3# u upi )r   r  Ú Ú<z.1fz4 seconds><|vision_start|><|video_pad|><|vision_end|>r5   rÙ  rÖ  rÚ  Úoriginal_typer+   )r¿   rQ  rŸ   ro   r2   ÚroundrJ   r�   rt  rÜ  rÝ  Úqwen2vl_video_smart_resize)r@   ÚframesÚfpsr	  rw  rÓ   r˜  rx  r·   Útextr·  Úsecondss   &&&         r:   Úvideo_embedsÚ!Qwen35ImageTokenizer.video_embedsÂ  sY  € ð —‘˜Q•ˆÜœœS ¥¨q¥Ó1°1Ó5°s¸EÓBˆ
ÜLQÐR\ÔL]Ó^ÑL]Àq”5˜ a�i�¬3¨z¸A­~¸qÓ+AÕAÖBÑL]ˆÐ^Üˆw‹<˜!Õ˜qÔ Ø�N‰N˜7 2�;Ô'Ü×+Ñ+×3Ñ3×NÑNÈz×[gÑ[gÐhiÕ[jÐlr×lxÑlxÐyzÕl{Ó|‰ˆØˆØˆÜ�qœ#˜g›,¨Ö*ˆAØ•z G°­E¥NÕ2°q¸3µwÕ?ˆGØ�a˜ �}Ð$XÐYÕYˆDØ�M‰M˜6 7¨F°FÀ1ÈÅUÐ;KÕ4LÈfÐW]ÐVeÐgvÐxð  Aö  Bñ +ð ˆ|Ðùò _s   Á9FFrº  c	                ó4  <€ V	P                  R R4      p
V
eD   \        V4      ^ 8X  d4   \        V
P                  ^ ,          4       Uu. uF  qºW»^,            NK  	  ppV	P                  RR4      pVe   \        V4      ^ 8X  d   V.pRp. pV F9  pV P	                  WùP                  R^4      4      w  ppVV,          pVV,          pK;  	  RpVP                  R4      '       d   RpV'       d
   VR8X  d   RpV'       d   TpM³Ve   TpMe\        V4      ^ 8X  d   \        V4      ^ 8X  d   V P                  pM8V P                  pR	pVP                  VV\        V4      ,          V,           ^4      pVP                  V4      pV'       d   R
V,           R,           V,           pVf   TV'       d   RMR,          p\        SV `,  ! V3RVRR/V	B p\        \        V4      4      p^ p^ pVV,          pV EF%  p\        \        V4      4       EF  p\        VV,          ^ ,          \        \         34      '       d[   VV,          ^ ,          R8X  dF   \        V4      V8”  d4   RR RVV,          RR /3VV,          R,          ,           VV&   V^,          pK†  Kˆ  \        VV,          ^ ,          \        \         34      '       g   K´  VV,          ^ ,          R8X  g   KË  \        V4      V8”  g   KÝ  VV,          3VV,          R,          ,           VV&   V^,          pEK  	  EK(  	  V# u upi )rÕ  NrÙ  rº  rÀ  Fz<|im_start|>TÚ z+<|vision_start|><|image_pad|><|vision_end|>z<|im_start|>system
z<|im_end|>
z<think>
z<think>

</think>

Úreturn_word_idsÚdisable_weightsiøÈ r5   rÖ  r¼  r�   iùÈ )r  rJ   r2   r¿   rÃ  Ú
startswithr¶  r·  Úreplacerp   r   Útokenize_with_weightsrN  Úiterr�  ro   r  )r@   rÁ  rÇ  r¶  ÚimagesÚvideosÚprevent_empty_textÚthinkingÚsystem_promptr˜  rÕ  rÓ   rÙ  Ú
video_textrÃ  ræ  rN   ÚeÚskip_templateÚ
llama_textÚtemplateÚvision_blockÚtokensÚkey_nameÚembed_countÚvideo_countÚqwen_tokensr‘   r&  s   &&&&&&&&&,                  €r:   rË  Ú*Qwen35ImageTokenizer.tokenize_with_weightsÓ  sÈ  ø€ Ø—
‘
˜7 DÓ)ˆØÒ¤ V£°Ô!1Ü.3°E·K±KÀµNÔ.CÓDÑ.C¨˜A !�e“nÑ.CˆFÐDØ—
‘
˜7 DÓ)ˆØÒ¤ V£°Ô!1Ø�WˆFØˆ
ØˆÛˆAØ×$Ñ$ Q¯
©
°5¸"Ó(=Ó>‰DˆAˆqØ˜!�OˆJØ˜AÕŠLñ ð
 ˆØ�?‰?˜>×*Ò*Ø ˆMß $¨"¤*ØˆDçØ‰JàÒ)Ø)‘Ü�V“ Ô!¤c¨,Ó&7¸1Ô&<Ø×.Ñ.‘à×5Ñ5�ØL�Ø#×+Ñ+¨L¸,ÌÈVËÕ:TÐWaÕ:aÐcdÓe�Ø!Ÿ™¨Ó.ˆJßØ3°mÕCÀnÕTÐWaÕa�
ØÒ%Ø¯X™kÐ;TÕT�
ä‘Ò.¨zÑ{È?Ð{ÐlpÐ{ÐtzÑ{ˆÜœ˜V›Ó%ˆØˆØˆØ˜XÕ&ˆÜˆAÜœ3˜q›6—]�Ü˜a �d 1�g¬¬U |×4Ò4¸¸1½¸a½ÀFÔ9JÜ˜6“{ [Ô0Ø!'¨°&¸&ÀÕ:MÈÐ`gÐ hÐjÐmnÐopÕmqÐrtÕmuÕu˜˜!™Ø# qÕ(šñ 1ô    !¥ Q¥¬#¬u¨×6Ô6¸1¸Q½4À½7ÀfÖ;LÜ˜<Ó(¨;Ö6Ø ,¨[Õ 9Ð;¸aÀ½dÀ2½hÕF˜˜!™Ø# qÕ(›ô #ñ ð ˆùòc Es   ÁL)r¶  r·  )
ru   rv   rw   rx   rˆ   rÃ  rË  r|   r}   r(  r)  s   @@r:   r¯  r¯  º  sE   ù‡ € Ø+/ÀÈ{÷ Jòð" ;@ÐPTÐ]_Ðhjð  @Eð  PUð  eg÷ 4÷ 4r=   r¯  c                   óP   a a€ ] tR tRt oRRRRR/ RR3V 3R lltRR	 ltR
tVtV ;t# )ÚQwen35ClipModeli
  Úcpurƒ  NTræ   Fc	                óz   <€  ! R  R\         4      p	Wyn        \        S
T `  YY8'       d   RR/M/ VRR/RW•WVR7       R# )	c                   ó   € ] tR tRtRtR# )Ú)Qwen35ClipModel.__init__.<locals>.Qwen35_i  r›   N)ru   rv   rw   rx   r|   r›   r=   r:   ÚQwen35_rã    s   † Ûr=   rä  r  Tr5  rå   F)r#   ÚlayerÚ	layer_idxÚtextmodel_json_configr   Úspecial_tokensÚlayer_norm_hidden_stateÚmodel_classÚenable_attention_masksÚreturn_attention_masksÚmodel_optionsN)r»  r  r   rˆ   )r@   r#   rå  ræ  r   rÛ  rí  r  r  rä  r&  s   &&&&&&&&& €r:   rˆ   ÚQwen35ClipModel.__init__  sM   ø€ ô	”fô 	à'Ôä‰Ñ ¸yÖqtÐafÐhlÑ`mÐz|Ø¨°¨ÐQVØÐ_mð 	ö 	Lr=   c                óê  € \        V\        4      '       d#   \        \        VP	                  4       4      4      pV UUu. uF  qÌ Uu. uF  qÝ^ ,          NK  	  upNK  	  pppV P                  WàP                  4      w  p pp\        P                  P                  P                  VVP                  ^,          VP                  4      pV P                  P                  WòW4WVWxV	V
VVR7      # u upi u uppi )r   )rö  r  r  )r�  rn   rN  rÌ  ÚvaluesÚprocess_tokensÚexecution_devicert  rÜ  rÝ  rè  r¿   r#   Útransformerrø  )r@   rØ  rí  rî  rï  rð  rñ  rò  ró  rô  rö  r  r³   rN   Útokens_onlyr·  rœ   ré  r  s   &&&&&&&&&&&&       r:   rø  ÚQwen35ClipModel.generate  sà   € Ü�fœd×#Ò#Üœ$˜vŸ}™}›Ó/Ó0ˆFÙ28Ô9±&¨Q aÓ(¡a ˜!Ÿ˜¡aÔ(±&ˆÑ9Ø$(×$7Ñ$7¸×EZÑEZÓ$[Ñ!ˆ��1�kÜ×*Ñ*×2Ñ2×MÑMÈkÐ[a×[gÑ[gÐhiÕ[jÐlr×lyÑlyÓzˆØ×Ñ×(Ñ(¨¸JÐUZÐchð  CØ:JÐYeÐknð )ó pð 	pùò )ùÓ9s   ¾C/ÁC*ÁC/Ã*C/r›   r0  )rõ  T)	ru   rv   rw   rx   rˆ   rø  r|   r}   r(  r)  s   @@r:   rß  rß  
  s4   ù‡ € Ø#¨8¸rÈÐ^bÐrtð  BMð  SX÷ L÷pô pr=   rß  c                   ó@   a a€ ] tR tRt oRR/ RR3V 3R lltRtVtV ;t# )ÚQwen35TEModeli  rà  Nræ   Fc                ó>   <aa€ VV3R  lp\         SV `  WSWcR7       R# )c                  ó&   <€ \        R/ V BR SRS/B # )r  r  r›   )rß  )r²  r  r  s   ,€€r:   rÞ   Ú(Qwen35TEModel.__init__.<locals>.<lambda>   s   ø€ ¤/Ñ"W°BÑ"WÀ:Ð"WÐSVÓ"Wr=   )r#   r   r´  Ú
clip_modelrí  N©r   rˆ   )r@   r#   r   rí  r  r  rû  r&  s   &&&&ff €r:   rˆ   ÚQwen35TEModel.__init__  s   ú€ ÝWˆ
Ü‰Ñ ¸*ÐQ[ÐÖyr=   r›   r­  r)  s   @@r:   r÷  r÷    s   ù‡ € Ø#¨4¸rÈkÐ_d÷ z÷ zr=   r÷  c                 ó,   a €  ! V 3R  lR\         4      pV# )c                   ó>   <a a€ ] tR tRt oR/ 3V V3R lltRtVtV ;t# )Ú(tokenizer.<locals>.Qwen35ImageTokenizer_i%  Nc                ó*   <€ \         SV `  WSR 7       R# ))r›  r¤  r  Nrü  )r@   r›  r¤  r&  r  s   &&&€€r:   rˆ   Ú1tokenizer.<locals>.Qwen35ImageTokenizer_.__init__&  s   ø€ Ü‰GÑÐ1DÐpzÐÖ{r=   r›   r­  )r&  rq   r  s   @@€r:   ÚQwen35ImageTokenizer_r   %  s   ú‡ € Ø/3ÀB÷ 	|÷ 	|ð 	|r=   r  )r¯  )r  r  s   f r:   rµ  rµ  $  s   ø€ ÷|Ô 4ô |ð !Ð r=   c                 ó8   a aaa€  ! V VVV3R  lR\         4      pV# )c                   óF   <a a€ ] tR tRt oRR/ 3V VVVV3R lltRtVtV ;t# )Úte.<locals>.Qwen35TEModel_i,  rà  Nc                ól   <€ Se   SpSe   VP                  4       pSVR&   \        SV `	  WVSSR7       R # )NÚquantization_metadata)r#   r   rí  r  r  )r  r   rˆ   )	r@   r#   r   rí  r&  Údtype_llamaÚllama_quantization_metadatar  r  s	   &&&&€€€€€r:   rˆ   Ú#te.<locals>.Qwen35TEModel_.__init__-  sE   ø€ ØÒ&Ø#�Ø*Ò6Ø -× 2Ñ 2Ó 4�Ø9T�Ð5Ñ6Ü‰GÑ FÀ}ÐakÐqtÐÖur=   r›   r­  )r&  rq   r	  r
  r  r  s   @@€€€€r:   ÚQwen35TEModel_r  ,  s   ú‡ € Ø"'¨tÀ2÷ 	v÷ 	vó 	vr=   r  )r÷  )r	  r
  r  r  r  s   ffff r:   Úter  +  s   û€ ÷vò vœô vð Ðr=   )é   N)é@   NF)ræ   )NNræ   F)Yr/   Útorch.nnr{  Útorch.nn.functionalÚ
functionalr"  Údataclassesr   r   r   r}  r¦  rL  Úcomfy.model_managementrt  Úcomfy.model_prefetchÚ	comfy.opsr,   Úcomfy_kitchen.int8_decoder   rÊ  Úcomfy.quant_opsr   Úcomfy.ldm.modules.attentionr   r	   r
   r   Úcomfy.text_encoders.qwen_vlÚllamar   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r€   rx  rÈ   r2   Ú_cutsÚ_endsr�   rP  r½   r¸   rÏ   rÔ   rÖ   rn   rÃ  r  r  r  r^  rý  r`  r´  r¶  rê  rú  r  r  r"  r1  rF  rP  rX  r°  r»  ÚSDTokenizerr–  ÚSD1Tokenizerr¯  ÚSDClipModelrß  ÚSD1ClipModelr÷  rµ  r  )rÓ   s   0r:   Ú<module>r"     s”  ðÛ Ý ß Ð ß (Ý Û Û 	Û ã Û Û Û Ý NÝ +ß pÑ pÝ Û "÷ D÷  D÷  D÷  Dð ôEˆwó Eó ðE÷P>,ñ >,ðF ˆ!ˆrˆdˆVˆØˆ!�ˆtˆfˆXˆØˆ!��ˆvˆhˆZˆØˆ!�"��ˆxˆjˆ\Ð	Ø��R˜�H˜b�>Ð"Ø��R˜˜R�L " bÐ)Ð*Ø��b˜"�X˜r�N BÐ'Ð(Ø�!˜˜˜b�z 2Ð&¨Ð+Ð,Ø
ˆIð
€	ð €Ù�2ŽY€EØˆC™e A qœkÓD™k˜¨U°a¸AÀ½Eµl×-CÑ-C—1�1™kÑDÕDÈÀsÕJ€EØ‡N�N—5�5ÑA©3¨u°e¸BµiÔ+@ÓA—5‘5ÑA©3¨u°e¸BµiÔ+@ÓAÓAÖBñ ò
òBò(^ð ÷ ð  ó ð ñD ¨$¸"ÐPTÐ\^Ðkmð  DEð  STð  ijð  DHô  IÐ ð ‘$ 4¸4ÉÐY\Ðhjð  Cð  KMô  INô  OØ‘ $¸$ÐRTÐjkð  BCð  \^ô  _Ø‘ $¸$ÐRTÐjlð  CDð  ]_ô  `Ø‘ $¸%ÐSUÐkmð  DEð  ^`ð  jnñ  w{ð  HLð  `dð  lnô  woô  pØ‘$ 4¸5ÐTVÐlnð  EFð  _að  koñ  x|ð  IMð  aeð  moô  xpô  qð€ð *,ô %ô=�7ô =ô;/ô@l)�B—I‘Iô l)ò`ôS6�R—Y‘Yô S6ôn$˜RŸY™Yô $ô4p˜ô pô85˜RŸY™Yô 5ôZ�b—i‘iô Zô
 "§)¡)ô 
ô &˜BŸI™Iô  &ôF+˜Ÿ	™	ô +ô;˜bŸi™iô ;ôC˜Ÿ	™	ô CôJˆb�i‰iô ô$WˆY˜ e§h¡h§o¡oô Wôv
e�h×*Ñ*ô eôM˜8×0Ñ0ô Mô`p�h×*Ñ*ô pô(z�H×)Ñ)ô zô!ö	ùòu# Es   Ã;N'ÄN'