+
    ƒ°ñj ã                   óF	  € ^ RI t ^ RIHt ^ RIHt ^ RIHtHtHt ^ RI	t	^ RI
H
t
 ^ RIt^ RIt^ RIHt ^ RIHt ^ RIt^ RIt^ RIt^ RIt^ RIt^RIHt ^t] ! R R	4      4       t] ! R
 R]4      4       t ! R R]4      t ! R R]4      t] ! R R4      4       t] ! R R4      4       t] ! R R4      4       t ] ! R R4      4       t!] ! R R4      4       t"] ! R R4      4       t#] ! R R4      4       t$] ! R R4      4       t%] ! R  R!4      4       t&] ! R" R#4      4       t'] ! R$ R%]'4      4       t(] ! R& R'](4      4       t)] ! R( R)](4      4       t*] ! R* R+4      4       t+] ! R, R-4      4       t,] ! R. R/4      4       t-] ! R0 R14      4       t.R2^R3R4R5R6R7R8R9R:R;R<R=^R>^R?^/	t/] ! R@ RA].4      4       t0] ! RB RC4      4       t1 ! RD RE]Pd                  4      t3RRF lt4RG t5RH t6RI t7 ! RJ RK]Pd                  4      t8 ! RL RM]Pd                  4      t9 ! RN RO]Pd                  4      t: ! RP RQ]Pd                  4      t;RR t< ! RS RT]Pd                  4      t= ! RU RV] P                  Pd                  4      t> ! RW RX4      t?RY t@RZ tA ! R[ R\4      tB ! R] R^4      tC ! R_ R`]?] P                  Pd                  4      tD ! Ra Rb]?] P                  Pd                  4      tE ! Rc Rd]?]C]B] P                  Pd                  4      tF ! Re Rf]?] P                  Pd                  4      tG ! Rg Rh]?]C]B] P                  Pd                  4      tH ! Ri Rj]?]C] P                  Pd                  4      tI ! Rk Rl]?]C] P                  Pd                  4      tJ ! Rm Rn]?]C]B] P                  Pd                  4      tK ! Ro Rp]?]C] P                  Pd                  4      tL ! Rq Rr]?]C]B] P                  Pd                  4      tM ! Rs Rt]?] P                  Pd                  4      tN ! Ru Rv]?]B] P                  Pd                  4      tO ! Rw Rx]?]B] P                  Pd                  4      tP ! Ry Rz]?]B] P                  Pd                  4      tQ ! R{ R|]?]B] P                  Pd                  4      tR ! R} R~]?]B] P                  Pd                  4      tSR# )€é    N)Ú	dataclass)ÚOptionalÚAnyÚTuple)Útqdm)ÚInt8DecodeCache)Úoptimized_attention_for_device)Úqwen_vlc                   óB   a € ] tR t^t o R tR tRR ltV 3R ltRtV t	R# )ÚFixedKVc                ó†   € V P                   P                  V P                  4       V P                  P                  V4       R # ©N)ÚpositionÚcopy_ÚseqlenÚadd_©ÚselfÚ
num_tokenss   &&Ú=C:\Ai_Coding\apps\studio\ComfyUI\comfy\text_encoders\llama.pyÚprepareÚFixedKV.prepare    s*   € Ø�‰×Ñ˜DŸK™KÔ(Ø�‰×Ñ˜Ö$ó    c                ó8   € V ;P                   V,          un         R # r   ©Úindexr   s   &&r   ÚadvanceÚFixedKV.advance$   s   € Ø�
Š
�jÕ �
r   c                ó8   € V ;P                   V,          un         R # r   r   )r   Údiscards   &&r   ÚrollbackÚFixedKV.rollback'   s   € à�
Š
�gÕ�
r   c                ó¦   <€ V ^8„  d   Qh/ S[ P                  ;R&   S[ P                  ;R&   S[;R&   S[ P                  ;R&   S[ P                  ;R&   # )é   ÚkeyÚvaluer   r   r   )ÚtorchÚTensorÚint)ÚformatÚ__classdict__s   "€r   Ú__annotate__ÚFixedKV.__annotate__   sS   ø‡ ‚ á	�‰Ññ ñ �<‰<Ññ ñ �Jñ	 ñ
 �l‰lÑñ ñ �L‰LÑò r   © N)é   )
Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r   r!   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__©r+   s   @r   r   r      s   ø‡ € ò%ò!ô÷ ƒ r   r   c                   óL   a € ] tR t^+t o RtR tR t]R 4       tV 3R lt	Rt
V tR# )ÚFixedKVStateNc                óä  € V P                   R ,          pV P                   R,          V P                  W38X  d   R# V P                  W3V P                   R&   \        P                  ! V P                  V P                  V P                  P
                  ^ ,          ,           V P                  R7       V P                  P                  Ve   V P                  4       R# V P                  V,           4       R# )ÚtreeÚstepN©Úout)Útrackerr   r'   Úaranger   Úshaper   Úfill_)r   r   r;   s   && r   r   ÚFixedKVState.prepare/   s�   € Ø�|‰|˜FÕ#ˆØ�<‰<˜Õ D§J¡J°
Ð#AÔAÙØ $§
¡
¨JÐ=ˆ�‰�VÑÜ�Š�T—Z‘Z §¡¨d¯m©m×.AÑ.AÀ!Õ.DÕ!DÈ$Ï-É-ÕXà�‰×Ñ¨Ò(8˜$Ÿ*™*ÖV¸d¿j¹jÈ:Õ>UÖVr   c                óŒ  € \        VR ,          ^4       F¬  w  r4WC8w  g   K  W,           V P                  P                  ^,          ,          W,           V P                  P                  ^,          ,          reV P                  RRV3,          V P                  RRV3&   V P                  RRV3,          V P                  RRV3&   K®  	  R# )ºr/   NNºNNNN)Ú	enumerater%   rA   r&   )r   ÚbaseÚpathÚkÚrÚdstÚsrcs   &&&    r   Úcommit_pathÚFixedKVState.commit_path8   s–   € ô ˜d 2�h¨Ö*‰DˆAØŽvØ �H¨¯©¯©°qÕ(9Õ9¸D½HÈÏÉÏÉÐWXÕHYÕ;Y�SØ&*§h¡h¨q°!°S¨yÕ&9�—‘˜˜A˜s˜Ñ#Ø(,¯
©
°1°a¸°9Õ(=�—
‘
˜1˜a ˜9Ó%ó	 +r   c                óº   € \         P                  ! \        3V\         P                  R 7      p\         P                  ! V 3V\         P                  R 7      pW#RRRR/3# )©ÚdeviceÚdtyper<   r;   Néÿÿÿÿ)r'   ÚemptyÚ	SPEC_ROWSÚint64Úint32)ÚbatchrR   r   r   s   &&  r   ÚsharedÚFixedKVState.sharedA   sH   € ô —;’;¤	˜|°FÄ%Ç+Á+ÔNˆÜ—’˜e˜X¨f¼E¿K¹KÔHˆØ &¨"¨f°dÐ!;Ð;Ð;r   c                ó&   <€ V ^8„  d   Qh/ S[ ;R&   # )r$   r?   )Údict)r*   r+   s   "€r   r,   ÚFixedKVState.__annotate__+   s   ø‡ ‚ áÑò r   r.   )r0   r1   r2   r3   r?   r   rN   ÚstaticmethodrZ   r4   r5   r6   r7   s   @r   r9   r9   +   s0   ø‡ € à€GòWò>ð ñ<ó ð<÷/ ƒ r   r9   c                   óH   a € ] tR t^It o ]R 4       tR tR tR tR t	Rt
V tR# )ÚFixedKVCachec                óv   € \         P                  ! WW43WVR 7      pV ! V\         P                  ! V4      ^ .VO5!  # )rQ   )r'   ÚzerosÚ
zeros_like)	ÚclsrY   Úkv_headsÚcapacityÚhead_dimrR   rS   rZ   r%   s	   &&&&&&&& r   rc   ÚFixedKVCache.zerosK   s8   € ô �kŠk˜5¨HÐ?ÈÔ\ˆÙ�3œ×(Ò(¨Ó-¨qÐ:°6Ó:Ð:r   c                ó„  € VP                   ^,          pWP                  RRV P                  V P                  V,           13&   W P                  RRV P                  V P                  V,           13&   V P                  RRRV P                  V,           13,          V P                  RRRV P                  V,           13,          3# )r$   rF   N)rA   r%   r   r&   )r   ÚxkÚxvÚseqs   &&& r   ÚappendÚFixedKVCache.appendQ   s£   € Ø�h‰h�q�kˆØ68�‰��A�t—z‘z $§*¡*¨sÕ"2Ð2Ð2Ñ3Ø8:�
‰
�1�a˜Ÿ™ D§J¡J°Õ$4Ð4Ð4Ñ5Ø�x‰x˜˜1Ð/˜tŸz™z¨CÕ/Ð/Ð/Õ0°$·*±*¸QÀÐCTÀDÇJÁJÐQTÕDTÐCTÐ=TÕ2UÐUÐUr   c                ó¶   € V P                   R VP                  ^,           pV P                  P                  ^W14       V P                  P                  ^W24       R # r   )r   rA   r%   Úindex_copy_r&   ©r   rk   rl   r   s   &&& r   ÚwriteÚFixedKVCache.writeW   sB   € à—=‘=  "§(¡(¨1¥+Ð.ˆØ�‰×Ñ˜Q Ô-Ø�
‰
×Ñ˜q (Ö/r   c                ó€  € V P                   R ,          pVes   \        P                  ! WP                  V P                  V P
                  RRR7      w  rV\        P                  ! WVWW4P                  \        P                  ! V4      4      # \        P                  ! WP                  V P                  V P
                  4      # )r;   TF)Ú
return_lseÚcausal)
r?   Úcomfy_kitchenÚflash_attention_decode_gqar%   r&   r   Ú!flash_attention_decode_tree_mergeÚmaskr'   Ú
empty_like)r   Úxqrk   rl   r;   r>   Úlses   &&&&   r   ÚattendÚFixedKVCache.attend]   s—   € Ø�|‰|˜FÕ#ˆØÒä$×?Ò?ÀÇHÁHÈdÏjÉjÐZ^×ZeÑZeÐrvð  @Eô  F‰HˆCÜ ×BÒBÀ3ÈRÐUW×YbÑYbÔdi×dtÒdtÐuxÓdyÓzÐzÜ×7Ò7¸¿H¹HÀdÇjÁjÐRV×R]ÑR]Ó^Ð^r   c                ó"  € \         P                  ! V P                  P                  ^,          V P                  P                  R7      V P
                  P                  R^^^4      ,
          pV P                  R,          pVed   V^ 8  W!8  VP                  P                  V^4      VP                  ^ V^,
          4      ,	          ^,          P                  4       ,          ,          pMGV\         P                  ! ^V,
          ^V P                  P                  R7      P                  V^4      8  p\         P                  ! VP                  V P                  P                  V P                  P                  R7      P                  V( \        R4      4      # )r$   ©rR   r;   rQ   z-infrT   )r'   r@   r%   rA   rR   r   Úviewr?   r{   ÚclampÚboolrc   rS   Úmasked_fill_Úfloat)r   rm   Úrelr;   Úvisibles   &&   r   r{   ÚFixedKVCache.maske   s  € ô �lŠl˜4Ÿ8™8Ÿ>™>¨!Õ,°T·X±X·_±_ÔEÈÏÉ×HXÑHXÐY[Ð]^Ð`aÐcdÓHeÕeˆØ�|‰|˜FÕ#ˆØÒØ˜Q‘w C¡I°4·9±9·>±>À#ÀqÓ3IÈSÏYÉYÐWXÐZ]Ð`aÕZaÓMbÕ3bÐfgÕ2g×1mÑ1mÓ1oÕ#oÕp‰GàœEŸLšL¨¨S­°!¸D¿H¹H¿O¹OÔL×QÑQÐRUÐWXÓYÑYˆGÜ�{Š{˜7Ÿ=™=°·±·±ÈÏÉÏÉÔW×dÑdÐfmÐemÔotÐu{Óo|Ó}Ð}r   r.   N)r0   r1   r2   r3   Úclassmethodrc   rn   rs   r   r{   r5   r6   r7   s   @r   ra   ra   I   s4   ø‡ € àñ;ó ð;ò
Vò0ò_÷	~ð 	~r   ra   c                   óB   a € ] tR t^qt o ]R 4       tR tR tR tRt	V t
R# )ÚInt8FixedKVCachec                óÀ  € \        WW54      p\        V^VP                  P                  ^,          ,          4      p	\        P
                  ! WW”3WVR7      p
V ! V
\        P                  ! V
4      ^ .VO5!  pW‹n        \        P                  ! \        \        4       Uu. uF  p^V^,           ,          ^,
          NK  	  up\        P                  VR7      Vn        V# u upi )é   rQ   ©rS   rR   )r   Úminr%   rA   r'   rc   rd   ÚpackedÚtensorÚrangerV   rX   Ú
chain_mask)re   rY   rf   rg   rh   rR   rS   rZ   r’   Úwindowr%   ÚcacherK   s   &&&&&&&&     r   rc   ÚInt8FixedKVCache.zeross   s´   € ä  °(ÓCˆä�X˜q 6§:¡:×#3Ñ#3°AÕ#6Õ6Ó7ˆÜ�kŠk˜5¨FÐ=ÀfÔZˆÙ�Cœ×)Ò)¨#Ó.°Ð;°FÓ;ˆØŒÜ Ÿ<š<ÄUÌ9ÔEUÓ(VÑEUÀ¨!°°Aµ­,¸!×);Ð);ÑEUÑ(VÔ^c×^iÑ^iÐrxÔyˆÔØˆùò )Ws   Â Cc           	     ó†  € VP                   ^,          p\        P                  ! V P                  R,          V4      pV P                  P                  VP                  4       VP                  4       VRR7       \        ^ W0P                  P                   ^,          ,
          4      p\        P                  ! WSVP                  R7      P                  V P                  P                   ^,          4      pV P                  P                  ^WaRRVR13,          4       V P                  P                  ^WbRRVR13,          4       W3# )r$   ºNr/   NT)Ú
initializer‚   rF   N)rA   r'   Ú	full_liker   r’   ÚupdateÚ
contiguousÚmaxr%   r@   rR   Ú	remainderrq   r&   )r   rk   rl   rm   ÚlengthÚstartÚslotss   &&&    r   rn   ÚInt8FixedKVCache.append~   sâ   € à�h‰h�q�kˆÜ—’ §¡¨rÕ!2°CÓ8ˆØ�‰×Ñ˜2Ÿ=™=›?¨B¯M©M«O¸VÐPTÐÔUÜ�A�sŸX™XŸ^™^¨AÕ.Õ.Ó/ˆÜ—’˜U°·	±	Ô:×DÑDÀTÇXÁXÇ^Á^ÐTUÕEVÓWˆØ�‰×Ñ˜Q ¨!¨Q°±¨,Õ'7Ô8Ø�
‰
×Ñ˜q %¨A¨q°%±&¨LÕ)9Ô:Øˆvˆr   c                ó
  € V P                   R VP                  ^,           P                  V P                  P                  ^,          4      pV P                  P	                  ^W14       V P
                  P	                  ^W24       R # r   )r   rA   r    r%   rq   r&   rr   s   &&& r   rs   ÚInt8FixedKVCache.write‰   sZ   € Ø—=‘=  "§(¡(¨1¥+Ð.×8Ñ8¸¿¹¿¹ÈÕ9JÓKˆØ�‰×Ñ˜Q Ô-Ø�
‰
×Ñ˜q (Ö/r   c                ó¨  € VP                   ^,          pV P                  R,          pV P                  P                  V P                  V P
                  V4       V P                  P                  W4      w  rgV P                  R,          pVe   VP                  MV P                  RV p	\        P                  ! WgWW9\        P                  ! V4      4      # )r$   rš   r;   N)rA   r   r’   r�   r%   r&   r   r?   r{   r•   rx   rz   r'   r|   )
r   r}   rk   rl   rm   r¡   r>   r~   r;   r{   s
   &&&&      r   r   ÚInt8FixedKVCache.attendŽ   sŸ   € Ø�h‰h�q�kˆØ—‘˜rÕ"ˆØ�‰×Ñ˜4Ÿ8™8 T§Z¡Z°Ô8Ø—;‘;×%Ñ% bÓ1‰ˆØ�|‰|˜FÕ#ˆØ Ò,ˆt�yŠy°$·/±/À$À3Ð2GˆÜ×>Ò>¸sÈÐQSÔ[`×[kÒ[kÐloÓ[pÓqÐqr   r.   N)r0   r1   r2   r3   r‹   rc   rn   rs   r   r5   r6   r7   s   @r   r�   r�   q   s-   ø‡ € àñó ðò	ò0÷
rð rr   r�   c                   ó|   a € ] tR t^—t o RtRtRt^ t^ t^t	Rt
RtRtRt^€tRtR	tRtR
tR
tR
tR
tRtRtV 3R ltRtV tR
# )ÚLlama2Configi@õ é   i 8  é    çñhãˆµøä>g    €„AÚllamaFÚsiluNTc                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # ©r$   Ú
vocab_sizeÚhidden_sizeÚintermediate_sizeÚnum_hidden_layersÚnum_attention_headsÚnum_key_value_headsÚmax_position_embeddingsÚrms_norm_epsÚ
rope_thetaÚtransformer_typeÚ
final_normÚlm_head©r)   r‡   Ústrr…   )r*   r+   s   "€r   r,   ÚLlama2Config.__annotate__—   sŸ   ø‡ ‚ áÑñ ñ Ññ ñ Ñ"ñ	 ñ
 Ññ ñ Ñ!ñ ñ Ñ ñ ñ !Ñ'ñ ñ Ññ ñ Ñ ñ ñ Ñ#ñ ñ( Ññ) ñ* Ñò+ r   r.   ©r0   r1   r2   r3   r²   r³   r´   rµ   r¶   r·   r¸   r¹   rº   r»   rh   Úrms_norm_addÚmlp_activationÚqkv_biasÚ	rope_dimsÚq_normÚk_normÚ
rope_scaler¼   r½   r4   r5   r6   r7   s   @r   rª   rª   —   sv   ø‡ € à€JØ€KØ"ÐØÐØ!ÐØ ÐØ#'ÐØ€LØ €JØ#ÐØ€HØ€LØ€NØ€HØ€IØ€FØ€FØ€JØ€JØ€G÷+ ƒ r   rª   c                   ó|   a € ] tR t^®t o RtRtRt^(t^ t^t	Rt
RtRtRt^€tRtR	tRtR
tR
tR
tR
tRtRtV 3R ltRtV tR
# )ÚMistral3Small24BConfigé   é   é €  r¬   r­   g    eÍÍAr®   Fr¯   NTc                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   Ú#Mistral3Small24BConfig.__annotate__®   sŸ   ø‡ ‚ áÑñ ñ Ññ ñ Ñ"ñ	 ñ
 Ññ ñ Ñ!ñ ñ Ñ ñ ñ !Ñ'ñ ñ Ññ ñ Ñ$ñ ñ Ñ#ñ ñ( Ññ) ñ* Ñò+ r   r.   rÁ   r7   s   @r   rÊ   rÊ   ®   sv   ø‡ € à€JØ€KØ"ÐØÐØ!ÐØ ÐØ#'ÐØ€LØ$€JØ#ÐØ€HØ€LØ€NØ€HØ€IØ€FØ€FØ€JØ€JØ€G÷+ ƒ r   rÊ   c                   ó‚   a € ] tR t^Åt o RtRtRt^t^ t^t	Rt
RtRtRt^€tRtR	tRtR
tR
tR
tR
tRtRt^.tV 3R ltRtV tR
# )ÚMinistral3_3BConfigrË   é   é $  é   r­   ç    €„.Ar®   Fr¯   NTc                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   Ú Ministral3_3BConfig.__annotate__Å   sŸ   ø‡ ‚ áÑñ ñ Ññ ñ Ñ!ñ	 ñ
 Ññ ñ Ñ!ñ ñ Ñ ñ ñ !Ñ)ñ ñ Ññ ñ Ñ!ñ ñ Ñ#ñ ñ( Ññ) ñ* Ñò+ r   r.   ©r0   r1   r2   r3   r²   r³   r´   rµ   r¶   r·   r¸   r¹   rº   r»   rh   rÂ   rÃ   rÄ   rÅ   rÆ   rÇ   rÈ   r¼   r½   Ústop_tokensr4   r5   r6   r7   s   @r   rÑ   rÑ   Å   s}   ø‡ € à€JØ€KØ!ÐØÐØ!ÐØ ÐØ#)ÐØ€LØ!€JØ#ÐØ€HØ€LØ€NØ€HØ€IØ€FØ€FØ€JØ€JØ€GØ�#€K÷- ƒ r   rÑ   c                   ó|   a € ] tR t^Ýt o RtRtRt^$t^t^t	Rt
RtRtRt^€tRtR	tR
tRtRtRtRtR
tRtV 3R ltRtV tR# )ÚQwen25_3BConfigé€Q é   i +  é ô ç�íµ ÷Æ°>rÕ   r®   Fr¯   TNc                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   ÚQwen25_3BConfig.__annotate__Ý   óŸ   ø‡ ‚ áÑñ ñ Ññ ñ Ñ"ñ	 ñ
 Ññ ñ Ñ!ñ ñ Ñ ñ ñ !Ñ)ñ ñ Ññ ñ Ñ!ñ ñ Ñ#ñ ñ( Ññ) ñ* Ñò+ r   r.   rÁ   r7   s   @r   rÛ   rÛ   Ý   sv   ø‡ € à€JØ€KØ"ÐØÐØ!ÐØ ÐØ#)ÐØ€LØ!€JØ#ÐØ€HØ€LØ€NØ€HØ€IØ€FØ€FØ€JØ€JØ€G÷+ ƒ r   rÛ   c                   ó„   a € ] tR t^ôt o RtRtRt^t^t^t	Rt
RtRtRt^€tRtR	tRtR
tRtRtR
tRtRtRR.tV 3R ltRtV tR
# )ÚQwen3_06BConfigrÜ   é   rÒ   rÍ   rß   rÕ   r®   Fr¯   NÚgemma3Té[P é]P c                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   ÚQwen3_06BConfig.__annotate__ô   óŸ   ø‡ ‚ áÑñ ñ Ññ ñ Ñ!ñ	 ñ
 Ññ ñ Ñ!ñ ñ Ñ ñ ñ !Ñ(ñ ñ Ññ ñ Ñ!ñ ñ Ñ#ñ ñ( Ññ) ñ* Ñò+ r   r.   rØ   r7   s   @r   rä   rä   ô   ó€   ø‡ € à€JØ€KØ!ÐØÐØ!ÐØ ÐØ#(ÐØ€LØ!€JØ#ÐØ€HØ€LØ€NØ€HØ€IØ€FØ€FØ€JØ€JØ€GØ˜6Ð"€K÷- ƒ r   rä   c                   ó„   a € ] tR tRt o RtRtRt^t^t^t	Rt
RtRtRt^€tR	tR
tR	tRtRtRtRtRtR	tRR.tV 3R ltRtV tR# )ÚQwen3_06B_ACE15_Configi  iuP rå   rÒ   rÍ   rß   rÕ   r®   Fr¯   Nræ   Trç   rè   c                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   Ú#Qwen3_06B_ACE15_Config.__annotate__  rë   r   r.   rØ   r7   s   @r   rî   rî     rì   r   rî   c                   ó„   a € ] tR tRt o RtRtRt^t^t^t	Rt
RtRtRt^€tR	tR
tR	tRtRtRtRtRtR	tRR.tV 3R ltRtV tR# )ÚQwen3_2B_ACE15_lm_Configi$  étP rÝ   é   é    rß   rÕ   r®   Fr¯   Nræ   Trç   rè   c                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   Ú%Qwen3_2B_ACE15_lm_Config.__annotate__$  rë   r   r.   rØ   r7   s   @r   rò   rò   $  rì   r   rò   c                   ó„   a € ] tR tRt o RtRtRt^$t^ t^t	Rt
RtRtRt^€tR	tR
tR	tRtRtRtRtRtR	tRR.tV 3R ltRtV tR# )ÚQwen3_4B_ACE15_lm_Configi<  ró   é 
  é &  rõ   rß   rÕ   r®   Fr¯   Nræ   Trç   rè   c                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   Ú%Qwen3_4B_ACE15_lm_Config.__annotate__<  rë   r   r.   rØ   r7   s   @r   rù   rù   <  rì   r   rù   c                   ó„   a € ] tR tRt o RtRtRt^$t^ t^t	Rt
RtRtRt^€tR	tR
tR	tRtRtRtRtRtR	tRR.tV 3R ltRtV tR# )ÚQwen3_4BConfigiT  rÜ   rú   rû   rõ   rß   rÕ   r®   Fr¯   Nræ   Trç   rè   c                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   ÚQwen3_4BConfig.__annotate__T  rë   r   r.   rØ   r7   s   @r   rÿ   rÿ   T  rì   r   rÿ   c                   ó�   a € ] tR tRt o RtRtRt^$t^ t^t	Rt
RtRtRt^€tR	tR
tR	tRtRtRtRtRtRtR	tR	tR	tRR.tV 3R ltRtV tR# )ÚQwen3_8BConfigil  rÜ   r«   i 0  rõ   rß   rÕ   r®   Fr¯   Nræ   Trç   rè   c                óÎ   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   # )r$   r²   r³   r´   rµ   r¶   r·   r¸   r¹   rº   r»   r¼   r½   Úfixed_kvÚ
merged_qkvÚ
merged_mlpr¾   )r*   r+   s   "€r   r,   ÚQwen3_8BConfig.__annotate__l  sÆ   ø‡ ‚ áÑñ ñ Ññ ñ Ñ"ñ	 ñ
 Ññ ñ Ñ!ñ ñ Ñ ñ ñ !Ñ(ñ ñ Ññ ñ Ñ!ñ ñ Ñ#ñ ñ( Ññ) ñ* Ññ+ ñ, Ññ- ñ. Ññ/ ñ0 Ñò1 r   r.   )r0   r1   r2   r3   r²   r³   r´   rµ   r¶   r·   r¸   r¹   rº   r»   rh   rÂ   rÃ   rÄ   rÅ   rÆ   rÇ   rÈ   r¼   r½   r  r  r  rÙ   r4   r5   r6   r7   s   @r   r  r  l  s�   ø‡ € à€JØ€KØ"ÐØÐØ!ÐØ ÐØ#(ÐØ€LØ!€JØ#ÐØ€HØ€LØ€NØ€HØ€IØ€FØ€FØ€JØ€JØ€GØ€HØ€JØ€JØ˜6Ð"€K÷3 ƒ r   r  c                   óL   a € ] tR tRt o RtRt. ROtRtRtRt	Rt
V 3R ltRtV tR# )	ÚQwen3VL_8BConfigi‡  rÔ   g    ÐSATc                ó>   <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   # )r$   r¸   rº   r  )r)   r‡   r…   )r*   r+   s   "€r   r,   ÚQwen3VL_8BConfig.__annotate__‡  s*   ø‡ ‚ á Ñ)ñ ñ Ñ!ñ ñ Ñò r   r.   N)é   é   r  )r0   r1   r2   r3   r¸   rº   rÅ   Úinterleaved_mroper  Úgraph_dynamic_vbar_blocksÚprefetch_dynamic_vbarsr4   r5   r6   r7   s   @r   r
  r
  ‡  s3   ø‡ € à#)ÐØ!€JÚ€IØÐØ€HØ $ÐØ!Ð÷ ƒ r   r
  c                   ó8   a € ] tR tRt o RtRtRtV 3R ltRtV t	R# )ÚQwen3VL_4BConfigi‘  rú   rû   Fc                ó>   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[;R&   # )r$   r³   r´   r½   ©r)   r…   )r*   r+   s   "€r   r,   ÚQwen3VL_4BConfig.__annotate__‘  s*   ø‡ ‚ áÑñ ñ Ñ!ñ ñ Ñò	 r   r.   N)
r0   r1   r2   r3   r³   r´   r½   r4   r5   r6   r7   s   @r   r  r  ‘  s   ø‡ € à€KØ!ÐØ€G÷	 ƒ r   r  c                   óD   a € ] tR tRt o RtRt^2t^@tRtRt	V 3R lt
RtV tR# )ÚQwen3VL_32BConfigi—  rÌ   i d  Fc                ób   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R&   # )r$   r³   r´   rµ   r¶   r½   r¼   r  )r*   r+   s   "€r   r,   ÚQwen3VL_32BConfig.__annotate__—  sS   ø‡ ‚ ñ Ññ	 ñ
 Ñ"ñ ñ Ññ ñ Ñ!ñ ñ Ññ ñ Ñò r   r.   N)r0   r1   r2   r3   r³   r´   rµ   r¶   r½   r¼   r4   r5   r6   r7   s   @r   r  r  —  s/   ø‡ € ð €KØ"ÐØÐØ!ÐØ€GØ€J÷ ƒ r   r  c                   ó|   a € ] tR tRt o RtRtRt^t^t^t	Rt
RtRtRt^€tR	tR
tR	tRtRtRtRtRtR	tV 3R ltRtV tR# )ÚOvis25_2BConfigi¢  rÜ   rÝ   rô   rõ   rß   rÕ   r®   Fr¯   Nræ   Tc                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   ÚOvis25_2BConfig.__annotate__¢  rë   r   r.   rÁ   r7   s   @r   r  r  ¢  sv   ø‡ € à€JØ€KØ!ÐØÐØ!ÐØ ÐØ#(ÐØ€LØ!€JØ#ÐØ€HØ€LØ€NØ€HØ€IØ€FØ€FØ€JØ€JØ€G÷+ ƒ r   r  c                   ó€   a € ] tR tRt o RtRtRt^t^t^t	Rt
RtRtRt^€tR	tR
tRt. ROtRtRtRtRtR	tV 3R ltRtV tR# )ÚQwen25_7BVLI_Configi¹  i R i   i J  rÞ   rß   rÕ   r®   Fr¯   TNc                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   Ú Qwen25_7BVLI_Config.__annotate__¹  râ   r   r.   )é   r  r  rÁ   r7   s   @r   r   r   ¹  sv   ø‡ € à€JØ€KØ"ÐØÐØ!ÐØ ÐØ#)ÐØ€LØ!€JØ#ÐØ€HØ€LØ€NØ€HÚ€IØ€FØ€FØ€JØ€JØ€G÷+ ƒ r   r   c                   ó†   a € ] tR tRt o RtRtRt^t^t^t	Rt
RtRtRtR	tR
tRtRtRtRtRtRtRtR
tRt^.tV 3R ltRtV tR# )ÚGemma2_2B_ConfigiÐ  i è i 	  rÓ   r¬   rß   ç     ˆÃ@Úgemma2é   TÚgelu_pytorch_tanhFNc                óª   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   # r±   r¾   )r*   r+   s   "€r   r,   ÚGemma2_2B_Config.__annotate__Ð  sŸ   ø‡ ‚ áÑñ ñ Ññ ñ Ñ!ñ	 ñ
 Ññ ñ Ñ ñ ñ Ñ ñ ñ !Ñ'ñ ñ Ññ ñ Ññ ñ Ñ$ñ ñ* Ññ+ ñ, Ñò- r   r.   ©r0   r1   r2   r3   r²   r³   r´   rµ   r¶   r·   r¸   r¹   rº   r»   rh   rÂ   rÃ   rÄ   rÅ   rÆ   rÇ   Úsliding_attentionrÈ   r¼   r½   rÙ   r4   r5   r6   r7   s   @r   r%  r%  Ð  sƒ   ø‡ € à€JØ€KØ!ÐØÐØ ÐØ ÐØ#'ÐØ€LØ€JØ$ÐØ€HØ€LØ(€NØ€HØ€IØ€FØ€FØÐØ€JØ€JØ€GØ�#€K÷/ ƒ r   r%  c                   ó”   a € ] tR tRt o RtRtRt^"t^t^t	Rt
RtRR.tR	tR
tRtRtRtRtR	tR	t. ROtRR.tRtRt^^j.tV 3R ltRtV tR# )ÚGemma3_4B_Configié  é@  rú   i (  rË   rß   rÕ   r&  ræ   r(  Tr)  FNç       @ç      ð?c                óž   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   # ©r$   r²   r³   r´   rµ   r¶   r·   r¸   r¹   r»   r¼   r½   r¾   )r*   r+   s   "€r   r,   ÚGemma3_4B_Config.__annotate__é  s’   ø‡ ‚ áÑñ ñ Ññ ñ Ñ"ñ	 ñ
 Ññ ñ Ñ ñ ñ Ñ ñ ñ !Ñ)ñ ñ Ññ ñ Ñ$ñ ñ* Ññ+ ñ, Ñò- r   r.   ©rå   rå   rå   rå   rå   Fr,  r7   s   @r   r/  r/  é  sŽ   ø‡ € à€JØ€KØ"ÐØÐØ ÐØ ÐØ#)ÐØ€LØ˜WÐ%€JØ$ÐØ€HØ€LØ(€NØ€HØ€IØ€FØ€FÚ=ÐØ�s�€JØ€JØ€GØ�c�(€K÷/ ƒ r   r/  Únum_channelsÚ
hidden_actr)  r³   i€  Ú
image_sizei€  r´   iÐ  Ú
model_typeÚsiglip_vision_modelr¶   rµ   Ú
patch_sizec                   ó   € ] tR tRt]tRtRtR# )ÚGemma3_4B_Vision_Configi  r(  r.   N)r0   r1   r2   r3   ÚGEMMA3_VISION_CONFIGÚvision_configÚmm_tokens_per_imager5   r.   r   r   r>  r>    s   † à(€MØÔr   r>  c                   óœ   a € ] tR tRt o RtRtRt^0t^t^t	Rt
RtRR.tR	tR
tRtRtRtRtR	tR	t. ROtRR.tRtRt]tR
t^^j.tV 3R ltRtV tR# )ÚGemma3_12B_Configi	  r0  i   i <  rË   rß   rÕ   r&  ræ   r(  Tr)  FNr1  r2  c                óž   <€ V ^8„  d   Qh/ S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[ ;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   # r4  r¾   )r*   r+   s   "€r   r,   ÚGemma3_12B_Config.__annotate__	  s’   ø‡ ‚ áÑñ ñ Ññ ñ Ñ"ñ	 ñ
 Ññ ñ Ñ!ñ ñ Ñ ñ ñ !Ñ)ñ ñ Ññ ñ Ñ$ñ ñ* Ññ+ ñ, Ñò- r   r.   r6  ) r0   r1   r2   r3   r²   r³   r´   rµ   r¶   r·   r¸   r¹   rº   r»   rh   rÂ   rÃ   rÄ   rÅ   rÆ   rÇ   r-  rÈ   r¼   r½   r?  r@  rA  rÙ   r4   r5   r6   r7   s   @r   rC  rC  	  s™   ø‡ € à€JØ€KØ"ÐØÐØ!ÐØ ÐØ#)ÐØ€LØ˜WÐ%€JØ$ÐØ€HØ€LØ(€NØ€HØ€IØ€FØ€FÚ=ÐØ�s�€JØ€JØ€GØ(€MØÐØ�c�(€K÷3 ƒ r   rC  c                   óZ   a a€ ] tR tRt oRV3R lV 3R llltR tV3R lR ltRtVtV ;t	# )	ÚRMSNormi$  c                ó&   <€ V ^8„  d   QhRS[ RS[/# )r$   ÚdimÚeps)r)   r‡   )r*   r+   s   "€r   r,   ÚRMSNorm.__annotate__%  s   ø€ ÷ ñ ™Cð ¡eñ r   c                óž   <€ \         SV `  4        W n        \        P                  ! \
        P                  ! WVR 7      4      V n        W0n        R# )rQ   N)	ÚsuperÚ__init__rJ  ÚnnÚ	Parameterr'   rU   ÚweightÚadd)r   rI  rJ  rR  rR   rS   Ú	__class__s   &&&&&&€r   rN  ÚRMSNorm.__init__%  s3   ø€ Ü‰ÑÔØŒÜ—l’l¤5§;¢;¨sÈÔ#OÓPˆŒØŽr   c                ód   € V P                   '       d   V P                  R ,           # V P                  # )r2  )rR  rQ  ©r   s   &r   ÚscaleÚRMSNorm.scale+  s"   € Ø$(§H§H Hˆt�{‰{˜SÕ Ð=°$·+±+Ð=r   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r$   Úx©r'   r(   )r*   r+   s   "€r   r,   rK  .  s   ø€ ÷ Hñ H™Ÿ™ñ Hr   c                ó†   € \         P                  P                  P                  WP	                  4       V P
                  4      # r   )ÚcomfyÚldmÚ
common_ditÚrms_normrW  rJ  )r   rZ  s   &&r   ÚforwardÚRMSNorm.forward.  s)   € Ü�y‰y×#Ñ#×,Ñ,¨Q·
±
³¸d¿h¹hÓGÐGr   )rR  rJ  rQ  )r­   FNN)
r0   r1   r2   r3   rN  rW  ra  r5   r6   Ú__classcell__©rS  r+   s   @@r   rG  rG  $  s&   ù‡ € ÷õ ò>÷H÷ Hð Hr   rG  c           
      óT  € \        V\        4      '       g   V.p. p\        V4       EFW  w  r‰\        P                  ! ^ V ^VR7      P                  4       p
RWšV ,          ,          ,          pVe/   \        V\        4      '       d   W³V,          ,          pMW³,          pVR,          P                  4       P                  VP                  ^ ,          R^4      pVR,          P                  4       pVP                  4       VP                  4       ,          P                  ^^4      pVeË   VP                  ^ ,          ^8”  d³   V'       d«   V^ ,          P                  4       pR	 F4  w  ppVV,          ^,          p\        VV^4      pVVRV3,          VRV3&   K6  	  \        P                  ! Wÿ3RR7      pVP                  4       P                  ^ 4      pVP                  4       P                  ^ 4      pEMI\        P                  ! Wî3RR7      pVP                  4       pVP                  4       pVeë   VP                  ^ ,          ^8”  dÓ   V^,          p\        P                  ! \        VP                  VRR7      4       UUu. uF  w  ppVV^,          ,          NK  	  uppRR7      P                  ^ 4      p\        P                  ! \        VP                  VRR7      4       UUu. uF  w  ppVV^,          ,          NK  	  uppRR7      P                  ^ 4      pM"VP                  ^4      pVP                  ^4      pVP                  R,          ^,          pVP!                  VVRRV13,          VRVR13,          ) 34       EKZ  	  \#        V4      ^8X  d
   V^ ,          # V# u uppi u uppi )
r   r‚   r2  N.©rI  )NrF   NrT   )rF   NrF   )©r/   r/   )r$   r$   )Ú
isinstanceÚlistrG   r'   r@   r‡   ÚexpandrA   Ú	transposeÚcloneÚsliceÚcatÚcosÚ	unsqueezeÚsinÚsplitrn   Úlen)rh   Úposition_idsÚthetarÈ   rÅ   rR   r  r>   r   ÚtÚtheta_numeratorÚinv_freqÚinv_freq_expandedÚposition_ids_expandedÚfreqsÚfreqs_interÚaxis_idxÚoffsetr¡   ÚidxÚembro  rq  Úmrope_sectionÚiÚmÚ	sin_splits   &&&&&&&                    r   Úprecompute_freqs_cisr…  3  s  € Ü�eœT×"Ò"Ø�ˆà
€CÜ˜e×$‰ˆÜŸ,š, q¨(°A¸fÔE×KÑKÓMˆØ˜!°(Õ :Õ;Õ<ˆàÒ!Ü˜*¤d×+Ò+Ø uÕ-Õ-‘àÕ&�à$ ]Õ3×9Ñ9Ó;×BÑBÀ<×CUÑCUÐVWÕCXÐZ\Ð^_Ó`ÐØ ,¨ZÕ 8× >Ñ >Ó @ÐØ"×(Ñ(Ó*Ð-B×-HÑ-HÓ-JÕJ×UÑUÐVWÐYZÓ[ˆØÒ  \×%7Ñ%7¸Õ%:¸QÔ%>×CTà �(Ÿ.™.Ó*ˆKÛ$4Ñ �˜&Ø" 8Õ,¨qÕ0�Ü˜F F¨AÓ.�Ø(-¨h¸¸SÐ.@Õ(A�˜C ˜HÓ%ñ %5ô —)’)˜[Ð6¸BÔ?ˆCØ—'‘'“)×%Ñ% aÓ(ˆCØ—'‘'“)×%Ñ% aÓ(ŠCä—)’)˜U˜N°Ô3ˆCØ—'‘'“)ˆCØ—'‘'“)ˆCØÒ$¨×);Ñ);¸AÕ)>ÀÔ)BØ )¨A¥�Ü—i’i´iÀÇ	Á	È-Ð]_À	Ó@`Ô6aÔ bÑ6a©d¨a°  1 q¥5§ Ñ6aÒ bÐhjÔk×uÑuÐvwÓx�Ü—i’i´iÀÇ	Á	È-Ð]_À	Ó@`Ô6aÔ bÑ6a©d¨a°  1 q¥5§ Ñ6aÒ bÐhjÔk×uÑuÐvwÓx‘à—m‘m AÓ&�Ø—m‘m AÓ&�Ø—I‘I˜b•M QÕ&ˆ	Ø�
‰
�C˜˜S + I +Ð-Õ.°°S¸)¹+Ð5EÕ1FÐ0FÐG×HñG %ôJ ˆ3ƒx�1„}Ø�1�vˆà€Jùó !cùÛ bs   É=NË!N$c                 óÒ  € VP                   w  rx\        P                  ! VP                  R4      4      p	\        P                  ! VP                  R4      VR7      P                  4       p
W	V,          ,          pVP                  R4      V	,          P                  ^4      p\        P                  ! V4      p^ pVP                  V 4      ;_uu_ 4       qõP                  V 4      ;_uu_ 4       p\        V
4       F}  w  ppV^ 8X  d   K  V! VP                  W¾VV,            V4      4      pVP                  VV4      WÎVV,            ,          P                  VP                  4      WÞVV,           % VV,          pK  	  RRR4       RRR4       \        P                  ! V4      pVVV	&   VP                  WxR4      P                  ^R7      #   + '       g   i     LU; i  + '       g   i     L`; i)r/   )Ú	minlengthNrf  rT   )rA   r'   ÚargsortÚreshapeÚbincountÚtolistrp  r|   Úbank_residentrG   Úexpert_linearÚtorS   rƒ   Úsum)rZ  Útopk_idxÚtopk_weightÚnum_expertsÚgate_up_projÚ	down_projÚ
activationr   Útop_kÚorderÚcountsÚsorted_xrQ  Ú
sorted_outr¢   Úgate_up_bankÚ	down_bankÚ
expert_idxÚnÚgatedr>   s   &&&&&&&              r   Úmoe_experts_forwardr   b  s—  € Ø Ÿ™Ñ€Jä�MŠM˜(×*Ñ*¨2Ó.Ó/€EÜ�^Š^˜H×,Ñ,¨RÓ0¸KÔH×OÑOÓQ€FØ˜%•Õ €HØ× Ñ  Ó$ UÕ+×5Ñ5°aÓ8€FÜ×!Ò! (Ó+€Jà€EØ	×	#Ñ	# A×	&Ô	&¨,×8OÑ8OÐPQ×8RÔ8RÐV_Ü& vÖ.‰MˆJ˜Ø�AŒvÙÙ˜|×9Ñ9¸(ÈÐQRÍÐ:SÐU_Ó`ÓaˆEØ+4×+BÑ+BÀ5È*Ó+UÐX^ÐejÐmnÕenÐXoÕ+o×*sÑ*sÐt~÷  uEñ  uEó  +FˆJ˜U Q�YÐ'Ø�Q�JŠEñ /÷ 9S×	&ô ×
Ò
˜:Ó
&€CØ€Cˆ�JØ�8‰8�J rÓ*×.Ñ.°1Ð.Ó5Ð5÷ 9S×8Rú×	&×	&ús%   ÃGÃ)BG	Å6GÇGÇGÇG&	c           	      ó  € \         P                  ! V 4      '       d   V # V w  rpVP                  R,          p\         P                  ! VRRV13,          W2VRVR13,          3RR7      pVP                  ! . VP                  RR O^N^N5!  # )r/   .Nrf  rT   )r'   Ú	is_tensorrA   Ústackr‰  )Ú	freqs_cisro  rq  Úneg_sinÚhalfÚmatrixs   &     r   Úrope_matrixr¨  y  s‚   € Ü‡‚�y×!Ò!ØÐØ!Ñ€CˆgØ�9‰9�R�=€DÜ�[Š[˜#˜c 5 D 5˜j�/¨7¸¸SÀ$Á%¸Z½ÐIÈrÔR€FØ�>Š>Ð3˜6Ÿ<™<¨¨Ð,Ð3¨aÐ3°Ó3Ð3r   c                 ó‚  € \        V4      pVP                  ^8X  d   VP                  ^ 4      pV P                  VP                  rTV^8X  d   V P                  ^ 4      p V^8X  d   VP                  ^ 4      p\        P                  ! WV4      w  rV^8X  d   V P                  ^ 4      p V^8X  d   VP                  ^ 4      pW3# )é   )r¨  Úndimrp  rx   Úapply_rope_split_halfÚsqueeze)r}   rk   r¤  r§  Úq_ndimÚk_ndims   &&&   r   Ú
apply_roper°  ‚  s¢   € Ü˜Ó#€FØ‡{�{�aÔØ×!Ñ! !Ó$ˆà—W‘W˜bŸg™gˆFØ�„{Ø�\‰\˜!‹_ˆØ�„{Ø�\‰\˜!‹_ˆä×0Ò0°¸Ó@�F€BØ�„{Ø�Z‰Z˜‹]ˆØ�„{Ø�Z‰Z˜‹]ˆØˆ6€Mr   c                   óX   a a€ ] tR tRt oRV3R lV 3R llltRV3R lR lltRtVtV ;t# )	Ú	Attentioni•  c                ó&   <€ V ^8„  d   QhRS[ RS[/# ©r$   ÚconfigÚops©rª   r   )r*   r+   s   "€r   r,   ÚAttention.__annotate__–  s   ø€ ÷ ñ ™|ð É3ñ r   c                ó   <€ \         SV `  4        VP                  V n        VP                  V n        VP                  V n        VP                  V n        V P                  V P                  ,          V n        T;'       g    \        pV P
                  V P                  ,          V n
        \        VR R4      V n        V P                  '       dR   VP                  VP                  V P                  V P                  ^,          ,           VP                  W#R7      V n        MíVP                  VP                  V P                  VP                  W#R7      V n        VP                  VP                  V P                  VP                  W#R7      V n        VP                  VP                  V P                  VP                  W#R7      V n        \&        P(                  P+                  V P                   V P"                  V P$                  34      V n        VP                  V P                  VP                  RW#R7      V n        RV n        RV n        VP0                  R8X  d3   \5        V P                  VP6                  VP8                  W#R7      V n        VP2                  R8X  d5   \5        V P                  VP6                  VP8                  W#R7      V n        R# R# )r  F©ÚbiasrR   rS   Nræ   ©rJ  rR  rR   rS   )rM  rN  r¶   Ú	num_headsr·   Únum_kv_headsr³   rh   Ú
inner_sizerO  Úkv_sizeÚgetattrr  ÚLinearrÄ   Úqkv_projÚq_projÚk_projÚv_projr]  r¶  ÚCombinedLinearÚcombined_qkvÚo_projrÆ   rÇ   rG  r¹   rÂ   )r   rµ  rR   rS   r¶  rS  s   &&&&&€r   rN  ÚAttention.__init__–  s  ø€ Ü‰ÑÔØ×3Ñ3ˆŒØ"×6Ñ6ˆÔØ!×-Ñ-ˆÔàŸ™ˆŒØŸ.™.¨4¯=©=Õ8ˆŒà�iˆi”RˆØ×(Ñ(¨4¯=©=Õ8ˆŒÜ! &¨,¸Ó>ˆŒØ�?�?ˆ?ØŸJ™J v×'9Ñ'9¸4¿?¹?ÈTÏ\É\Ð\]ÕM]Õ;]Ðdj×dsÑdsð  }C˜Jó  QˆD�MàŸ*™* V×%7Ñ%7¸¿¹ÈvÏÉÐgm˜*Ó{ˆDŒKØŸ*™* V×%7Ñ%7¸¿¹ÈFÏOÉOÐdj˜*ÓxˆDŒKØŸ*™* V×%7Ñ%7¸¿¹ÈFÏOÉOÐdj˜*ÓxˆDŒKÜ %§	¡	× 8Ñ 8¸$¿+¹+ÀtÇ{Á{ÐTX×T_ÑT_Ð9`Ó aˆDÔØ—j‘j §¡°&×2DÑ2DÈ5ÐY_�jÓmˆŒàˆŒØˆŒà�=‰=˜HÔ$Ü! $§-¡-°V×5HÑ5HÈf×NaÑNaÐjpÔ~ˆDŒKØ�=‰=˜HÔ$Ü! $§-¡-°V×5HÑ5HÈf×NaÑNaÐjpÔ~ˆDŽKñ %r   c                óò   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[ P                  ,          RS[S[S[ P                  S[ P                  3,          ,          RS[S[,          /# )r$   Úhidden_statesÚattention_maskr¤  Úpast_key_valueÚsliding_window)r'   r(   r   r   r)   )r*   r+   s   "€r   r,   r¸  ³  su   ø€ ÷ X6ñ X6á—|‘|ðX6ñ !¡§¡Õ.ðX6ñ ™EŸL™LÕ)ð	X6ñ !¡¡u§|¡|±U·\±\Ð'AÕ!BÕCðX6ñ !¡�ñX6r   c                óâ  € VP                   w  rxp	V P                  '       dH   V P                  V4      P                  V P                  V P
                  V P
                  3RR7      w  r«pM�V P                  P                  V4      pV\        J d5   V P                  V4      p
V P                  V4      pV P                  V4      pM7VP                  V P                  V P
                  V P
                  3RR7      w  r«pV
P                  WxV P                  V P                  4      P                  ^^4      p
VP                  WxV P                   V P                  4      P                  ^^4      pVP                  WxV P                   V P                  4      P                  ^^4      pV P"                  e   V P#                  V
4      p
V P$                  e   V P%                  V4      p\'        W«VR7      w  r«\)        V\*        4      '       d   TMRpVEeð   V
P                  ^^4      p
VP                  ^^4      pVP                  ^^4      pV^8X  dÚ   VP,                  ^ 8”  dÉ   VP.                  P                  V^^^4      P1                  V4      pVP2                  P5                  ^Wû4       VP6                  P5                  ^Wü4       \8        P:                  ! W®P2                  VP6                  VP<                  4      pV P?                  VP                  WxV P                  4      4      V3# Ve   VP@                  ^8  dO   VP2                  RRV13,          PC                  V4       VP6                  RRV13,          PC                  V4       EM@VR^ RV) R13,          ^ 8H  p\D        PF                  ! W‹PH                  R7      PK                  VR4      pVPM                  V( V4      PO                  ^R7      PP                  PS                  V^,
          4      pVP                  Wx^^4      P1                  V4      pVP2                  RRV13,          PC                  VPU                  ^V4      4       VP6                  RRV13,          PC                  VPU                  ^V4      4       VP<                  PC                  VPW                  ^R7      4       V
P                  ^^4      p
VP                  ^^4      pVP                  ^^4      pTpVEf¦   VEe¡   ^ pVP                   ^,          p\Y        V4      ^ 8”  Ed   Vw  pppVP                   ^,          VV,           8¼  dž   VVRRVVVP                   ^,          ,           13&   VVRRVVVP                   ^,          ,           13&   VRRRVVP                   ^,          ,           13,          pVRRRVVP                   ^,          ,           13,          pVVVV,           3pMc\D        PZ                  ! VRRRV13,          V3^R7      p\D        PZ                  ! VRRRV13,          V3^R7      pW¼VV,           3pMW¼VV,           3pVeR   VP                   ^,          V8”  d:   V^8X  d3   VRRV) R13,          pVRRV) R13,          pVe   VRV) R13,          MRpV P                  V P                   8w  d   RR/M/ pV! W«WÀP                  3R	VR
R/VB pV P?                  V4      V3# )r/   rf  N)r¤  rF   r‚   .Ú
enable_gqaTr{   Úskip_reshaperT   ).rA   r  rÃ  rr  r¿  rÀ  rÈ  ra  ÚNotImplementedrÄ  rÅ  rÆ  rƒ   r½  rh   rk  r¾  rÆ   rÇ   r°  rh  r   r   r   Ú	expand_asr%   Úscatter_r&   rx   Úflash_attention_decoder   rÉ  r«  r   r'   r@   rR   rj  Úmasked_fillÚsortÚvaluesÚ
clamp_max_Úgatherr�  rs  rn  )r   rÌ  rÍ  r¤  Úoptimized_attentionrÎ  rÏ  Ú
batch_sizeÚ
seq_lengthÚ_r}   rk   rl   ÚqkvÚfixed_cacher   ÚoutputÚvalidÚindicesÚpresent_key_valuer   r   Úpast_keyÚ
past_valueÚ
gqa_kwargss   &&&&&&&                  r   ra  ÚAttention.forward³  s  € ð %2×$7Ñ$7Ñ!ˆ
 à�?�?ˆ?ØŸ™ }Ó5×;Ñ;¸T¿_¹_ÈdÏlÉlÐ\`×\hÑ\hÐ<iÐoqÐ;Ór‰JˆB‘Bà×#Ñ#×+Ñ+¨MÓ:ˆCØ”nÓ$Ø—[‘[ Ó/�Ø—[‘[ Ó/�Ø—[‘[ Ó/‘à ŸY™Y¨¯©¸¿¹ÀtÇ|Á|Ð'TÐZ\˜YÓ]‘
�˜à�W‰W�Z¨T¯^©^¸T¿]¹]ÓK×UÑUÐVWÐYZÓ[ˆØ�W‰W�Z¨T×->Ñ->ÀÇÁÓN×XÑXÐYZÐ\]Ó^ˆØ�W‰W�Z¨T×->Ñ->ÀÇÁÓN×XÑXÐYZÐ\]Ó^ˆà�;‰;Ò"Ø—‘˜R“ˆBØ�;‰;Ò"Ø—‘˜R“ˆBä˜B¨iÔ8‰ˆä(2°>Ä7×(KÒ(K‘nÐQUˆØÓ"Ø—‘˜a Ó#ˆBØ—‘˜a Ó#ˆBØ—‘˜a Ó#ˆBØ˜QŒ ;×#4Ñ#4°qÔ#8à&×/Ñ/×4Ñ4°ZÀÀAÀqÓI×SÑSÐTVÓW�Ø—‘×(Ñ(¨¨HÔ9Ø×!Ñ!×*Ñ*¨1¨hÔ;Ü&×=Ò=¸bÇ/Á/ÐS^×SdÑSdÐfq×fxÑfxÓy�Ø—{‘{ 6§;¡;¨zÀtÇÁÓ#WÓXÐZeÐeÐeàÒ%¨×)<Ñ)<¸qÔ)@Ø—‘  ; J ; Õ/×5Ñ5°bÔ9Ø×!Ñ! ! [ j [ .Õ1×7Ñ7¸Ö;à& q¨!¨R°*°±Ð'=Õ>À!ÑC�ÜŸ,š, z¿)¹)ÔD×KÑKÈJÐXZÓ[�Ø!×-Ñ-¨u¨f°jÓA×FÑFÈ1ÐFÓM×TÑT×_Ñ_Ð`jÐmnÕ`nÓo�Ø!Ÿ,™, z¸qÀ!ÓD×NÑNÈrÓR�Ø—‘  ; J ; Õ/×5Ñ5°b·i±iÀÀ7Ó6KÔLØ×!Ñ! ! [ j [ .Õ1×7Ñ7¸¿	¹	À!ÀWÓ8MÔNØ×"Ñ"×(Ñ(¨¯©°q¨Ó)9Ô:à—‘˜a Ó#ˆBØ—‘˜a Ó#ˆBØ—‘˜a Ó#ˆBà'ÐØÓ >Ó#=ØˆEØŸ™ !�ˆJÜ�>Ó" QÕ&Ø.<Ñ+�˜* eØ—>‘> !Õ$¨°Õ);Ô<Ø@B�H˜Q  5¨°·±¸!µÕ)<Ð#<Ð<Ñ=ØBD�J˜q ! U¨5°2·8±8¸Aµ;Õ+>Ð%>Ð>Ñ?Ø! ! QÐ(<¨°·±¸!µÕ)<Ð(<Ð"<Õ=�BØ# A qÐ*>¨5°2·8±8¸Aµ;Õ+>Ð*>Ð$>Õ?�BØ)1°:¸uÀzÕ?QÐ(RÑ%äŸš H¨Q°°6°E°6¨\Õ$:¸BÐ#?ÀQÔG�BÜŸš J¨q°!°V°e°V¨|Õ$<¸bÐ#AÀqÔI�BØ)+°¸Õ1CÐ(DÑ%à%'¨U°ZÕ-?Ð$@Ð!àÒ)¨b¯h©h°q­k¸NÔ.JÈzÐ]^ÌØ˜˜1˜~˜oÑ.Ð.Õ/�Ø˜˜1˜~˜oÑ.Ð.Õ/�ØJXÒJd °°n°_Ñ5EÐ0EÖ!FÐjn�à-1¯^©^¸t×?PÑ?PÔ-P�l DÑ)ÐVXˆ
Ù$ R¨R·±ÑvÀnÐvÐcgÐvÐkuÑvˆØ�{‰{˜6Ó"Ð$5Ð5Ð5r   )rÈ  rh   r³   r¿  rÇ   rÅ  rÀ  r  r½  r¾  rÉ  rÆ   rÄ  rÃ  rÆ  ©NNN)NNNNN©	r0   r1   r2   r3   rN  ra  r5   r6   rc  rd  s   @@r   r²  r²  •  s#   ù‡ € ÷õ ÷:X6÷ X6ò X6r   r²  c                   óL   a a€ ] tR tRt oRV3R lV 3R llltRR ltRtVtV ;t# )ÚMLPi  c                ó&   <€ V ^8„  d   QhRS[ RS[/# r´  r·  )r*   r+   s   "€r   r,   ÚMLP.__annotate__  s   ø€ ÷ )ñ )™|ð )É3ñ )r   c                ó  <€ \         SV `  4        T;'       g    VP                  p\        VR R4      V n        V P                  '       d-   VP                  VP                  V^,          RW#R7      V n        M‚VP                  VP                  VRW#R7      V n        VP                  VP                  VRW#R7      V n	        \        P                  P                  V P                  V P                  34      V n        VP                  WQP                  RW#R7      V n        VP                  R8X  d3   \         P"                  P$                  P&                  V n        RV n        R# VP                  R8X  d   R V n        RV n        R# R# )r  Frº  r¯   Úswiglur)  c                 óX   € \         P                  P                  P                  V R R7      # )Útanh)Úapproximate)r'   rO  Ú
functionalÚgelu)Úas   &r   Ú<lambda>ÚMLP.__init__.<locals>.<lambda>  s   € ¬¯©×(;Ñ(;×(@Ñ(@ÀÐPVÐ(@Ô(Wr   N)rM  rN  r´   rÁ  r  rÂ  r³   r“  Ú	gate_projÚup_projr]  r¶  rÇ  Úcombined_gate_upr”  rÃ   r'   rO  rõ  r¯   r•  Úmerged_input_act)r   rµ  rR   rS   r¶  r´   rS  s   &&&&&&€r   rN  ÚMLP.__init__  s8  ø€ Ü‰ÑÔØ-×IÐI°×1IÑ1IÐÜ! &¨,¸Ó>ˆŒØ�?�?ˆ?Ø #§
¡
¨6×+=Ñ+=Ð?PÐSTÕ?TÐ[`Ðio 
Ó }ˆDÕà ŸZ™Z¨×(:Ñ(:Ð<MÐTYÐbh˜ZÓvˆDŒNØŸ:™: f×&8Ñ&8Ð:KÐRWÐ`f˜:ÓtˆDŒLÜ$)§I¡I×$<Ñ$<¸d¿n¹nÈdÏlÉlÐ=[Ó$\ˆDÔ!ØŸ™Ð$5×7IÑ7IÐPUÐ^d˜ÓrˆŒØ× Ñ  FÔ*Ü#Ÿh™h×1Ñ1×6Ñ6ˆDŒOØ$,ˆDÖ!Ø×"Ñ"Ð&9Ô9ÙWˆDŒOØ$(ˆDÖ!ñ :r   c                óÆ  € V P                   '       d   V P                  MV P                  pVe<   \        P                  P                  W1RVP                  4       VP                  4      pM \        P                  P                  W1R 4      pV\        Jd   V P                  e5   \        P                  P                  V P                  W@P                  4      # VP                  ^RR7      w  rVV P                  V P                  V4      V,          4      # Ve	   V! V4      pV P                  V P                  V P                  V4      4      V P                  V4      ,          4      # )Nr`  rf  rT   )r  r“  rü  r]  r¶  Úlinear_input_actrW  rJ  rÓ  rý  r”  Úchunkr•  rú  rû  )r   rZ  ÚnormÚgate_upÚcombinedÚgateÚups   &&&    r   ra  ÚMLP.forward   s  € à'+§§ �$×#Ò#¸D×<QÑ<QˆØÒÜ—y‘y×1Ñ1°'¸jÈ$Ï*É*Ë,ÐX\×X`ÑX`Óa‰Hä—y‘y×1Ñ1°'¸dÓCˆHØœ>Ó)Ø×$Ñ$Ò0Ü—y‘y×1Ñ1°$·.±.À(×LaÑLaÓbÐbØ—~‘~ a¨R�~Ó0‰HˆDØ—>‘> $§/¡/°$Ó"7¸"Õ"<Ó=Ð=ØÒÙ�Q“ˆAØ�~‰~˜dŸo™o¨d¯n©n¸QÓ.?Ó@À4Ç<Á<ÐPQÃ?ÕRÓSÐSr   )r•  rü  r”  rú  r“  rý  r  rû  ©NNNNr   rë  rd  s   @@r   rí  rí    s   ù‡ € ÷)õ )÷$Tô Tr   rí  c                   óX   a a€ ] tR tRt oRV3R lV 3R llltRV3R lR lltRtVtV ;t# )	ÚTransformerBlocki0  c                ó&   <€ V ^8„  d   QhRS[ RS[/# r´  r·  )r*   r+   s   "€r   r,   ÚTransformerBlock.__annotate__1  s    ø€ ÷ yñ y™|ð yÑRUñ yr   c                ó  <€ \         SV `  4        \        WWER 7      V n        \	        WWER 7      V n        \        VP                  VP                  W4R7      V n	        \        VP                  VP                  W4R7      V n
        R# )©rR   rS   r¶  )rJ  rR   rS   N)rM  rN  r²  Ú	self_attnrí  ÚmlprG  r³   r¹   Úinput_layernormÚpost_attention_layernorm©r   rµ  r   rR   rS   r¶  rS  s   &&&&&&€r   rN  ÚTransformerBlock.__init__1  sf   ø€ Ü‰ÑÔÜ" 6ÀÔOˆŒÜ�v°EÔCˆŒÜ& v×'9Ñ'9¸v×?RÑ?RÐ[aÔoˆÔÜ(/°×0BÑ0BÈ×H[ÑH[ÐdjÔ(xˆÖ%r   c                óÜ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[ P                  ,          RS[S[S[ P                  S[ P                  3,          ,          /# ©r$   rZ  rÍ  r¤  rÎ  ©r'   r(   r   r   )r*   r+   s   "€r   r,   r  8  s`   ø€ ÷ $ñ $á�<‰<ð$ñ !¡§¡Õ.ð$ñ ™EŸL™LÕ)ð	$ñ !¡¡u§|¡|±U·\±\Ð'AÕ!BÕCñ$r   c                óê   € TpTpV P                  V4      pV P                  VVVVVR 7      w  rWq,           pTpV P                  V4      pV P                  V4      p\        P
                  ! WqVR7      pW3# ))rÌ  rÍ  r¤  rÜ  rÎ  r=   )r  r  r  r  r'   rR  )	r   rZ  rÍ  r¤  rÜ  rÎ  râ  Úresidualrå  s	   &&&&&&   r   ra  ÚTransformerBlock.forward8  s‰   € ð ˆàˆØ× Ñ  Ó#ˆØ#Ÿ~™~ØØ)ØØ 3Ø)ð  .ó  
Ñˆð �Lˆð ˆØ×)Ñ)¨!Ó,ˆØ�H‰H�Q‹KˆÜ�IŠI�h vÔ.ˆàÐ#Ð#r   )r  r  r  r  rê  r  rë  rd  s   @@r   r
  r
  0  s    ù‡ € ÷yõ y÷$÷ $ò $r   r
  c                   óX   a a€ ] tR tRt oRV3R lV 3R llltRV3R lR lltRtVtV ;t# )	ÚTransformerBlockGemma2iU  c                ó&   <€ V ^8„  d   QhRS[ RS[/# r´  r·  )r*   r+   s   "€r   r,   Ú#TransformerBlockGemma2.__annotate__V  s   ø€ ÷ 8ñ 8™|ð 8ÑRUñ 8r   c                ó®  <€ \         SV `  4        \        WWER 7      V n        \	        WWER 7      V n        \        VP                  VP                  VP                  W4R7      V n
        \        VP                  VP                  VP                  W4R7      V n        \        VP                  VP                  VP                  W4R7      V n        \        VP                  VP                  VP                  W4R7      V n        VP                  e4   VP                  V\        VP                  4      ,          ,          V n        MRV n        VP                   V n        R# )r  r¼  NF)rM  rN  r²  r  rí  r  rG  r³   r¹   rÂ   r  r  Úpre_feedforward_layernormÚpost_feedforward_layernormr-  rs  r»   r  s   &&&&&&€r   rN  ÚTransformerBlockGemma2.__init__V  s#  ø€ Ü‰ÑÔÜ" 6ÀÔOˆŒÜ�v°EÔCˆŒÜ& v×'9Ñ'9¸v×?RÑ?RÐX^×XkÑXkÐtzô   IˆÔÜ(/°×0BÑ0BÈ×H[ÑH[Ðag×atÑatð  ~Dô  )RˆÔ%Ü)0°×1CÑ1CÈ×I\ÑI\Ðbh×buÑbuð  Eô  *SˆÔ&Ü*1°&×2DÑ2DÈ&×J]ÑJ]Ðci×cvÑcvð  @Fô  +TˆÔ'à×#Ñ#Ò/Ø%+×%=Ñ%=¸eÄcÈ&×JbÑJbÓFcÕ>cÕ%dˆDÕ"à%*ˆDÔ"à &× 7Ñ 7ˆÖr   c                óÜ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[ P                  ,          RS[S[S[ P                  S[ P                  3,          ,          /# r  r  )r*   r+   s   "€r   r,   r  f  s`   ø€ ÷ .$ñ .$á�<‰<ð.$ñ !¡§¡Õ.ð.$ñ ™EŸL™LÕ)ð	.$ñ !¡¡u§|¡|±U·\±\Ð'AÕ!BÕCñ.$r   c           	     óH  € TpR pV P                   R8X  dú   V P                  '       dß   V P                  pVP                  ^,          V P                  8”  d§   \        P                  ! VP                  ^,          VP                  ^,          3\        P
                  ! VP                  4      P                  VP                  VP                  R7      pVP                  V P                  ) R7       Ve
   W(,           pMTpV^,          pM	V^ ,          pTp	V P                  V4      pV P                  VVVVVVR7      w  rV P                  V4      pW‘,           pTp	V P                  V4      pV P                  V4      pV P                  V4      p\        P                   ! W‘VR7      pW3# )Nræ   rQ   )Údiagonal)rÌ  rÍ  r¤  rÜ  rÎ  rÏ  r=   )r»   r-  rA   r'   ÚfullÚfinforS   r‘   rR   Útril_r  r  r  r   r  r!  rR  )r   rZ  rÍ  r¤  rÜ  rÎ  râ  rÏ  Úsliding_maskr  rå  s   &&&&&&     r   ra  ÚTransformerBlockGemma2.forwardf  s…  € ð ˆØˆØ× Ñ  HÔ,Ø×%×%Ð%Ø!%×!7Ñ!7�Ø—7‘7˜1•: × 6Ñ 6Ô6Ü#(§:¢:¨q¯w©w°q­z¸1¿7¹7À1½:Ð.FÌÏÊÐTU×T[ÑT[ÓH\×H`ÑH`Ðij×iqÑiqÐyz÷  zAñ  zAô  $B�LØ ×&Ñ&°×1GÑ1GÐ0GÐ&ÔHØ%Ò1Ø)7Õ)F™à)5˜Ø% a�L‘	à% a�L�	ð ˆØ× Ñ  Ó#ˆØ#Ÿ~™~ØØ)ØØ 3Ø)Ø)ð  .ó  
Ñˆð ×)Ñ)¨!Ó,ˆØ�Lˆð ˆØ×*Ñ*¨1Ó-ˆØ�H‰H�Q‹KˆØ×+Ñ+¨AÓ.ˆÜ�IŠI�h vÔ.ˆàÐ#Ð#r   )r  r  r  r!  r   r  r-  r»   rê  r  rë  rd  s   @@r   r  r  U  s   ù‡ € ÷8õ 8÷ .$÷ .$ò .$r   r  c                 óH   a€  ! V3R  lRV P                   4      pV! WWER7      # )c                   óL   <a a€ ] tR tRt oRV V3R lltRV V3R lltRtVtV ;t# )Ú/_make_scaled_embedding.<locals>.ScaledEmbeddingi—  c                ó2   <€ \         SV `  WR 7      S,          # ©©Ú	out_dtype)rM  ra  ©r   Ú	input_idsr1  rS  rW  s   &&&€€r   ra  Ú7_make_scaled_embedding.<locals>.ScaledEmbedding.forward˜  s   ø€ Ü‘7‘? 9�?ÓBÀUÕJÐJr   c                ó2   <€ \         SV `  WR 7      S,          # r/  )rM  Ú	host_rowsr2  s   &&&€€r   r6  Ú9_make_scaled_embedding.<locals>.ScaledEmbedding.host_rows›  s   ø€ Ü‘7Ñ$ YÐ$ÓDÀuÕLÐLr   r.   r   )	r0   r1   r2   r3   ra  r6  r5   r6   rc  )rS  r+   rW  s   @@€r   ÚScaledEmbeddingr-  —  s#   ú‡ € ÷	Kð 	K÷	M÷ 	Mð 	Mr   r8  rQ   )Ú	Embedding)r¶  r²   r³   rW  rR   rS   r8  s   &&&f&& r   Ú_make_scaled_embeddingr:  –  s$   ø€ ÷M˜#Ÿ-™-ô Mñ ˜:¸6ÔOÐOr   c                   ó‚   a a€ ] tR tRt oRtRtRV 3R lltR tR tR t	R t
R	 tRRRRR
RR. RRRRRR3R ltRtVtV ;t# )ÚLlama2_i   FNc                óÂ  <€ \         SV `  4        Wn        \        VR R4      V n        \        VRR4      V n        \        VRR4      V n        VP                  V n        V P                  P                  R8X  g   V P                  P                  R8X  d@   \        p\        WAP                  VP                  VP                  R,          W#4      V n        M3\        pVP                  VP                  VP                  W#R7      V n        \        P                   ! \#        VP$                  4       Uu. uF  pV! WW#VR7      NK  	  up4      V n        VP(                  '       d4   \+        VP                  VP,                  VP.                  W#R	7      V n        MR
V n        VP2                  '       d1   VP5                  VP                  VP                  RW#R7      V n        R
# R
# u upi )r  Fr  r  r'  ræ   ç      à?rQ   )r   rR   rS   r¶  r¼  Nrº  )rM  rN  rµ  rÁ  r  r  r  r²   r»   r  r:  r³   Úembed_tokensr
  r9  rO  Ú
ModuleListr”   rµ   Úlayersr¼   rG  r¹   rÂ   r  r½   rÂ  )r   rµ  rR   rS   r¶  Útransformerr‚  rS  s   &&&&&  €r   rN  ÚLlama2_.__init__¤  s’  ø€ Ü‰ÑÔØŒÜ ¨
°EÓ:ˆŒÜ)0°Ð9TÐV[Ó)\ˆÔ&Ü&-¨fÐ6NÐPUÓ&VˆÔ#Ø ×+Ñ+ˆŒà�;‰;×'Ñ'¨8Ô3°t·{±{×7SÑ7SÐW_Ô7_Ü0ˆKÜ 6°s×<MÑ<MÈv×OaÑOaÐci×cuÑcuÐy|Õc|ð  Eó  !MˆDÕä*ˆKØ #§¡¨f×.?Ñ.?À×ASÑASÐ\b Ó pˆDÔä—m’mä˜6×3Ñ3Ô4ó%
á4�ñ ˜°È×MÙ4ñ%
ó ˆŒð
 ××ÐÜ × 2Ñ 2¸×8KÑ8KÐQW×QdÑQdÐmsô  BˆD�IàˆDŒIà�>�>ˆ>ØŸ:™: f×&8Ñ&8¸&×:KÑ:KÐRWÐ`f˜:ÓtˆDŽLñ ùò%
s   Ä,Gc                ó\   € V P                   '       d   \        V P                  4      . 3# . . 3# r   )r  ri  rA  rV  s   &r   Úget_dynamic_vram__unitsÚLlama2_.get_dynamic_vram__unitsÀ  s+   € Ø*.×*H×*HÐ*H”�T—[‘[Ó! 2Ð&ÐVÈrÐSUÈhÐVr   c                ój   € V^ ,          p\        V\        4      '       d   VP                  # V^,          # )r   )rh  r   r   )r   Úpast_key_valuesÚfirsts   && r   Úget_past_lenÚLlama2_.get_past_lenÃ  s+   € Ø Õ"ˆÜ(¨´×8Ò8ˆu�{‰{ÐF¸eÀA½hÐFr   c           
     óL  € . p\        \        R R4      pV P                  ;'       d    VRJ;'       d	    V! V4      pV'       dQ   \        P                  ! V3V\        P
                  R7      p\        P                  ! V3V\        P                  R7      p	\        V P                  P                  4       Fí  p
V'       dy   \        P                  ! WV P                  P                  V P                  P                  3W4R7      p\        P                  ! V4      pVP                  \        W¼^ XX	4      4       Kƒ  \        P                  ! WP                  P                  W P                  P                  3W4R7      pVP                  V\        P                  ! V4      ^ 34       Kï  	  V# )Ú#flash_attention_decode_is_availableNrQ   )rÁ  rx   r  r'   rU   rW   rc   rX   r”   rµ  rµ   r·   rh   r|   rn   r   )r   rY   rg   rR   rS   ÚcachesÚflashÚflash_kvÚposr   rß  r%   r&   s   &&&&&        r   Úinit_kv_cacheÚLlama2_.init_kv_cacheÇ  s4  € ØˆÜœÐ'LÈdÓSˆØ—=‘=×HÐH U°$Ð%6×HÐH¹5À»=ˆßÜ—+’+˜u˜h¨v¼U¿[¹[ÔIˆCÜ—[’[ % °&ÄÇÁÔLˆFÜ�t—{‘{×4Ñ4Ö5ˆAßÜ—k’k 5°D·K±K×4SÑ4SÐUY×U`ÑU`×UiÑUiÐ"jÐsyô  H�Ü×(Ò(¨Ó-�Ø—‘œg c°!°S¸&ÓAÖBä—k’k 5¯+©+×*IÑ*IÈ8×U`ÑU`×UiÑUiÐ"jÐsyô  H�Ø—‘˜s¤E×$4Ò$4°SÓ$9¸1Ð=Ö>ñ 6ð ˆr   c                óæ   € \         P                  ! V^V P                  P                  3W#R7      p\         P                  ! RV\         P
                  R7      pV\        V P                  WR4      4      3# )r/   rQ   rg  )r'   rU   rµ  r³   rc   rW   r¨  Úcompute_freqs_cis)r   rY   rR   rS   ÚhiddenÚ	positionss   &&&&  r   Úinit_decode_buffersÚLlama2_.init_decode_buffersØ  sT   € Ü—’˜e Q¨¯©×(?Ñ(?Ð@ÈÔ]ˆÜ—K’K ¨v¼U¿[¹[ÔIˆ	Ø”{ 4×#9Ñ#9¸)Ó#LÓMÐMÐMr   c                óð   € \        V P                  P                  VV P                  P                  V P                  P                  V P                  P
                  \        V P                  R R4      VR7      # )r  F)r  rR   )r…  rµ  rh   rº   rÈ   rÅ   rÁ  )r   rt  rR   s   &&&r   rU  ÚLlama2_.compute_freqs_cisÝ  sZ   € Ü# D§K¡K×$8Ñ$8Ø$0Ø$(§K¡K×$:Ñ$:Ø$(§K¡K×$:Ñ$:Ø$(§K¡K×$9Ñ$9Ü6=¸d¿k¹kÐK^Ð`eÓ6fØ+1ô3ð 	3r   Tc                óš  aaaaaaa a!a"a#€ Ve   VoMV P                  SVR7      oSP                  ^,          o#^ pV
e"   \        V
4      ^ 8”  d   V P                  V
4      pV
R J;'       d.    \        V
4      ^ 8„  ;'       d    \	        V
^ ,          \
        4      pT;'       d    V^ 8„  ;'       d    S#^8H  pV'       d   R pSfZ   Vf:   \        P                  ! VVS#,           SP                  R7      P                  ^ 4      pV P                  VSP                  4      oR oVeê   RVP                  SP                  4      P                  VP                  ^ ,          ^RVP                  R,          34      P                  VP                  ^ ,          ^S#VP                  R,          4      ,
          oSP                  SP                  \        P                   4      \        P"                  ! SP                  4      P$                  ^,          4      oT;'       dp    \&        ;QJ d    R V
 4       F  '       g   K   RM	  RM! R V
 4       4      ;'       d4    ^S#u;8*  ;'       d
    \(        8*  Mu ;'       d    V^ 8„  ;'       d    VR J pS#^8”  d¢   V'       gš   \        P*                  ! VS#,           VS#,           SP                  SP                  R7      P-                  \        P"                  ! SP                  4      P$                  ^,          4      P/                  ^4      pSe   SV,          oMVo\1        SP                  SR JRR7      o!V P2                  ;'       d    T;'       g    ToS'       dJ   Vf   SP5                  4       oM4Vw  ppVP7                  S4       VoVP7                  \9        S4      4       VoR pR pR pVeT   \	        V\:        4      '       d   . p\=        V4      pM/VR	8X  d   . pR pM#V^ 8  d   \        V P>                  4      V,           p\@        PB                  PE                  \;        V P>                  4      SP                  R
V PF                  ;'       d    V
R J/4      pV
e   \;        V
4      M. o \I        V P>                  4       EFQ  w  ooVe:   Ve   SV9   d/   VPK                  SP                  ^4      P5                  4       4       R o"V
e   \        V
4      ^ 8”  d
   V
S,          M. o"V'       d%   \M        S"4      \
        Jd   S"PO                  S#4       VVVVVV V!V"V#V3
R lp\@        PB                  PQ                  VSP                  SSP                  VSRR7       V'       d   S S,          PS                  S#4       Ve:   S\        V4      8  d*   SV,          VS,          P                  S4      ,           SV&   SV8X  g   EKA  SP5                  4       pEKT  	  \@        PB                  PQ                  VSP                  R RR7       V PT                  e   V PU                  S4      oVeA   Ve   S^,           V9   d/   VPK                  SP                  ^4      P5                  4       4       Ve   \        PV                  ! V^R7      pVe(   V'       d    V PT                  e   V PU                  V4      pS '       d   SVS 3# SV3# )Nr0  r‚   r2  c              3   óB   "  € T F  p\        V\        4      x € K  	  R # 5ir   )rh  r9   )Ú.0Úkvs   & r   Ú	<genexpr>Ú"Llama2_.forward.<locals>.<genexpr>   s   é € Ð&^ÉoÈ¤z°"´l×'CÐ'CËoùs   ‚TFr�   )r{   Úsmall_inputÚallr  c                  óÒ   <
€ S^ 8X  d%   \        S	4      \        J d   S	P                  S
4       S! SSSSS	R7      w  rS'       d   SP                  V 4       MV oS'       d   VSS&   R# R# )r   )rZ  rÍ  r¤  rÜ  rÎ  N)Útyper   r   r   )râ  Ú
current_kvÚenable_graphr¤  r‚  Úlayerr{   Únext_key_valuesrÜ  Úpast_kvÚseq_lenrZ  s     €€€€€€€€€€r   ÚcoreÚLlama2_.forward.<locals>.core0  sf   ø€ ð ˜”6œd 7›m¬wÓ6Ø—O‘O GÔ,Ù%*ØØ#'Ø'Ø(;Ø#*ô&Ñ"�÷  Ø—G‘G˜F•Oà�Aß"Ø)3�O AÓ&ñ #r   Úblock)rl  rg  Úmalloc_scope)ro  rf  rT   ),r?  rA   rs  rJ  rh  r   r'   r@   rR   rp  rU  rŽ  rS   r‰  rj  r×  r…   r'  r‘   ÚanyrV   rU   rB   Útriu_r	   r  rl  r   r¨  ri  ÚsetrA  r]  Úmodel_prefetchÚmake_prefetch_queuer  rG   rn   re  r   Úprefetch_queue_popr   r  rn  )$r   rZ  rÍ  Úembedsr   Úintermediate_outputÚfinal_layer_norm_intermediaterS   rt  Úembeds_inforH  r3  Údeepstack_embedsÚvisual_pos_masksÚdecode_buffersr¤  Úpast_lenr  Úfixed_kv_decodeÚspec_decodeÚcausal_maskÚhidden_bufferÚrotary_bufferÚintermediateÚall_intermediateÚonly_layersÚprefetch_queuerl  rg  r‚  rh  r{   ri  rÜ  rj  rk  s$   &f&&&&&&&&&&&&&f            @@@@@@@@r   ra  ÚLlama2_.forwardæ  s€  ÿù€ àÒØ‰Aà×!Ñ! !¨uÐ!Ó5ˆAà—'‘'˜!•*ˆØˆØÒ&¬3¨Ó+?À!Ô+CØ×(Ñ(¨Ó9ˆHØ"¨$Ð.×wÐw´3°Ó3GÈ!Ñ3K×wÐwÔPZÐ[jÐklÕ[mÔovÓPwˆØ"×DÐD x°!¡|×DÐD¸À1¹ˆßØ!ˆNàÒØÒ#Ü$Ÿ|š|¨H°hÀÕ6HÐQR×QYÑQYÔZ×dÑdÐefÓg�Ø×.Ñ.¨|¸Q¿X¹XÓFˆIàˆØÒ%Ø˜×*Ñ*¨1¯7©7Ó3×;Ñ;¸^×=QÑ=QÐRSÕ=TÐVWÐY[Ð]k×]qÑ]qÐrtÕ]uÐ<vÓw×~Ñ~ð  @N÷  @Tñ  @Tð  UVõ  @Wð  YZð  \cð  es÷  eyñ  eyð  z|õ  e}ó  ~õ  ~ˆDØ×#Ñ# D§G¡G¬E¯J©JÓ$7¼¿ºÀQÇWÁWÓ9M×9QÑ9QÐTUÕ9UÓVˆDà÷  ið  i§3£3Ñ&^ÉoÓ&^§3§3¢3Ñ&^ÉoÓ&^Ó#^÷  ið  iÐcdÐho×c|Ôc|Ôs|Ôc|÷  ið  ið  BJð  MNñ  BN÷  ið  ið  Sað  eið  SiˆØ�QŒ;Ÿ{ÜŸ+š+ h°Õ&8¸(ÀWÕ:LÐTU×T[ÑT[Ðde×dlÑdlÔm×sÑsÔty×tÒtð  AB÷  AHñ  AHó  uI÷  uMñ  uMð  PQõ  uQó  R÷  Xñ  Xð  YZó  [ˆKØÒØ˜Õ#‘à"�ä<¸Q¿X¹XÈDÐX\ÐL\ÐjnÔoÐà×5Ñ5×ZÐZ¸?×;YÐ;YÈkˆßØÒ%Ø—G‘G“I‘à/=Ñ,�˜}Ø×#Ñ# AÔ&Ø!�Ø×#Ñ#¤K°	Ó$:Ô;Ø)�	àˆØÐØˆØÒ*ÜÐ-¬t×4Ò4Ø#%Ð Ü!Ð"5Ó6‘Ø$¨Ô-Ø#%Ð Ø&*Ñ#Ø$ qÔ(Ü&)¨$¯+©+Ó&6Ð9LÕ&LÐ#ä×-Ñ-×AÑAÄ$ÀtÇ{Á{ÓBSÐUV×U]ÑU]Ð`xÐz~÷  {Vñ  {V÷  {vð  {vð  [jð  rvð  [vð  `wó  xˆØ3BÒ3Nœ$˜Ô/ÐTVˆÜ! $§+¡+×.‰HˆAˆuØÒ+ØÒ&¨1°Ô+;Ø$×+Ñ+¨A¯K©K¸«N×,@Ñ,@Ó,BÔCàˆGØÒ*Ü03°OÓ0DÀqÔ0H˜/¨!Ö,Èb�çœD ›M´Ó8Ø—‘ Ô(÷4ö 4ô& × Ñ ×3Ñ3Ø §¡¨%°·±¸tÐR^Ø$ð 4ô ÷ Ø Õ"×*Ñ*¨7Ô3ð  Ò+°´CÐ8HÓ4IÔ0IØ&'Ð(8Õ&9Ð<LÈQÕ<O×<RÑ<RÐSTÓ<UÕ&U�Ð"Ñ#àÐ'×'Ø Ÿw™w›y“ñW /ôZ 	×Ñ×/Ñ/Ø˜AŸH™H dØ ð 	0ô 	
ð
 �9‰9Ò Ø—	‘	˜!“ˆAàÒ'ØÒ"¨¨A­°+Ô'=Ø ×'Ñ'¨¯©°A«×(<Ñ(<Ó(>Ô?àÒ'Ü Ÿ9š9Ð%5¸1Ô=ˆLàÒ#×(EÈ$Ï)É)ÒJ_ØŸ9™9 \Ó2ˆLçØ�l OÐ3Ð3à�l�?Ð"r   )	rµ  r?  r  r  rA  r½   r  r  r²   rê  )r0   r1   r2   r3   r  r  rN  rE  rJ  rR  rX  rU  ra  r5   r6   rc  rd  s   @@r   r<  r<     su   ù‡ € Ø€HØ %Ð÷uò8WòGòò"Nò
3ð )-°TÀdÐ`dð  EIØ¨¸2ÈtÐ_cÐuyð  MQð  bfð  rv÷@#ô @#r   r<  c                   óD   a a€ ] tR tRt oV 3R ltV3R lR ltRtVtV ;t# )ÚGemma3MultiModalProjectorii  c           	     óŠ  <€ \         SV `  4        \        P                  ! \        P
                  ! VP                  R ,          VP                  W2R7      4      V n        \        VP                  R ,          VP                  VP                  W2R7      V n        \        VP                  R,          VP                  R,          ,          4      V n        \        VP                  R,          4      V n        V P                  V P                   ,          V n        \        P$                  ! V P"                  V P"                  R7      V n        R# )r³   rQ   r¼  r9  r<  r>  )Úkernel_sizeÚstrideN)rM  rN  rO  rP  r'   rU   r@  r³   Úmm_input_projection_weightrG  r¹   rÂ   Úmm_soft_emb_normr)   Úpatches_per_imagerA  Útokens_per_sider‹  Ú	AvgPool2dÚavg_pool)r   rµ  rS   rR   Ú
operationsrS  s   &&&&&€r   rN  Ú"Gemma3MultiModalProjector.__init__j  sï   ø€ Ü‰ÑÔä*,¯,ª,Ü�KŠK˜×,Ñ,¨]Õ;¸V×=OÑ=OÐX^Ôló+
ˆÔ'ô !(¨×(<Ñ(<¸]Õ(KÐQW×QdÑQdÐjp×j}Ñj}ð  GMô  ![ˆÔä!$ V×%9Ñ%9¸,Õ%GÈ6×K_ÑK_Ð`lÕKmÕ%mÓ!nˆÔÜ" 6×#=Ñ#=¸sÕ#BÓCˆÔØ×1Ñ1°T×5IÑ5IÕIˆÔÜŸš°×1AÑ1AÈ$×JZÑJZÔ[ˆŽr   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r$   Úvision_outputsr[  )r*   r+   s   "€r   r,   Ú&Gemma3MultiModalProjector.__annotate__x  s   ø€ ÷ @ñ @¡e§l¡lñ @r   c           	     ó  € VP                   w  r#pVP                  ^^4      pVP                  W$V P                  V P                  4      pVP	                  4       pV P                  V4      pVP                  ^4      pVP                  ^^4      pV P                  V4      p\        P                  ! V\        P                  P                  V P                  VP                  VP                  R7      4      pVP!                  V4      # )r/   rQ   )rA   rk  r‰  r�  rž   r’  ÚflattenrŽ  r'   Úmatmulr]  Úmodel_managementÚcast_to_devicer�  rR   rS   Útype_as)	r   r–  rÝ  rß  rÞ  Úreshaped_vision_outputsÚpooled_vision_outputsÚnormed_vision_outputsÚprojected_vision_outputss	   &&       r   ra  Ú!Gemma3MultiModalProjector.forwardx  s  € Ø$2×$8Ñ$8Ñ!ˆ
�zà"0×":Ñ":¸1¸aÓ"@ÐØ"9×"AÑ"AØ D×$:Ñ$:¸D×<RÑ<Ró#
Ðð #:×"DÑ"DÓ"FÐà $§¡Ð.EÓ FÐØ 5× =Ñ =¸aÓ @ÐØ 5× ?Ñ ?ÀÀ1Ó EÐà $× 5Ñ 5Ð6KÓ LÐä#(§<¢<Ð0EÄu×G]ÑG]×GlÑGlÐmq÷  nMñ  nMð  Vk÷  Vrñ  Vrð  zO÷  zUñ  zUÐGló  HVó  $WÐ Ø'×/Ñ/°Ó?Ð?r   )r’  r‹  r�  rŽ  r�  r�  rë  rd  s   @@r   r‰  r‰  i  s   ù‡ € õ\÷@÷ @ð @r   r‰  c                   ó2   a € ] tR tRt o R tR tR tRtV tR# )Ú	BaseLlamai‹  c                ó.   € V P                   P                  # r   ©Úmodelr?  rV  s   &r   Úget_input_embeddingsÚBaseLlama.get_input_embeddingsŒ  s   € Ø�z‰z×&Ñ&Ð&r   c                ó&   € WP                   n        R # r   r¦  )r   Ú
embeddingss   &&r   Úset_input_embeddingsÚBaseLlama.set_input_embeddings�  s   € Ø",�
‰
Ör   c                ó.   € V P                   ! V.VO5/ VB # r   )r§  )r   r3  ÚargsÚkwargss   &&*,r   ra  ÚBaseLlama.forward’  s   € Ø�zŠz˜)Ð5 dÒ5¨fÑ5Ð5r   r.   N)	r0   r1   r2   r3   r¨  r¬  ra  r5   r6   r7   s   @r   r¤  r¤  ‹  s   ø‡ € ò'ò-÷6ð 6r   r¤  c                 ó>   € V R 8g  ;'       g    VRJ;'       d    VR8g  # )r2  Nç        r.   )Úrepetition_penaltyÚpresence_penaltys   &&r   Úpenalty_activer¶  •  s*   € Ø Ñ$×bÐbÐ)9ÀÐ)E×)aÐ)aÐJZÐ^aÑJaÐbr   c                 óˆ   € VR 8w  d(   \         P                  ! V ^ 8  W,          W,          4      p Ve   VR8w  d	   W,
          p V # )r2  r³  )r'   Úwhere)Úlogitsr´  rµ  s   &&&r   Úapply_penaltyrº  ™  sA   € Ø˜SÔ Ü—’˜V a™Z¨Õ)DÀfÕFaÓbˆØÒ#Ð(8¸CÔ(?ØÕ*ˆØ€Mr   c                   óp   a € ] tR tRt o R tR tRRRR^2RR	R^*R. R^ R	RRRRR3R
 ltRR ltRR ltRt	V t
R# )ÚBaseGeneratei¡  c                ó@  € VR RR13,          p\        V P                  R4      '       d   V P                  P                  pMV P                  P                  pVP                  '       gD   \
        P                  P                  P                  W#P                  P                  V4      R4      # \        P                  P                  W2RR7      ;_uu_ 4       w  rE\
        P                  P                  P                  W$R4      uuRRR4       #   + '       g   i     R# ; i)rF   Nr½   T©ÚoffloadablerT   )Úhasattrr§  r½   r?  Úcomfy_cast_weightsr'   rO  rõ  ÚlinearrQ  rŽ  r]  r¶  ÚCastBiasWeightContext)r   rZ  ÚinputÚmodulerQ  Ú_biass   &&    r   r¹  ÚBaseGenerate.logits¢  sÂ   € Ø�!�R‘S�&•	ˆÜ�4—:‘:˜y×)Ò)Ø—Z‘Z×'Ñ'‰Fà—Z‘Z×,Ñ,ˆFà×(×(Ð(Ü—8‘8×&Ñ&×-Ñ-¨e·]±]×5EÑ5EÀaÓ5HÈ$ÓOÐOÜ�Y‰Y×,Ñ,¨VÈÐ,×MÔMÑQ`ÐRXÜ—8‘8×&Ñ&×-Ñ-¨e¸TÓB÷ N×M×MÓMús   Ã,DÄD	c                ó:   € V P                   P                  WW44      # r   )r§  rR  )r   rY   Úmax_cache_lenrR   Úexecution_dtypes   &&&&&r   rR  ÚBaseGenerate.init_kv_cache®  s   € Ø�z‰z×'Ñ'¨¸fÓVÐVr   NTr(  r2  gÍÌÌÌÌÌì?r³  c                óN  € VP                   pV
f!   V P                  P                  P                  p
VfG   \        P
                  P                  V4      '       d   \        P                  pM\        P                  pVP                  V4      pVP                  ^8X  d   VP                  ^ 4      pVP                  ^,          V,           pV P                  VP                  ^ ,          VVV4      pV'       d'   \        P                  ! VR7      P!                  V	4      MR p. p\        P"                  P%                  V4      pVe(   \'        VR,          P)                  4       4      ^,           MR pV P                  P*                  ;'       d     \        P,                  P/                  V4      pR pV'       da   \        P
                  P0                  P2                  '       g7   \5        V P                  RR 4      pVe   V! VP                  ^ ,          VV4      p\        P6                  ! VP                  ^ ,          ^3\        P8                  VR7      pR pVe^   VfZ   \;        V P                  P=                  \        P>                  ! VV\        P@                  R7      P                  ^ 4      V4      4      p\C        WŽ4      p R p!Tp" \E        \G        V4      RR7       EFŠ  p#V#^ 8”  dð   V'       d    \        P,                  PI                  V4       V P                  PJ                  p$\M        V$R4      '       db   V$PN                  fT   \Q        V$PR                  4      ^ 8X  d:   \        PT                  PW                  V$4      '       d   V$PY                  VVR	7      pMV$! V4      P                  V4      pVe   TMR p"Ve   \        PZ                  ! V..VR7      MR p/ p%VeD   VV%R
&   Ve;   V#^ 8”  d4   V P                  P]                  V4      p&VRRV&V&^,           13,          V%R&   V#^ 8X  d   Ve   VV%R&   VV%R&   V P                  P^                  ! RRXRR RVRV"RX/V%BRV#^ 8X  d   TMR /B w  p'p(pV Pa                  V'4      R,          p)V!fƒ   V'       d{   V '       ds   \        Pb                  ! V)P                  R,          3\        Pd                  VR7      p!\Q        V4      ^ 8”  d*   V!Pg                  ^ \        PZ                  ! VVR7      R4       V Pi                  V)WEWgV. VW.V!R7      p*VPk                  V*4       V!e   V!Pg                  ^ V^ ,          R4       ?*?)?'??V#^ 8”  d'   V'       d   \        P,                  Pm                  4        V^ ,          Po                  4       p+VPq                  V+4       V#^ 8X  d‡   \M        V P                  PJ                  R4      '       da   V P                  PJ                  Pr                  ^ ,          p,\        P
                  Pu                  4        V,Pw                  V,Px                  4       V#^ 8”  d   Ve
   V^,          pVP{                  ^4       V+V
9   g   EK‹   M	  \        P,                  P}                  4        V#   \        P,                  P}                  4        i ; i)Nr‚   rF   rX  r�   rQ   zGenerating tokens)ÚdescÚ_vr0  r|  r¤  rz  r{  rv  rÍ  rH  r3  rt  ry  T)Ú	do_samplerµ  Úpenalty_maskrT   )rF   rT   r   )?rR   r§  rµ  rÙ   r]  r›  Úshould_use_bf16r'   Úbfloat16Úfloat32rŽ  r«  rp  rA   rR  Ú	GeneratorÚmanual_seedÚutilsÚProgressBarr)   rŸ   r  rs  Úmalloc_graph_enabledr¯  Údisable_cuda_graphsrÁ  rU   Úlongr¨  rU  r@   r‡   r¶  r   r”   Úmalloc_graph_beginr?  rÀ  Úweight_lowvram_functionrs  Úweight_functionr¶  Úvbar_above_watermarkr6  r“   rJ  ra  r¹  rc   r…   Úindex_fill_Úsample_tokenr   Úmalloc_graph_endÚitemrn   rÎ  Úreset_cast_buffersÚset_watermarkÚmax_sizer�   Úcleanup_prefetch_queues)-r   rv  rÏ  Ú
max_lengthÚtemperaturer–  Útop_pÚmin_pr´  ÚseedrÙ   Úinitial_tokensrÊ  Ú
min_tokensrµ  Úinitial_input_idsrt  rz  r{  ry  rR   rÉ  rH  Ú	generatorÚgenerated_token_idsÚpbarÚnext_posÚcompile_allocationsr|  rX  Údecode_tokensÚropeÚpenalizerÐ  Úcurrent_input_idsr<   ÚembedÚextrar}  rZ  rß  r¹  Ú
next_tokenÚtoken_idÚvbars-   &&&&&&&&&&&&&&&&&&&&                         r   ÚgenerateÚBaseGenerate.generate±  sõ  € Ø—‘ˆàÒØŸ*™*×+Ñ+×7Ñ7ˆKàÒ"Ü×%Ñ%×5Ñ5°f×=Ò=Ü"'§.¡.‘ä"'§-¡-�Ø—‘˜?Ó+ˆà�;‰;˜!ÔØ×%Ñ% aÓ(ˆFàŸ™ Q�¨*Õ4ˆØ×,Ñ,¨V¯\©\¸!­_¸mÈVÐUdÓeˆçHQ”E—O’O¨6Ô2×>Ñ>¸tÔDÐW[ˆ	à ÐÜ�{‰{×&Ñ& zÓ2ˆð :FÒ9Q”3�| EÕ*×.Ñ.Ó0Ó1°AÖ5ÐW[ˆà"Ÿj™j×BÑB×xÐxÄu×G[ÑG[×GpÑGpÐqwÓGxÐØˆß¤u×'=Ñ'=×'BÑ'B×'V×'VÐ'VÜ")¨$¯*©*Ð6KÈTÓ"RÐØ"Ò.Ù!4°V·\±\À!µ_ÀfÈoÓ!^�ÜŸš V§\¡\°!¥_°aÐ$8ÄÇ
Á
ÐSYÔZˆàˆØÒ%¨(Ò*:Ü˜tŸz™z×;Ñ;¼E¿LºLÈÐ_eÔmr×mxÑmxÔ<y÷  =Dñ  =Dð  EFó  =Gð  IOó   Pó  QˆDÜ!Ð"4ÓGˆØˆà-Ðð7	;ÜœU :Ó.Ð5H×IÐI�Ø˜!”8ß*Ü×,Ñ,×?Ñ?ÀÔGØ ŸJ™J×3Ñ3�EÜ˜u d×+Ò+°×0MÑ0MÒ0UÔZ]Ð^c×^sÑ^sÓZtÐxyÔZyô  D÷  Hñ  H÷  ]ñ  ]ð  ^c÷  dò  dØ!&§¡°È/ Ó!Z™á!& }Ó!5×!8Ñ!8¸Ó!I˜Ø9JÒ9V©Ð\`Ð%ØPXÒPd¤5§<¢<°(°°ÀVÕ#LÐjn�Lð �Ø!Ò-Ø.<�EÐ*Ñ+ØÒ'¨D°1¬HØ#'§:¡:×#:Ñ#:¸?Ó#K˜Ø-1°!°Q¸ÀÈAÅÐ8MÐ2MÕ-N˜˜kÑ*Ø˜1”9Ð!1Ò!=Ø0@�EÐ,Ñ-Ø0@�EÐ,Ñ-Ø(,¯
©
×(:Ò(:ñ  )yÈð  )yÐ_cð  )yð  vEð  )yð  Qbð  )yð  q}ð  )yð  AFñ  )yð  dhð  lmô  dmñ  U`ð  swò  )yÑ%��1�oØŸ™ Q›¨Õ.�ØÒ'¯I¿(ä#(§;¢;°·±¸RÕ0@Ð/BÌ%Ï*É*Ð]cÔ#d�LÜ˜>Ó*¨QÔ.Ø$×0Ñ0°´E·L²LÀÐX^Ô4_ÐaeÔfØ!×.Ñ.¨v°{È5ÐYkÐmoÐqzð  GPð  BNÐ.ó  O�
à×#Ñ# JÔ/ØÒ+Ø ×,Ñ,¨Q°¸aÕ0@À$ÔGØ ¨¨6°<Ø˜!”8× 3Ü×(Ñ(×9Ñ9Ô;à(¨Õ+×0Ñ0Ó2�Ø#×*Ñ*¨8Ô4à˜1”9¤¨¯©×)@Ñ)@À$×!GÒ!GàŸ:™:×2Ñ2×5Ñ5°aÕ8�DÜ×*Ñ*×=Ñ=Ô?Ø×&Ñ& t§}¡}Ô5à˜!”8 Ò 4Ø •M�HØ—‘˜A”à˜{×*Ùñi Jôl × Ñ ×8Ñ8Ô:à"Ð"øô × Ñ ×8Ñ8Õ:ús4   Ê?(Z Ë(BZ Í<DZ ÒZ ÒCZ ÕC<Z Ù Z Ú Z$c
                ó   € \        Wh4      '       d•   V	e3   \        P                  ! V	P                  ^ 4      \	        WV4      V4      pM^\        V4      ^ 8”  dO   \        P                  ! \        \        V4      4      VP                  R7      p
\	        VRV
3,          Wh4      VRV
3&   VR8w  d	   W,          pR pV^ 8”  d5   \        W1P                  R,          4      p\        P                  ! W4      w  rVR8”  dz   \        P                  P                  P                  VRR7      pVP!                  RRR7      w  rÞW],          pWÏ8  p\        P"                  ! VP$                  4      P                  VV&   VR8  dë   \        P&                  ! VRR7      w  pp\        P(                  ! \        P                  P                  P                  VRR7      RR7      pVV8¬  pVR	R R13,          P+                  4       VR&   R
VR&   \        P,                  ! V\        P.                  R7      pVP1                  ^VV4       \        P"                  ! VP$                  4      P                  VV&   \        P                  P                  P                  VRR7      V3# )Nr‚   rF   r2  r³  rf  T©rI  Úkeepdim)Ú
descending.F©rS   rT   ).rE   ).r   )r¶  r'   r¸  rp  rº  rs  r“   ri  rr  rR   r‘   rA   ÚtopkrO  rõ  ÚsoftmaxrŸ   r'  rS   rØ  Úcumsumrl  rd   r…   rÕ  )r   r¹  rè  r–  ré  rê  r´  Útoken_historyrµ  rÐ  Ú	token_idsÚtop_indicesÚprobs_before_filterÚ	top_probsrß  Úmin_thresholdÚindices_to_removeÚsorted_logitsÚsorted_indicesÚcumulative_probsÚsorted_indices_to_removes   &&&&&&&&&&           r   Úprocessed_probsÚBaseGenerate.processed_probs  s%  € äÐ,×?Ò?ØÒ'ÜŸš \×%;Ñ%;¸AÓ%>ÄÈfÐjzÓ@{ð  ~Dó  E‘Ü�]Ó# aÔ'Ü!ŸLšL¬¬c°-Ó.@Ó)AÈ&Ï-É-ÔX�	Ü'4°V¸A¸y¸LÕ5IÐK]Ó'p��q˜)�|Ñ$à˜#ÔØÕ)ˆFàˆØ�1Œ9Ü˜Ÿ|™|¨BÕ/Ó0ˆEÜ"'§*¢*¨VÓ";ÑˆFà�3Œ;Ü"'§(¡(×"5Ñ"5×"=Ñ"=¸fÈ"Ð"=Ó"MÐØ.×2Ñ2°rÀ4Ð2ÓH‰LˆIØ!Õ-ˆMØ 3Ñ CÐÜ(-¯ª°F·L±LÓ(A×(EÑ(EˆFÐ$Ñ%à�3Œ;Ü,1¯JªJ°vÈ$Ô,OÑ)ˆM˜>Ü$Ÿ|š|¬E¯H©H×,?Ñ,?×,GÑ,GÈÐ[]Ð,GÓ,^ÐdfÔgÐØ'7¸5Ñ'@Ð$Ø0HÈÈcÈrÈcÈÕ0R×0XÑ0XÓ0ZÐ$ WÑ-Ø/4Ð$ VÑ,Ü %× 0Ò 0°¼u¿z¹zÔ JÐØ×&Ñ& q¨.Ð:RÔSÜ(-¯ª°F·L±LÓ(A×(EÑ(EˆFÐ$Ñ%ä�x‰x×"Ñ"×*Ñ*¨6°rÐ*Ó:¸KÐGÐGr   c                óä   € V	'       d   VR 8X  d   \         P                  ! VRRR7      # V P                  WW4WVWzVR7	      w  rÍ\         P                  ! V^VR7      pVe   VP	                  ^V4      # V# )r³  Tr   )rµ  rÐ  )Únum_samplesrï  rT   )r'   Úargmaxr  ÚmultinomialrÛ  )r   r¹  rè  r–  ré  rê  r´  r  rï  rÏ  rµ  rÐ  Úprobsr	  rú  s   &&&&&&&&&&&&   r   rà  ÚBaseGenerate.sample_token:  sz   € ç˜K¨3Ô.Ü—<’< ¨B¸Ô=Ð=à!×1Ñ1°&ÀuÐUZÐp}ð  p|Ð1ó  }ÑˆÜ×&Ò& u¸!ÀyÔQˆ
ØÒ"Ø×%Ñ% a¨Ó4Ð4ØÐr   r.   )r³  N)Tr³  N)r0   r1   r2   r3   r¹  rR  rý  r  rà  r5   r6   r7   s   @r   r¼  r¼  ¡  s’   ø‡ € ò
CòWð #¨d¸sÐPSÐ[]ÐehÐpsð  ILð  SUð  cgð  xzð  LPð  ]^ð  qtð  HLð  [_ð  rvð  IMð  [_ô c#ôJ"H÷H	ò 	r   r¼  c                   ó&   a € ] tR tRt o R tRtV tR# )Ú	BaseQwen3iE  c                ó4  € VR RR13,          pV P                   P                  P                  '       d   V P                   P                  V4      # V P                   P                  pRpVP                  '       d&   \
        P                  P                  W2RR7      w  rVpM/V P                   P                  P                  P                  V4      p\        P                  P                  P                  W%R4      p\
        P                  P                  W5RV4       V# )rF   NTr¾  rT   )r§  rµ  r½   r?  rÁ  r]  r¶  Úcast_bias_weightrQ  rŽ  r'   rO  rõ  rÂ  Úuncast_bias_weight)r   rZ  rÄ  rÅ  Úoffload_streamrQ  rß  s   &&     r   r¹  ÚBaseQwen3.logitsF  sÒ   € Ø�!�R‘S�&•	ˆØ�:‰:×Ñ×$×$Ð$Ø—:‘:×%Ñ% eÓ,Ð,à—‘×(Ñ(ˆàˆØ×$×$Ð$Ü(-¯	©	×(BÑ(BÀ6Ð^bÐ(BÓ(cÑ%ˆF‘~à—Z‘Z×,Ñ,×3Ñ3×6Ñ6°qÓ9ˆFä�H‰H×Ñ×&Ñ& u°dÓ;ˆä�	‰	×$Ñ$ V°T¸>ÔJØˆr   r.   N)r0   r1   r2   r3   r¹  r5   r6   r7   s   @r   r  r  E  s   ø‡ € ÷ð r   r  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚLlama2iX  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# ©r  Nr.   )rM  rN  rª   rµ   Ú
num_layersr<  r§  rS   ©r   Úconfig_dictrS   rR   r“  rµ  rS  s   &&&&& €r   rN  ÚLlama2.__init__Y  s;   ø€ Ü‰ÑÔÜÑ, Ñ,ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
ØŽ
r   ©rS   r§  r%  ©r0   r1   r2   r3   rN  r5   r6   rc  rd  s   @@r   r"  r"  X  ó   ù‡ € ÷õ r   r"  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚMistral3Small24Bia  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  rÊ   rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚMistral3Small24B.__init__b  ó;   ø€ Ü‰ÑÔÜ'Ñ6¨+Ñ6ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
ØŽ
r   r)  r*  rd  s   @@r   r-  r-  a  r+  r   r-  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚMinistral3_3Bij  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  rÑ   rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚMinistral3_3B.__init__k  s;   ø€ Ü‰ÑÔÜ$Ñ3 {Ñ3ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
ØŽ
r   r)  r*  rd  s   @@r   r2  r2  j  r+  r   r2  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )Ú	Qwen25_3Bis  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  rÛ   rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚQwen25_3B.__init__t  ó;   ø€ Ü‰ÑÔÜ Ñ/ ;Ñ/ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
ØŽ
r   r)  r*  rd  s   @@r   r6  r6  s  r+  r   r6  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )Ú	Qwen3_06Bi|  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  rä   rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚQwen3_06B.__init__}  r9  r   r)  r*  rd  s   @@r   r;  r;  |  r+  r   r;  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚQwen3_06B_ACE15i…  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  rî   rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚQwen3_06B_ACE15.__init__†  r0  r   r)  r*  rd  s   @@r   r?  r?  …  r+  r   r?  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚQwen3_2B_ACE15_lmiŽ  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  rò   rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚQwen3_2B_ACE15_lm.__init__�  ó;   ø€ Ü‰ÑÔÜ)Ñ8¨KÑ8ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
ØŽ
r   r)  r*  rd  s   @@r   rC  rC  Ž  r+  r   rC  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚQwen3_4Bi—  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  rÿ   rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚQwen3_4B.__init__˜  ó;   ø€ Ü‰ÑÔÜÑ. +Ñ.ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
ØŽ
r   r)  r*  rd  s   @@r   rH  rH  —  r+  r   rH  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚQwen3_4B_ACE15_lmi   c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  rù   rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚQwen3_4B_ACE15_lm.__init__¡  rF  r   r)  r*  rd  s   @@r   rM  rM     r+  r   rM  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )ÚQwen3_8Bi©  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  r  rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚQwen3_8B.__init__ª  rK  r   r)  r*  rd  s   @@r   rQ  rQ  ©  r+  r   rQ  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )Ú	Ovis25_2Bi²  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  r  rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚOvis25_2B.__init__³  r9  r   r)  r*  rd  s   @@r   rU  rU  ²  r+  r   rU  c                   óV   a a€ ] tR tRt oV 3R ltR tRRRRRR. 3V 3R lltRtVtV ;t	# )ÚQwen25_7BVLIi»  c                óÞ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        \        P                  ! RVP                  W2VR7      V n
        W n        R# )r  i   )r³   Úoutput_hidden_sizerR   rS   r¶  Nr.   )rM  rN  r   rµ   r%  r<  r§  r
   ÚQwen2VLVisionTransformerr³   ÚvisualrS   r&  s   &&&&& €r   rN  ÚQwen25_7BVLI.__init__¼  sc   ø€ Ü‰ÑÔÜ$Ñ3 {Ñ3ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
Ü×6Ò6À4Ð\b×\nÑ\nÐw}ð  Q[ô  \ˆŒØŽ
r   c                óÆ   € VR ,          R8X  dS   \         P                  ! VR,          4      w  r4V P                  VP                  V\        P
                  R7      V4      V3# R# )re  ÚimageÚdatar  ©NN)r
   Úprocess_qwen2vl_imagesr]  rŽ  r'   rÓ  )r   rø  rR   r`  Úgrids   &&&  r   Úpreprocess_embedÚQwen25_7BVLI.preprocess_embedÈ  sQ   € Ø��=˜GÔ#Ü!×8Ò8¸¸v½ÓG‰KˆEØ—;‘;˜uŸx™x¨´e·m±m˜xÓDÀdÓKÈTÐQÐQØÐr   NTc	                óØ  <€ R p	R p
^ pV EFD  pVP                  R4      R8X  g   K  VP                  RR 4      p	VP                  R4      pV
fn   \        P                  ! ^VP                  ^,          3VP                  \        P
                  R7      p
\        P                  ! ^ WÓP                  R7      V
RR V13&   VP                  R4      V,           p\        V	P                  4       4      ^,          pWý,           pVem   V^ VR 13,          pVP                  ^ 4      ^,
          V,           V,           p\        P                  ! VP                  4       VV
^ VR 13,          4      V
RVR 13&   MW\        P                  ! VV,           VVP                  ^,          V,
          ,           V,           VP                  R7      V
RVR 13&   WÛ,           V
^ WÞ13&   \        V	^ ,          ^,          4      ^,          p\        P                  ! WÛ,           VV,           V,           VP                  R7      P                  ^4      P                  ^\        P                  ! Wí,
          V,          4      4      P!                  ^ 4      R Wí,
           V
^WÞ13&   \        V	^ ,          ^,          4      ^,          p\        P                  ! WÛ,           VV,           V,           VP                  R7      P                  ^ 4      P                  \        P                  ! Wí,
          V,          4      ^4      P!                  ^ 4      R Wí,
           V
^WÞ13&   W¿Wí,
          ,
          ,          pEKG  	  V	f   R p
\"        SV `I  WW4WVWzR	7      # )
Nre  r`  rù  r   rQ   r‚   rF   Úsize)rÍ  rv  r   rw  rx  rS   rt  )Úgetr'   ÚonesrA   rR   rÚ  r@   r)   rŸ   r  r¸  r…   rp  ÚrepeatÚmathÚceilr™  rM  ra  )r   rZ  rÍ  rv  r   rw  rx  rS   ry  rd  rt  r~  Úer¢   ÚendÚlen_maxÚ
start_nextÚ
after_maskÚtext_positionsÚmax_drS  s   &&&&&&&&&           €r   ra  ÚQwen25_7BVLI.forwardÎ  s¦  ø€ ØˆØˆØˆÜˆAØ�u‰u�V‹} Ö'Ø—u‘u˜W dÓ+�ØŸ™˜g›�ØÒ'Ü#(§:¢:¨q°&·,±,¸qµ/Ð.BÈ6Ï=É=Ô`e×`jÑ`jÔ#k�LÜ.3¯lªl¸1¸eÏMÉMÔ.Z�L  F U F Ñ+Ø—e‘e˜F“m eÕ+�Ü˜dŸh™h›j›/¨QÕ.�Ø$�_�
Ø!Ò-ð "0°°3±4°Õ!8�JØ%/×%6Ñ%6°qÓ%9¸AÕ%=À
Õ%JÈVÕ%S�NÜ,1¯KªK¸
¿¹Ó8IÈ>Ð[gÐhiÐknÑkoÐhoÕ[pÓ,q�L  C¡D Ò)ä,1¯LªL¸ÀfÕ9LÈjÐ\b×\hÑ\hÐijÕ\kÐnqÕ\qÕNrÐu{ÕN{ð  EK÷  ERñ  ERô  -S�L  C¡D Ñ)Ø-2­^�˜Q  	˜\Ñ*Ü˜D �G A�J›¨1Õ,�Ü-2¯\ª\¸%½.È%ÐRWÍ-ÐZ`ÕJ`Ðio×ivÑivÔ-w÷  .Bñ  .Bð  CDó  .E÷  .Lñ  .Lð  MNô  PT÷  PYò  PYð  [^õ  [fð  joõ  Zoó  Ppó  .q÷  .yñ  .yð  z{ó  .|ð  }Ið  ~Aõ  ~Ið  .J�˜Q  	˜\Ñ*Ü˜D �G A�J›¨1Õ,�Ü-2¯\ª\¸%½.È%ÐRWÍ-ÐZ`ÕJ`Ðio×ivÑivÔ-w÷  .Bñ  .Bð  CDó  .E÷  .Lñ  .Lô  MQ÷  MVò  MVð  X[õ  Xcð  glõ  Wló  Mmð  opó  .q÷  .yñ  .yð  z{ó  .|ð  }Ið  ~Aõ  ~Ið  .J�˜Q  	˜\Ñ*Ø S¥[Õ1Õ1“ñ/ ð2 Š<ØˆLä‰w‰˜qÈð  |Oð  TYˆó  uð  	ur   )rS   r§  r%  r]  )
r0   r1   r2   r3   rN  re  ra  r5   r6   rc  rd  s   @@r   rY  rY  »  s<   ù‡ € õòð )-°TÀdÐ`dð  EIð  QUð  ce÷  u÷  ur   rY  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )Ú	Gemma2_2Bið  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  r%  rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚGemma2_2B.__init__ñ  ó;   ø€ Ü‰ÑÔÜ!Ñ0 KÑ0ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
ØŽ
r   r)  r*  rd  s   @@r   rw  rw  ð  r+  r   rw  c                   ó2   a a€ ] tR tRt oV 3R ltRtVtV ;t# )Ú	Gemma3_4Biù  c                óŒ   <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        R# r$  )rM  rN  r/  rµ   r%  r<  r§  rS   r&  s   &&&&& €r   rN  ÚGemma3_4B.__init__ú  rz  r   r)  r*  rd  s   @@r   r|  r|  ù  r+  r   r|  c                   ó8   a a€ ] tR tRt oV 3R ltR tRtVtV ;t# )ÚGemma3_4B_Visioni  c                ó>  <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        W n        \        WRW44      V n	        \        P                  P                  VP                  W#V4      V n        VP                  R,          V n        R# ©r  r9  Nr.   )rM  rN  r>  rµ   r%  r<  r§  rS   r‰  Úmulti_modal_projectorr]  Ú
clip_modelÚ
CLIPVisionr@  Úvision_modelr9  r&  s   &&&&& €r   rN  ÚGemma3_4B_Vision.__init__  s€   ø€ Ü‰ÑÔÜ(Ñ7¨;Ñ7ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
ØŒ
Ü%>¸vÈfÓ%aˆÔ"Ü!×,Ñ,×7Ñ7¸×8LÑ8LÈeÐ]gÓhˆÔØ ×.Ñ.¨|Õ<ˆŽr   c           	     ó$  € VR ,          R8X  d‚   \         P                  P                  VR,          V P                  . RO. RORR7      pV P	                  V P                  VP                  V\        P                  R7      4      ^ ,          4      R3# R# ©	re  r`  ra  T)rh  ÚmeanÚstdÚcropr  N)r>  r>  r>  rb  ©	r]  r„  Úclip_preprocessr9  rƒ  r†  rŽ  r'   rÓ  ©r   rø  rR   r`  s   &&& r   re  Ú!Gemma3_4B_Vision.preprocess_embed  ó‡   € Ø��=˜GÔ#Ü×$Ñ$×4Ñ4°U¸6µ]ÈÏÉÒ_nò  uDð  KOÐ4ó  PˆEØ×-Ñ-¨d×.?Ñ.?ÀÇÁÈÔW\×WdÑWdÀÓ@eÓ.fÐghÕ.iÓjÐlpÐpÐpØÐr   ©rS   r9  r§  rƒ  r%  r†  ©	r0   r1   r2   r3   rN  re  r5   r6   rc  rd  s   @@r   r€  r€    ó   ù‡ € õ	=÷ò r   r€  c                   ó8   a a€ ] tR tRt oV 3R ltR tRtVtV ;t# )Ú
Gemma3_12Bi  c                ó>  <€ \         SV `  4        \        R/ VB pVP                  V n        \        WSW$R 7      V n        \        WRW44      V n        \        P                  P                  VP                  W#V4      V n        W n        VP                  R,          V n        R# r‚  )rM  rN  rC  rµ   r%  r<  r§  r‰  rƒ  r]  r„  r…  r@  r†  rS   r9  r&  s   &&&&& €r   rN  ÚGemma3_12B.__init__  s€   ø€ Ü‰ÑÔÜ"Ñ1 [Ñ1ˆØ ×2Ñ2ˆŒä˜V¸%ÔPˆŒ
Ü%>¸vÈfÓ%aˆÔ"Ü!×,Ñ,×7Ñ7¸×8LÑ8LÈeÐ]gÓhˆÔØŒ
Ø ×.Ñ.¨|Õ<ˆŽr   c           	     ó$  € VR ,          R8X  d‚   \         P                  P                  VR,          V P                  . RO. RORR7      pV P	                  V P                  VP                  V\        P                  R7      4      ^ ,          4      R3# R# r‰  r�  r�  s   &&& r   re  ÚGemma3_12B.preprocess_embed   r‘  r   r’  r“  rd  s   @@r   r–  r–    r”  r   r–  )NNNF)Tr'   Útorch.nnrO  Údataclassesr   Útypingr   r   r   rl  r   Úcomfy.utilsr]  rx   Úcomfy_kitchen.int8_decoder   Úcomfy.ldm.modules.attentionr	   Úcomfy.model_managementÚcomfy.model_prefetchÚ	comfy.opsÚcomfy.ldm.common_ditÚcomfy.clip_modelÚ r
   rV   r   r9   ra   r�   rª   rÊ   rÑ   rÛ   rä   rî   rò   rù   rÿ   r  r
  r  r  r  r   r%  r/  r?  r>  rC  ÚModulerG  r…  r   r¨  r°  r²  rí  r
  r  r:  r<  r‰  r¤  r¶  rº  r¼  r  r"  r-  r2  r6  r;  r?  rC  rH  rM  rQ  rU  rY  rw  r|  r€  r–  r.   r   r   Ú<module>r¨     s)  ðÛ Ý Ý !ß 'Ñ 'Û Ý Û Û Ý 5å FÛ Û Û Û Û å ð €	ð ÷ð ó ðð$ ô<�7ó <ó ð<ô:%~�<ô %~ôP$r�|ô $rðL ÷ð ó ðð, ÷ð ó ðð, ÷ð ó ðð. ÷ð ó ðð, ÷#ð #ó ð#ð. ÷#ð #ó ð#ð. ÷#ð #ó ð#ð. ÷#ð #ó ð#ð. ÷#ð #ó ð#ð. ÷#ð #ó ð#ð4 ô"�~ó "ó ð"ð ôÐ'ó ó ðð
 ôÐ(ó ó ðð ÷ð ó ðð, ÷ð ó ðð, ÷ð ó ðð0 ÷ð ó ðð0 '¨¨<Ð9LÈmÐ]aÐcoÐqtð  wJð  LPð  R^ð  `uð  wLð  NPð  Reð  gið  kwð  y{ð  |Ð à
ôÐ.ó ó ðð ÷ð ó ðô4Hˆb�i‰iô Hô-ò^6ò.4òô&v6�—	‘	ô v6ôp!Tˆ"�)‰)ô !TôF#$�r—y‘yô #$ôJ?$˜RŸY™Yô ?$òBPôF#ˆb�i‰iô F#ôR@ §¡§¡ô @÷D6ñ 6òcò÷bñ b÷Hñ ô&ˆY˜Ÿ™Ÿ™ô ô�y %§(¡(§/¡/ô ô�I˜y¨,¸¿¹¿¹ô ô�	˜5Ÿ8™8Ÿ?™?ô ô�	˜9 l°E·H±H·O±Oô ô�i ¨E¯H©H¯O©Oô ô˜	 9¨e¯h©h¯o©oô ôˆy˜) \°5·8±8·?±?ô ô˜	 9¨e¯h©h¯o©oô ôˆy˜) \°5·8±8·?±?ô ô�	˜5Ÿ8™8Ÿ?™?ô ô3u�9˜l¨E¯H©H¯O©Oô 3uôj�	˜<¨¯©¯©ô ô�	˜<¨¯©¯©ô ô�y ,°·±·±ô ô$�˜L¨%¯(©(¯/©/ö r   