+
    ƒ°ñje|  ã                   óx  € ^ RI t ^ RIHt ^ RIt^ RIt^ RIt^ RIt^RIH	t	 ^ RI
t^ RIt^ RIt^ RIt^ RItR t ! R R4      t ! R R]P"                  P$                  ]4      tR	 tR
 tR tR tR tR tR tRR lt ! R R4      t ! R R4      t ! R R]4      t ! R R]P"                  P$                  4      tR# )é    N)ÚCLIPTokenizer)Úmodel_managementc                 ó  € V P                  R R4      pV P                  RR4      pV P                  R4      p. pVe   VP                  V4       Ve   VP                  V4       WT.V\        V4      ,
          ,          ,          pV# )ÚstartNÚendÚpad)ÚgetÚappendÚlen)Úspecial_tokensÚlengthÚstart_tokenÚ	end_tokenÚ	pad_tokenÚoutputs   &&    Ú2C:\Ai_Coding\apps\studio\ComfyUI\comfy\sd1_clip.pyÚgen_empty_tokensr      s|   € Ø ×$Ñ$ W¨dÓ3€KØ×"Ñ" 5¨$Ó/€IØ×"Ñ" 5Ó)€IØ€FØÒØ�‰�kÔ"ØÒØ�‰�iÔ Ø
ˆk˜V¤c¨&£kÕ1Õ2Õ2€FØ€Mó    c                   ó&   a € ] tR t^t o R tRtV tR# )ÚClipTokenWeightEncoderc                óP  € \        4       p^ pRpV Fd  p\        \        R V4      4      p\        \        V4      V4      pT;'       g    \	        \        R V4      4      '       * pVP                  V4       Kf  	  \        V4      pV'       g   V^ 8X  dd   \        V R4      '       d-   VP                  V P                  V P                  V4      4       M%VP                  \        V P                  V4      4       V P                  V4      pVR,          w  ršV
e.   V
R,          P                  \        P                  ! 4       R7      pMT
p. p\        ^ V4       FÉ  pW�V^,            pV'       d£   V	R,          p\        \        V4      4       F�  p\        \        VV,          4      4       F_  pW,          V,          ^,          pVR	8w  g   K"  VV,          V,          VV,          ,
          V,          VV,          ,           VV,          V&   Ka  	  Kƒ  	  VP                  V4       KË  	  \        V4      ^ 8X  d,   V	RR P                  \        P                  ! 4       R7      V3pM=\        P                  ! VRR
7      P                  \        P                  ! 4       R7      V3p\        V4      ^8”  d   / pV^,           Fe  pV^,          V,          pVR8X  dG   VRV P!                  4       P#                  ^ R
7      P                  \        P                  ! 4       R7      pVVV&   Kg  	  VV3,           pV# )r   Fc                 ó   € V ^ ,          # ©r   © ©Úas   &r   Ú<lambda>Ú=ClipTokenWeightEncoder.encode_token_weights.<locals>.<lambda>!   s   € ¨¨!®r   c                 ó   € V ^,          R8H  # )é   ç      ð?r   r   s   &r   r   r   #   s   € ¸qÀ½tÀsº{r   r   :Né   NN:r   r    N©Údevicer!   ©ÚdimÚattention_maskéÿÿÿÿéþÿÿÿ)ÚlistÚmapÚmaxr   Úallr
   Úhasattrr   r   ÚencodeÚtor   Úintermediate_deviceÚrangeÚtorchÚcatÚflattenÚ	unsqueeze)ÚselfÚtoken_weight_pairsÚ	to_encodeÚmax_token_lenÚhas_weightsÚxÚtokensÚsectionsÚoÚoutÚpooledÚfirst_pooledr   ÚkÚzÚz_emptyÚiÚjÚweightÚrÚextraÚvs   &&                    r   Úencode_token_weightsÚ+ClipTokenWeightEncoder.encode_token_weights   s¢  € Ü“Fˆ	ØˆØˆÛ#ˆAÜœ#™n¨aÓ0Ó1ˆFÜ¤ F£¨]Ó;ˆMØ%×OÐO¬S´Ñ5JÈAÓ1NÓ-OÔ)OˆKØ×Ñ˜VÖ$ñ	 $ô �y“>ˆß˜( aœ-Ü�tÐ/×0Ò0Ø× Ñ  ×!6Ñ!6°t×7JÑ7JÈMÓ!ZÕ[à× Ñ Ô!1°$×2EÑ2EÀ}Ó!UÔVà�K‰K˜	Ó"ˆØ˜•e‰ˆàÒØ! #�;Ÿ>™>Ô1A×1UÒ1UÓ1W˜>ÓX‰Là!ˆLàˆÜ�q˜(Ö#ˆAØ�a˜•c�
ˆAßØ˜b�'�Üœs 1›vž�AÜ"¤3 q¨¥t£9Ö-˜Ø!3Õ!6°qÕ!9¸!Õ!<˜Ø! Sž=Ø'(¨¥t¨A¥w°¸µÕ';¸vÕ&EÈÐPQÍ
Õ&R˜A˜a�D ›Gó .ñ 'ð
 �M‰M˜!Öñ $ô �‹K˜1ÔØ�R�S�—‘Ô$4×$HÒ$HÓ$J�ÓKÈ\ÐZ‰Aä—’˜6 rÔ*×-Ñ-Ô5E×5YÒ5YÓ5[Ð-Ó\Ð^jÐkˆAäˆq‹6�AŒ:ØˆEØ�q—T�T�Ø�a•D˜•G�ØÐ(Ô(Ø˜)˜8˜×,Ñ,Ó.×8Ñ8¸QÐ8Ó?×BÑBÔJZ×JnÒJnÓJpÐBÓq�AØ��a“ñ	 ð �U�H•ˆAØˆr   r   N)Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__rL   Ú__static_attributes__Ú__classdictcell__©Ú__classdict__s   @r   r   r      s   ø‡ € ÷3ð 3r   r   c                   óÄ   a a€ ] tR t^Qt o. ROtR^MRRRRR]P                  P                  RRRRR	R/RR
R
RR
/ 3V 3R lltR t	R t
R tR tR tR tR tRR ltRtVtV ;t# )ÚSDClipModelÚlastÚcpuTNr   iþÀ  r   iÿÀ  r   Fc                ó¼  <€ \         SV `  4        Vfn   \        P                  P	                  \        P                  P                  \        P                  P                  \        4      4      R4      pRV9  d	   / VCRR/Cp\        V\        4      '       d   TpM2\        V4      ;_uu_ 4       p\        P                  ! V4      pR R R 4       VP                  RP                  VP                  RR4      4      / 4      pVP                  4        F  w  ppVXV&   K  	  VP                  RR 4      pVP                  RR 4      pVfX   Ve:   \         P"                  P%                  VVRR	7      p\&        P(                  ! R
4       M\         P"                  P*                  pVV n        V! XWqV P,                  4      V n        V P.                  P0                  V n        W n        V'       d   V P5                  4        W@n        R V n        W�n        \<        P>                  PA                  \<        PB                  ! R4      4      V n"        W°n#        WÀn$        W n%        WÐn&        Wàn'        R V n(        VR8X  d6   Vf   Q h\S        V4      V P0                  8  g   Q hV PU                  RV/4       V P6                  V P8                  V PL                  3V n+        R #   + '       g   i     EL; i)Nzsd1_clip_config.jsonÚ
model_nameÚclip_lz{}_model_configÚ Úcustom_operationsÚquantization_metadataT)Úfull_precision_mmz(Using MixedPrecisionOps for text encodergyé&1l@ÚhiddenÚlayer),ÚsuperÚ__init__ÚosÚpathÚjoinÚdirnameÚrealpathÚ__file__Ú
isinstanceÚdictÚopenÚjsonÚloadr	   ÚformatÚitemsÚcomfyÚopsÚmixed_precision_opsÚloggingÚinfoÚmanual_castÚ
operationsÚtransformerÚ
num_layersÚ
max_lengthÚfreezerb   Ú	layer_idxr   r3   ÚnnÚ	ParameterÚtensorÚlogit_scaleÚenable_attention_masksÚzero_out_maskedÚlayer_norm_hidden_stateÚreturn_projected_pooledÚreturn_attention_masksÚexecution_deviceÚabsÚset_clip_optionsÚoptions_default)r7   r$   r{   r|   rb   r}   Útextmodel_json_configÚdtypeÚmodel_classr   r„   r‚   rƒ   r…   r†   Úmodel_optionsÚconfigÚfÚte_model_optionsrC   rK   rx   Úquant_configÚ	__class__s   &&&&&&&&&&&&&&&&       €r   rd   ÚSDClipModel.__init__X   sQ  ø€ ô 	‰ÑÔà Ò(Ü$&§G¡G§L¡L´·±·±ÄÇÁ×AQÑAQÔRZÓA[Ó1\Ð^tÓ$uÐ!Ø =Ô0Ø I =Ð I°,ÀÑ I�äÐ+¬T×2Ò2Ø*‰FäÐ+×,Ô,°ÜŸš 1›�÷ -ð )×,Ñ,Ð->×-EÑ-EÀm×FWÑFWÐXdÐfhÓFiÓ-jÐlnÓoÐØ$×*Ñ*Ö,‰DˆAˆqØˆF�1‹Iñ -ð #×&Ñ&Ð':¸DÓAˆ
Ø$×(Ñ(Ð)@À$ÓGˆàÒØÒ'Ü"ŸY™Y×:Ñ:¸<ÈÐbfÐ:Óg�
Ü—’ÐGÕHä"ŸY™Y×2Ñ2�
à$ˆŒÙ& v¨u¸d¿o¹oÓNˆÔà×*Ñ*×5Ñ5ˆŒà$ŒßØ�K‰KŒMØŒ
ØˆŒØ,Ôä Ÿ8™8×-Ñ-¬e¯lªl¸6Ó.BÓCˆÔØ&<Ô#Ø.Ôà'>Ô$Ø'>Ô$Ø&<Ô#Ø $ˆÔà�HÔØÒ(Ð(Ð(Ü�y“> D§O¡OÔ3Ð3Ð3Ø×!Ñ! 7¨IÐ"6Ô7Ø $§
¡
¨D¯N©N¸D×<XÑ<XÐYˆÖ÷U -×,Ð,ús   Â-K
Ë
K	c                ó€   € V P                   P                  4       V n         V P                  4        F
  pR Vn        K  	  R# )FN)ry   ÚevalÚ
parametersÚrequires_grad)r7   Úparams   & r   r|   ÚSDClipModel.freeze’   s2   € Ø×+Ñ+×0Ñ0Ó2ˆÔà—_‘_Ö&ˆEØ"'ˆEÖó 'r   c                óÌ  € VP                  R V P                  4      pVP                  RV P                  4      V n        VP                  RV P                  4      V n        \	        V P
                  \        4      '       g   V P
                  R8X  d   R# \	        V\        4      '       d	   W n        R# Ve   \        V4      V P                  8”  d
   RV n        R# RV n        W n        R# )rb   Úprojected_pooledr‡   r-   NrX   ra   )	r	   r}   r…   r‡   rk   rb   r*   rˆ   rz   )r7   Úoptionsr}   s   && r   r‰   ÚSDClipModel.set_clip_options˜   s£   € Ø—K‘K ¨¯©Ó8ˆ	Ø'.§{¡{Ð3EÀt×GcÑGcÓ'dˆÔ$Ø '§¡Ð,>À×@UÑ@UÓ VˆÔÜ�d—j‘j¤$×'Ò'¨4¯:©:¸Ô+>ÙÜ˜	¤4×(Ò(Ø"ŽJØÒ¤# i£.°4·?±?Ô"BØˆDŽJà!ˆDŒJØ&ŽNr   c                ó¤   € V P                   ^ ,          V n        V P                   ^,          V n        V P                   ^,          V n        RV n        R# )r   N)rŠ   rb   r}   r…   r‡   ©r7   s   &r   Úreset_clip_optionsÚSDClipModel.reset_clip_options¦   sA   € Ø×)Ñ)¨!Õ,ˆŒ
Ø×-Ñ-¨aÕ0ˆŒØ'+×';Ñ';¸AÕ'>ˆÔ$Ø $ˆÖr   c                ón	  € V P                   P                  R R4      pV P                   P                  RR4      pVf   TpMTp. p. p. pV EF*  p	. p
. p. pRp^ pRpV	 FÃ  p\        V\        P                  4      '       d…   \        V4      pV^ 8X  d
   VV8X  d   RpV'       g   V'       d   VV8X  d   V
P                  ^ 4       MV
P                  ^4       RpVV.,          pV'       g   VV8X  d   V'       g   Vf   ^ V
R&   RpMVP                  VV34       V^,          pKÅ  	  \        P                  ! V.V\        P                  R7      pV P                  P                  4       ! V\        P                  R7      p^ p^ p. pV EF  pV^,          p\        P                  ! V4      '       d   RRR	V/pRpVP                  RR4      pVR8X  d   VP                  R	R4      pM?\        V P                  R
4      '       d"   V P                  P                  VVR7      w  ppMRpVf   VR,          pK«  VV^ ,          ,           pVP!                  ^RVP"                  R,          4      P%                  V\        P                  R7      pVP"                  ^,          pVP"                  R,          VP"                  R,          8X  d|   \        P&                  ! VRRV13,          VVRVR13,          .^R7      pV
RV ^.V,          ,           V
VR ,           p
VV^,
          ,          pVP                  RVRVRVRV/4       EKµ  VR,          pVV,          p\(        P*                  ! RP-                  VP"                  R,          VP"                  R,          4      4       EK  	  V^ 8”  d›   V P                  P                  4       ! \        P                  ! V P                   R,          .V,          .V\        P                  R7      \        P                  R7      p\        P&                  ! VV.^R7      pV
^ .V,          ,           p
VP                  V4       VP                  V
4       VP                  \/        V
4      4       EK-  	  \        P&                  ! V4      \        P                  ! Wr\        P                  R7      VX3# )r   Nr   FT)r$   rŒ   )Ú	out_dtypeÚtypeÚ	embeddingÚdataÚpreprocess_embedr#   :NNNr%   ÚindexÚsizerJ   zZWARNING: shape mismatch when trying to apply embedding, embedding will be ignored {} != {}r(   )r   r	   rk   ÚnumbersÚIntegralÚintr
   r3   r€   Úlongry   Úget_input_embeddingsÚfloat32Ú	is_tensorr.   r¨   ÚviewÚshaper0   r4   ru   Úwarningrp   Úsum)r7   r=   r$   r   r   Ú	cmp_tokenÚ
embeds_outÚattention_masksÚ
num_tokensr<   r'   Útokens_tempÚother_embedsÚeosr©   Úleft_padÚyÚtokenÚtokens_embedÚ	pad_extraÚembeds_infor?   ÚembrJ   Úemb_typeÚindÚ	emb_shapeÚ
padd_embeds   &&&                         r   Úprocess_tokensÚSDClipModel.process_tokens¬   s…  € Ø×'Ñ'×+Ñ+¨E°4Ó8ˆ	Ø×'Ñ'×+Ñ+¨E°2Ó6ˆ	ØÒØ!‰Ià!ˆIàˆ
ØˆØˆ
äˆAØˆNØˆKØˆLØˆCØˆEØˆHÛ�Ü˜a¤×!1Ñ!1×2Ò2Ü ›F�EØ ”z e¨yÔ&8Ø#'˜çŸx¨E°YÔ,>Ø&×-Ñ-¨aÕ0à&×-Ñ-¨aÔ0Ø#(˜à E 7Õ*�Kß 5¨IÔ#5¿hØ$Ò,Ø12˜N¨2Ñ.Ø"˜øà ×'Ñ'¨°¨
Ô3Ø˜•
’ñ' ô* !Ÿ<š<¨¨¸fÌEÏJÉJÔWˆLØ×+Ñ+×@Ñ@ÔBÀ<Ô[`×[hÑ[hÔiˆLØˆEØˆIØˆKÜ!�Ø˜•d�Ü—?’? 3×'Ò'Ø! ;°¸Ð<�Cà�ØŸ7™7 6¨4Ó0�Ø˜{Ô*ØŸ'™' &¨$Ó/‘Cä˜t×/Ñ/Ð1C×DÒDØ%)×%5Ñ%5×%FÑ%FÀsÐSYÐ%FÓ%Z™
˜™Uà"˜à’;Ø˜R•K�EÙà˜a �d•l�Ø—h‘h˜q " c§i¡i°¥mÓ4×7Ñ7¸vÌUÏ]É]Ð7Ó[�ØŸI™I a�L�	Ø—9‘9˜R•= L×$6Ñ$6°rÕ$:Ô:Ü#(§9¢9¨l¸1¸d¸s¸d¸7Õ.CÀSÈ,ÐWXÐZ]ÑZ^ÐW^ÕJ_Ð-`ÐfgÔ#h�LØ%3°D°SÐ%9¸Q¸CÀ)½OÕ%KÈnÐ]`Ð]aÐNbÕ%b�NØ˜Y¨�]Õ*�EØ×&Ñ&¨°¸'À3ÈÐPYÐ[bÐdiÐ'j×kà˜R•K�EØ Õ*�IÜ—O’Oð  %A÷  %Hñ  %Hð  IL÷  IRñ  IRð  SUõ  IVð  Xd÷  Xjñ  Xjð  kmõ  Xnó  %o÷  pñ= "ð@ ˜1Œ}Ø!×-Ñ-×BÑBÔDÄUÇ\Â\ÐTX×TgÑTgÐhmÕTnÐSoÐr{ÕS{ÐR|ð  FLô  TY÷  T^ñ  T^ô  F_ô  kp÷  kxñ  kxô  y�
Ü$Ÿyšy¨,¸
Ð)CÈÔK�Ø!/°1°#¸	µ/Õ!A�à×Ñ˜lÔ+Ø×"Ñ" >Ô2Ø×Ñœc .Ó1×2ñQ ôT �yŠy˜Ó$¤e§l¢l°?ÔY^×YcÑYcÔ&dÐfpÐr}Ð}Ð}r   c                ó  € V P                   f0   V P                  P                  4       P                  P                  pMV P                   pV P                  W4      w  r4rVR pV P                  '       d   Tp\        V P                  \        4      '       d   V P                  pM V P                  R8X  d   RpMV P                  pV P                  R WsWXV P                  \        P                  VR7      p	V P                  R8X  d   V	^ ,          P                  4       p
MV	^,          P                  4       p
V P                  '       d&   W¤P!                  R4      P                  4       ,          p
R p\#        V	4      ^8¼  dh   V P$                  '       g4   \#        V	4      ^8¼  d$   V	^,          e   V	^,          P                  4       pM"V	^,          e   V	^,          P                  4       p/ pV P&                  '       d   WLR&   \#        V4      ^ 8”  d   W«V3# W«3# )Nr-   )Úembedsr¹   Úintermediate_outputÚfinal_layer_norm_intermediaterŒ   rÂ   rX   r'   r(   )r‡   ry   r¯   rH   r$   rÈ   r‚   rk   rb   r*   r}   r„   r3   r°   Úfloatrƒ   r6   r   r…   r†   )r7   r=   r$   rË   r'   r¹   rÂ   Úattention_mask_modelrÌ   ÚoutputsrD   Úpooled_outputrJ   s   &&           r   ÚforwardÚSDClipModel.forward  sÛ  € Ø× Ñ Ò(Ø×%Ñ%×:Ñ:Ó<×CÑC×JÑJ‰Fà×*Ñ*ˆFà:>×:MÑ:MÈfÓ:]Ñ7ˆ 
à#ÐØ×&×&Ð&Ø#1Ð ä�d—j‘j¤$×'Ò'Ø"&§*¡*ÑØ�Z‰Z˜5Ô Ø"'Ñà"&§.¡.Ðà×"Ñ" 4Ð)=ÐYcð  mq÷  mIñ  mIô  QV÷  Q^ñ  Q^ð  lwÐ"ó  xˆà�:‰:˜ÔØ˜•
× Ñ Ó"‰Aà˜•
× Ñ Ó"ˆAà××ÐØ×)Ñ)¨"Ó-×3Ñ3Ó5Õ5ˆAàˆÜˆw‹<˜1ÔØ×/×/Ð/´C¸³LÀAÔ4EÈ'ÐRSÍ*ÒJ`Ø '¨¥
× 0Ñ 0Ó 2‘Ø˜•Ò'Ø '¨¥
× 0Ñ 0Ó 2�àˆØ×&×&Ð&Ø&4Ð"Ñ#äˆu‹:˜Œ>Ø UÐ*Ð*àÐÐr   c                ó   € V ! V4      # ©Nr   )r7   r=   s   &&r   r/   ÚSDClipModel.encode1  s   € Ù�F‹|Ðr   c           	     óT   € V P                   P                  VR \        V RR 4      R7      # )FÚcan_assign_sd)ÚstrictÚassign)ry   Úload_state_dictÚgetattr©r7   Úsds   &&r   Úload_sdÚSDClipModel.load_sd4  s,   € Ø×Ñ×/Ñ/°¸5ÌÐQUÐWfÐhmÓInÐ/ÓoÐor   c                ód  € \        V\        4      '       d$   \        \        VP	                  4       4      4      pMTpV UUu. uF  qÝ Uu. uF  qî^ ,          NK  	  upNK  	  pppV P                  WÀP                  R7      ^ ,          pV P                  P                  WòW4WVWxWšR7
      # u upi u uppi )r   r#   )Úpresence_penalty)	rk   rl   ÚnextÚiterÚvaluesrÈ   r‡   ry   Úgenerate)r7   r=   Ú	do_sampler{   ÚtemperatureÚtop_kÚtop_pÚmin_pÚrepetition_penaltyÚseedrâ   ÚmtpÚtokens_onlyÚbÚtrË   s   &&&&&&&&&&&&    r   ræ   ÚSDClipModel.generate7  s¦   € Ü�fœd×#Ò#Üœt F§M¡M£OÓ4Ó5‰Kà ˆKÙ2=Ô>±+¨Q aÓ(¡a ˜!Ÿ˜¡aÔ(±+ˆÑ>Ø×$Ñ$ [×9NÑ9NÐ$ÓOÐPQÕRˆØ×Ñ×(Ñ(¨¸JÐUZÐchð  CÐ(ó  gð  	gùò )ùÓ>s   ÁB,Á	B'ÁB,Â'B,)r‚   r‡   rb   r}   r„   r�   r{   rz   rx   rŠ   r†   r…   r   ry   rƒ   )rX   rA   ra   r-   )ç        T)rN   rO   rP   rQ   ÚLAYERSrr   Ú
clip_modelÚCLIPTextModelrd   r|   r‰   r¡   rÈ   rÒ   r/   rß   ræ   rR   rS   Ú__classcell__©r“   rU   s   @@r   rW   rW   Q   s£   ù‡ € ò€Fð $°Ø F°dÐRVÐ^bÐpu÷  qAñ  qA÷  qOñ  qOØ!(¨%°¸¸uÀeÐ LÐfjð  DIð  [`Ø)-ÀeÐ[]÷8Zòt(ò'ò%òV~òp+ òZòp÷gô gr   rW   c                 ó`  € . pR p^ pV  Fˆ  pVR8X  d:   V^ 8X  d    V'       d   VP                  V4       RpMRpMW$,          pV^,          pKC  VR8X  d7   V^,          pV^ 8X  d   VP                  VR,           4       R pKv  W$,          pK€  W$,          pKŠ  	  V'       d   VP                  V4       V# )r]   Ú(Ú))r
   )ÚstringÚresultÚcurrent_itemÚnesting_levelÚchars   &    r   Úparse_parenthesesr  @  sª   € Ø€FØ€LØ€MÛˆØ�3Œ;Ø Ô!ßØ—M‘M ,Ô/Ø#&‘Là#&‘LàÕ$�Ø˜QÕŠMØ�SŒ[Ø˜QÕˆMØ Ô!Ø—‘˜l¨SÕ0Ô1Ø!’àÕ$’àÕ ŠLñ' ÷( Ø�‰�lÔ#Ø€Mr   c                 óZ  € \        V 4      p. pV F�  pTp\        V4      ^8¼  dq   VR,          R8X  dc   V^ ,          R8X  dU   V^R pVP                  R4      pVR,          pV^ 8”  d    \        WF^,           R 4      pVRV pV\	        WE4      ,          pK…  W4V3.,          pK’  	  V#     L); i)r"   rû   rú   Ú:gš™™™™™ñ?Nr(   )r  r   ÚrfindrÎ   Útoken_weights)rü   Úcurrent_weightr   r@   r<   rH   Úxxs   &&     r   r  r  \  sº   € Ü˜&Ó!€AØ
€CÛˆØˆÜˆq‹6�QŒ;˜1˜R�5 Cœ<¨A¨a­D°C¬KØ�!�B�ˆAØ—‘˜“ˆBØ�c�MˆFØ�AŒvðÜ" 1¨¥T U 8›_�FØ˜#˜2˜�Að ”= Ó+Õ+ŠCà˜Ð'Ð(Õ(ŠCñ ð €JøðÙús   Á(B&Â&B*c                 óN   € V P                  R R4      p V P                  RR4      p V # )z\)ú z\(ú ©Úreplace©Útexts   &r   Úescape_importantr  p  s'   € Ø�<‰<˜˜vÓ&€DØ�<‰<˜˜vÓ&€DØ€Kr   c                 óN   € V P                  R R4      p V P                  RR4      p V # )r	  rû   r
  rú   r  r  s   &r   Úunescape_importantr  u  s'   € Ø�<‰<˜ Ó$€DØ�<‰<˜ Ó$€DØ€Kr   c           
      ó¨  € \         P                  ! V 4      ;_uu_ 4       p\        \        R  VP	                  4       4      4      pVP                  4        V FÈ  pVP                  V4      ;_uu_ 4       pVP                  4       p\        V4      ^,          pRpVR8  d    RRR4       KS  VR,          ^ 8X  d   RpWg,          p\        P                  ! V\        P                  R7      p	V	P                  W‡34      P                  4       p
?	V
uuRRR4       u uuRRR4       # 	  RRR4       R#   + '       g   i     Kç  ; i  + '       g   i     R# ; i)c                 ó   € R V 9   # )zdata/r   r   s   &r   r   Ú%safe_load_embed_zip.<locals>.<lambda>|  s   €  g°¢lr   i   é   N)rŒ   )ÚzipfileÚZipFiler*   ÚfilterÚnamelistÚreverserm   Úreadr   r3   Ú
frombufferrÎ   ÚreshapeÚclone)Ú
embed_pathÚmyzipÚnamesÚnÚmyfiler§   ÚnumberÚlength_embedÚ
num_embedsÚembedr@   s   &          r   Úsafe_load_embed_zipr(  z  sú   € Ü	�Š˜×	$Ô	$¨Ü”VÑ2°E·N±NÓ4DÓEÓFˆØ�‰ŒÛˆAØ—‘˜A—” &Ø—{‘{“}�Ü˜T› a��Ø#�Ø˜C”<Ø÷ ‘ð ˜C•< 1Ô$Ø#&�LØ#Õ3�
Ü×(Ò(¨´U·[±[ÔA�Ø—m‘m ZÐ$>Ó?×EÑEÓG�ØØ÷ “÷	 
%Ò	$ñ ÷ 
%Ñ	$÷ —�ú÷	 
%×	$Ð	$ús7   ŸAE Á2-D,Â
E Â)A D,Ä	E Ä E Ä,D=Ä7	E Å E	c                 óÆ   € \        4       pV  FG  pVP                  V4       \        P                  ! VR R7       F  w  r4pVP                  V4       K  	  KI  	  \	        V4      # )T)Úfollowlinks)ÚsetÚaddre   Úwalkr*   )ÚdirectoriesÚdirsr<   ÚrootÚsubdirÚfiles   &     r   Úexpand_directory_listr3  �  sO   € Ü‹5€DÛˆØ�‰�ŒÜ"$§'¢'¨!¸×">ÑˆD˜$Ø�H‰H�TŽNó #?ñ ô �‹:Ðr   c                 óþ   € . pV  FL  pVP                  V4      '       g   K  VP                  V4      '       g   K5  VP                  W,          4       KN  	  \        V4      ^ 8X  d   R# \        P
                  ! V^ R7      # )r   Nr%   )Ú
startswithÚendswithr
   r   r3   r4   )r'  ÚprefixÚsuffixÚout_listrC   s   &&&  r   Úbundled_embedr:  •  s^   € Ø€HÛˆØ�<‰<˜×Ô A§J¡J¨v×$6Ô$6Ø�O‰O˜E�HÖ%ñ ô ˆ8ƒ}˜ÔÙä�9Š9�X 1Ô%Ð%r   c           	      óœ  € \        V\        4      '       d   V.p\        V4      pR pV Fó  p\        P                  P                  \        P                  P                  WP4      4      p\        P                  P                  V4      p \        P                  P                  WV34      V8w  d   K†   \        P                  P                  T4      '       g@   . ROpT F4  pYh,           p	\        P                  P                  T	4      '       g   K2  T	p M	  MTpTf   Kó   M	  Vf   R # TpR p
 VP                  4       P                  R4      '       d#   ^ R IpVP                  P                  VRR7      pM \        P                  ! VRRR7      pV
EfU   RX9   d.   VR,          P-                  4       p\/        \1        V4      4      p
V
# \        V\2        4      '       d¢   . p\5        \7        V4      4       Fm  pWÈ,           F^  pWÈ,          V,          p	V	P8                  R,          V8w  d   K,  VP;                  V	P=                  RV	P8                  R,          4      4       K`  	  Ko  	  \        P>                  ! V^ R7      p
V
# Ve   W<9   d   WÃ,          p
V
# \A        VR	R
4      p
V
f   \A        VR	RP'                  V4      4      p
V
f%   VP-                  4       p\/        \1        V4      4      p
V
#     EKÄ  ; i   \        T4      p
 ELt; i  \          d>    \"        P$                  ! RP'                  \(        P*                  ! 4       T 4      4        R # i ; i)Nú.safetensorsrY   r#   T)Úweights_onlyÚmap_locationz1{}

error loading embedding, skipping loading: {}Ústring_to_paramr%   zbundle_emb.z.string_to_param.*z.{})r<  z.ptz.binr(   )!rk   Ústrr3  re   rf   Úabspathrg   Ú
commonpathÚisfileÚlowerr6  Úsafetensors.torchr3   Ú	load_filero   r(  Ú	Exceptionru   r´   rp   Ú	tracebackÚ
format_excrå   rã   rä   r*   r2   r   r³   r
   r  r4   r:  )Úembedding_nameÚembedding_directoryÚembedding_sizeÚ	embed_keyÚ
valid_fileÚ	embed_dirr  Ú
extensionsr<   rñ   Ú	embed_outÚsafetensorsr'  rå   r9  rC   s   &&&&            r   Ú
load_embedrS  Ÿ  sÓ  € ÜÐ%¤s×+Ò+Ø2Ð3Ðä/Ð0CÓDÐà€JÛ(ˆ	Ü—W‘W—_‘_¤R§W¡W§\¡\°)Ó%LÓMˆ
Ü—G‘G—O‘O IÓ.ˆ	ð	Ü�w‰w×!Ñ! 9Ð"9Ó:¸iÔGÙð Hô �w‰w�~‰~˜j×)Ò)Ú8ˆJÛ�Ø•N�Ü—7‘7—>‘> !×$Ô$Ø!"�JÙò	  ð $ˆJØÔ!Ùñ% )ð( ÒÙà€Jà€IðØ×ÑÓ×&Ñ& ~×6Ò6Û$Ø×%Ñ%×/Ñ/°
À5Ð/ÓI‰Eð<ÜŸ
š
 :¸DÈuÔU�ð ÓØ Ô%ØÐ,Õ-×4Ñ4Ó6ˆFÜœT &›\Ó*ˆIð& Ðô% ˜œt×$Ò$ØˆHÜœ3˜u›:Ö&�ØŸ˜�AØ� ��AØ—w‘w˜r•{ nÔ4Ù Ø—O‘O A§I¡I¨b°!·'±'¸"µ+Ó$>Ö?ó	 "ñ 'ô Ÿ	š	 (°Ô2ˆIð Ðð Ò" yÔ'9ØÕ(ˆIð Ðô & e¨]Ð<PÓQˆIØÒ Ü)¨%°ÀÇÁÈYÓ@WÓX�	ØÒ ØŸ™›�Ü ¤ f£Ó.�	ØÐøðq	Ûûð6<Ü/°
Ó;“	ûÜô Ü�ŠÐM×TÑTÔU^×UiÒUiÓUkÐm{Ó|Ô}Úðús=   Â%K'Ä+$L Å!L Å3K0 Ë'K-Ë0L Ë=L Ì L ÌAMÍ
Mc                   ó˜   a € ] tR tRt o R^MRRRR]RRRRRRRRRR/ / 3R ltV 3R lR	 ltR
 tR/ 3V 3R lR lltR t	R t
RR ltRtV tR# )ÚSDTokenizeriæ  NTr  r\   Fc                ó”  € Vf_   \         P                  P                  \         P                  P                  \         P                  P	                  \
        4      4      R4      pVP                  ! V3/ VB V n        VP                  RP                  V4      V4      V n
        VP                  RP                  V4      V4      V n        R V n        Wðn        VV n        V P                  R4      R,          pW�n        V'       dp   \!        V4      ^ 8”  d   ^V n        V^ ,          V n        M'^ V n        Wàn        Vf   \&        P(                  ! R4       Ve   WÐn        MEV	'       d   V^,          V n        M.^ V n        Wàn        Ve   WÐn        MV	'       d   V^ ,          V n        Ve   WÀn        M!V'       d   V P                  V n        M^ V n        W0n        W n        V P                  P1                  4       pVP3                  4        UUu/ uF	  w  ppVVbK  	  uppV n        W@n        ^V n        RV n        WPn        W`n        VV n         R # u uppi )NÚsd1_tokenizerz{}_max_lengthú{}_min_lengthr]   Ú	input_idsz7WARNING: There's something wrong with your tokenizers.'z
embedding:)!re   rf   rg   rh   ri   rj   Úfrom_pretrainedÚ	tokenizerr	   rp   r{   Ú
min_lengthr   Úmin_paddingÚpad_leftÚtokenizer_adds_end_tokenr   Útokens_startr   ru   r´   r   Úpad_with_endÚpad_to_max_lengthÚ	get_vocabrq   Ú	inv_vocabrK  Úmax_word_lengthÚembedding_identifierrL  Úembedding_keyÚdisable_weights)r7   Útokenizer_pathr{   ra  rK  rL  rg  Útokenizer_classÚhas_start_tokenÚhas_end_tokenrb  r\  r   r   r   r]  r^  rh  Útokenizer_dataÚtokenizer_argsÚemptyÚvocabrC   rK   s   &&&&&&&&&&&&&&&&&&&&    r   rd   ÚSDTokenizer.__init__ç  sÒ  € ØÒ!ÜŸW™WŸ\™\¬"¯'©'¯/©/¼"¿'¹'×:JÑ:JÌ8Ó:TÓ*UÐWfÓgˆNØ(×8Ò8¸ÑZÈ>ÑZˆŒØ(×,Ñ,¨_×-CÑ-CÀMÓ-RÐT^Ó_ˆŒØ(×,Ñ,¨_×-CÑ-CÀMÓ-RÐT^Ó_ˆŒØˆŒØ&ÔØ ˆŒà—‘˜rÓ" ;Õ/ˆØ(5Ô%ßÜ�5‹z˜AŒ~Ø$%�Ô!Ø#(¨¥8�Õ à$%�Ô!Ø#.Ô ØÒ&Ü—O’OÐ$]Ô^àÒ$Ø!*•ç Ø%*¨1¥X�D”Nøà !ˆDÔØ*ÔØÒ$Ø!*•ç Ø%*¨1¥X�D”NàÒ Ø&�NßØ!Ÿ^™^ˆD�NàˆDŒNà(ÔØ!2Ôà—‘×(Ñ(Ó*ˆØ+0¯;©;¬=Ô9©=¡4 1 a˜!˜Qš$©=Ò9ˆŒØ#6Ô Ø ˆÔØ$0ˆÔ!Ø,ÔØ*Ôà.ˆÖùó :s   ÈIc                ó    <€ V ^8„  d   QhRS[ /# )r"   rJ  ©r@  )rp   rU   s   "€r   Ú__annotate__ÚSDTokenizer.__annotate__  s   ø€ ÷ 1ñ 1±ñ 1r   c                ód  € VP                  4       pV^ ,          pRP                  VR,          4      p\        P                  ! RV4      pVe>   WP	                  4       R V'       d
   RV,           MR,           pVRVP	                  4        p\        WP                  V P                  V P                  4      pVfv   VP                  R4      p\        V4      \        V4      8  dL   \        W`P                  V P                  V P                  4      pWQRP                  V\        V4      R V4      3# WQV3# )zµ
Takes a potential embedding name and tries to retrieve it.
Returns a Tuple consisting of the embedding, the cleaned embedding name, and any leftover string, embedding can be None.
Ú :r    NNz[<\[]Nr]   Ú,z{} {})Úsplitrg   ÚreÚsearchr   rS  rK  rL  rg  Ústripr   rp   )r7   rJ  Úsplit_embedÚleftoverÚmatchr'  Ústrippeds   &&     r   Ú_try_get_embeddingÚSDTokenizer._try_get_embedding  s	  € ð
 %×*Ñ*Ó,ˆØ$ Q�ˆØ—8‘8˜K¨�OÓ,ˆä—	’	˜( NÓ3ˆØÒØ%§k¡k£m nÐ5Ï8¸¸x¾ÐY[Õ\ˆHØ+¨N¨U¯[©[«]Ð;ˆNä˜>×+CÑ+CÀT×EXÑEXÐZ^×ZlÑZlÓmˆØŠ=Ø%×+Ñ+¨CÓ0ˆHÜ�8‹}œs >Ó2Ô2Ü" 8×-EÑ-EÀt×GZÑGZÐ\`×\nÑ\nÓo�Ø¨w¯~©~¸nÌSÐQYË]È^Ð>\Ð^fÓ/gÐhÐhØ xÐ0Ð0r   c                óÜ   € V P                   '       d4   \        V4       F"  pVP                  ^ V P                  R^ 34       K$  	  R# VP	                  V P                  R^ 3.V,          4       R# )r   r!   N)r^  r2   Úinsertr   Úextend)r7   r=   ÚamountrF   s   &&& r   Ú
pad_tokensÚSDTokenizer.pad_tokens5  sS   € Ø�=�=ˆ=Ü˜6–]�Ø—‘˜a $§.¡.°#°qÐ!9Ö:ó #ð �M‰M˜DŸN™N¨C°Ð3Ð4°vÕ=Ö>r   c                ó    <€ V ^8„  d   QhRS[ /# ©r"   r  rs  )rp   rU   s   "€r   rt  ru  <  s   ø€ ÷ fñ f©ñ fr   c                ó”  € VP                  RP                  V P                  4      V P                  4      pVP                  RP                  V P                  4      V P                  4      pVP                  RV4      p\        V4      pVP                  RV P                  4      '       d   VR3.pM\        VR4      p. pV EF6  w  rš\        V	4      p\        P                  ! RP                  \        P                  ! V P                  4      4      V4      pV^ ,          .p\        ^\        V4      4       F4  pVP                  RP                  V P                  WÍ,          4      4       K6  	  V Uu. uF  qîR8w  g   K  VNK  	  ppV EFj  pVP!                  V P                  4      '       dê   V P"                  eÜ   V\        V P                  4      R	 P%                  R
4      pV P'                  V4      w  pppVf   \(        P*                  ! RV R24       Ms\        VP,                  4      ^8X  d   VP                  VV
3.4       MDTP                  \        VP,                  ^ ,          4       Uu. uF  pVV,          V
3NK  	  up4       VR8w  d   TpMEK  RpV P.                  '       d   RpTP                  V P1                  V4      R,          V P2                  V  Uu. uF  pVV
3NK	  	  up4       EKm  	  EK9  	  . p. pV P4                  e   VP                  V P4                  R^ 34       VP                  V4       \7        V4       EFÊ  w  pp\        V4      V P8                  8¬  pV P:                  e   ^pM^ p\        V4      ^ 8”  g   KD  \        V4      \        V4      ,           V P<                  V,
          8”  Ed#   V P<                  \        V4      ,
          V,
          pV'       df   TP?                  VR	V  UUu. uF  w  ppVVV^,           3NK  	  upp4       V P:                  e   VP                  V P:                  R^ 34       VVR	 pMPV P:                  e   VP                  V P:                  R^ 34       V P@                  '       d   V PC                  VV4       . pV P4                  e   VP                  V P4                  R^ 34       VP                  V4       EKf  TP?                  V UUu. uF  w  ppVVV^,           3NK  	  upp4       . pEK›  	  V P:                  e   VP                  V P:                  R^ 34       Ve   V PC                  VV4       V P@                  '       dG   \        V4      V P<                  8  d-   V PC                  VV P<                  \        V4      ,
          4       Ve3   \        V4      V8  d#   V PC                  VV\        V4      ,
          4       V'       g1   V UUUUu. uF  qî UUUu. uF  w  pppVV3NK  	  upppNK   	  pppppV# u upi u upi u upi u uppi u uppi u upppi u uppppi )a:  
Takes a prompt and converts it to a list of (token, weight, word id) elements.
Tokens can both be integer tokens and pre computed CLIP tensors.
Word id values are unique per word and embedding, where the id 0 is reserved for non word tokens.
Returned list has the dimensions NxM where M is the input size of CLIP
rX  z{}_min_paddingr\  rh  r!   z	(?<=\s){}z{}{}r]   NÚ
zwarning, embedding:z does not exist, ignoringl   ÿJ)£rY  r(   )"r	   rp   rg  r\  r]  r  rh  r  r  rz  ry  Úescaperf  r2   r   r
   r5  rK  r|  r�  ru   r´   r³   r_  r[  r`  r   Ú	enumeratere  r   r{   r…  rb  r‡  )r7   r  Úreturn_word_idsÚtokenizer_optionsÚkwargsr\  r]  Úparsed_weightsr=   Úweighted_segmentrH   Úto_tokenizery  rF   r<   ÚwordrJ  r'  r~  r   rñ   Úbatched_tokensÚbatchÚt_groupÚis_largerl  Úremaining_lengthÚwÚ_s   &&&&,                        r   Útokenize_with_weightsÚ!SDTokenizer.tokenize_with_weights<  s@  € ð '×*Ñ*¨?×+AÑ+AÀ$×BTÑBTÓ+UÐW[×WfÑWfÓgˆ
Ø'×+Ñ+Ð,<×,CÑ,CÀD×DVÑDVÓ,WÐY]×YiÑYiÓjˆà—Z‘Z ¨jÓ9ˆ
ä Ó%ˆØ�:‰:Ð'¨×)=Ñ)=×>Ò>Ø# S˜k˜]‰Nä*¨4°Ó5ˆNð ˆÜ(6Ñ$ÐÜ,Ð-=Ó>ˆKÜ—H’H˜\×0Ñ0´·²¸4×;TÑ;TÓ1UÓVÐXcÓdˆEØ  �8˜*ˆKÜ˜1œc %›jÖ)�Ø×"Ñ" 6§=¡=°×1JÑ1JÈEÍHÓ#UÖVñ *ñ '2Ó=¡k ¸"±WŸ1˜1¡kˆKÐ=Ü#�à—?‘? 4×#<Ñ#<×=Ò=À$×BZÑBZÒBfØ%)¬#¨d×.GÑ.GÓ*HÐ*IÐ%J×%PÑ%PÐQUÓ%V�NØ6:×6MÑ6MÈnÓ6]Ñ3�E˜>¨8Ø’}ÜŸšÐ*=¸nÐ=MÐMfÐ(gÕhä˜uŸ{™{Ó+¨qÔ0Ø"ŸM™M¨E°6¨?Ð*;Õ<à"ŸM™MÄuÈUÏ[É[ÐYZÍ^ÔG\Ó*]ÑG\À!¨E°!­H°fÓ+=ÑG\Ñ*]Ô^à 2”~Ø'™â Ø"�Ø×0×0Ð0Ø�Cà—‘°D·N±NÀ4Ó4HÈÕ4UÐVZ×VgÑVgÐhkÑ4lÓmÑ4l¨q  6›{Ñ4lÑm×nô+ $ñ )7ð@ ˆØˆØ×ÑÒ'Ø�L‰L˜$×*Ñ*¨C°Ð3Ô4Ø×Ñ˜eÔ$Ü# F×+‰JˆAˆwä˜7“| t×';Ñ';Ñ;ˆHØ�~‰~Ò)Ø !‘à !�ä�g“, Ö"Ü�w“<¤# e£*Õ,¨t¯©ÀÕ/NÕNØ'+§¡¼¸U»Õ'CÀmÕ'SÐ$çØŸ™¸7ÐCTÐDTÑ;UÔ%VÑ;U±C°A°a q¨¨1¨Q­3£iÑ;UÒ%VÔWØŸ>™>Ò5Ø!ŸL™L¨$¯.©.¸#¸qÐ)AÔBØ")Ð*:Ð*;Ð"<™ð  Ÿ>™>Ò5Ø!ŸL™L¨$¯.©.¸#¸qÐ)AÔBØ×1×1Ð1Ø ŸO™O¨EÐ3CÔDà�EØ×'Ñ'Ò3ØŸ™ d×&6Ñ&6¸¸QÐ%?Ô@Ø"×)Ñ)¨%×0à—L‘L±wÔ!?±w±°°! 1 Q q¨¥s£)±wÒ!?Ô@Ø “Gñ= ,ðB �>‰>Ò%Ø�L‰L˜$Ÿ.™.¨#¨qÐ1Ô2ØÒ"Ø�O‰O˜E ;Ô/Ø×!×!Ð!¤c¨%£j°4·?±?Ô&BØ�O‰O˜E 4§?¡?´S¸³ZÕ#?Ô@ØÒ!¤c¨%£j°:Ô&=Ø�O‰O˜E :´°E³
Õ#:Ô;çÙ@NÖOÁ¸1°AÕ6±A©&¨!¨Q¨q  1›v±AÖ6ÁˆNÓOàÐùòW >ùò +^ùò nùó* &Wùó  "@ùô 7ùÕOs<   Å0X Å=X É-X%ËX*Ï;X/Ó/X5×5
Y
×?X;Ø	Y
Ø;Y
c                ó6   a € \        \        V 3R  lV4      4      # )c                 ó<   <€ V SP                   V ^ ,          ,          3# r   )rd  )r   r7   s   &€r   r   Ú(SDTokenizer.untokenize.<locals>.<lambda>¦  s   ø€  1 d§n¡n°Q°qµTÕ&:Ñ";r   )r*   r+   ©r7   Útoken_weight_pairs   f&r   Ú
untokenizeÚSDTokenizer.untokenize¥  s   ø€ Ü”CÔ;Ð=NÓOÓPÐPr   c                ó   € / # rÕ   r   r    s   &r   Ú
state_dictÚSDTokenizer.state_dict¨  s   € Øˆ	r   c                ó:   € V P                   P                  WR 7      # ©)Úskip_special_tokens)r[  Údecode©r7   Ú	token_idsr«  s   &&&r   r¬  ÚSDTokenizer.decode«  s   € Ø�~‰~×$Ñ$ YÐ$ÓXÐXr   )rh  rK  rf  rg  rL  r   rd  r{   re  r\  r]  r^  rb  r   ra  r   r[  r_  r`  ©T)rN   rO   rP   rQ   r   rd   r�  r‡  r�  r¤  r§  r¬  rR   rS   rT   s   @r   rU  rU  æ  s¶   ø‡ € Ø&*°rÈÐbfÐwzð  KSð  erð  DHð  X\ð  ptð  AEð  QUð  aeð  swð  EIð  TYð  kpð  ACð  TVô 6/÷p1ð 1ò,?ð ?DÐWY÷ fò fòRQò÷Yò Yr   rU  c                   ó`   a € ] tR tRt o R/ R]R3R ltRV 3R lR lltR tR tRR	 lt	R
t
V tR# )ÚSD1Tokenizeri®  NÚlc           	     ó8  € Ve(   WPn         RP                  V P                   4      V n        M&W0n         RP                  V P                   4      V n        VP                  RP                  V P                  4      V4      p\	        W P                  V! WR7      4       R # )Nú{}úclip_{}z{}_tokenizer_class)rK  rm  )Ú	clip_namerp   Úclipr	   Úsetattr)r7   rK  rm  r·  r[  Únames   &&&&&&r   rd   ÚSD1Tokenizer.__init__¯  sr   € ØÒØ!ŒNØŸ™ D§N¡NÓ3ˆD�Ià&ŒNØ!×(Ñ(¨¯©Ó8ˆDŒIà"×&Ñ&Ð';×'BÑ'BÀ4Ç9Á9Ó'MÈyÓYˆ	Ü�—i‘i¡Ð?RÔ!rÖsr   c                ó    <€ V ^8„  d   QhRS[ /# rŠ  rs  )rp   rU   s   "€r   rt  ÚSD1Tokenizer.__annotate__º  s   ø€ ÷ ñ ©ñ r   c                ón   € / p\        W P                  4      P                  ! W3/ VB W@P                  &   V# rÕ   )rÜ   r¸  r�  r·  )r7   r  r�  r‘  r@   s   &&&, r   r�  Ú"SD1Tokenizer.tokenize_with_weightsº  s2   € ØˆÜ% d¯I©IÓ6×LÒLÈTÑmÐflÑmˆ�N‰NÑØˆ
r   c                óJ   € \        W P                  4      P                  V4      # rÕ   )rÜ   r¸  r¤  r¢  s   &&r   r¤  ÚSD1Tokenizer.untokenize¿  s   € Ü�tŸY™YÓ'×2Ñ2Ð3DÓEÐEr   c                óH   € \        W P                  4      P                  4       # rÕ   )rÜ   r¸  r§  r    s   &r   r§  ÚSD1Tokenizer.state_dictÂ  s   € Ü�tŸY™YÓ'×2Ñ2Ó4Ð4r   c                óL   € \        W P                  4      P                  WR 7      # rª  )rÜ   r¸  r¬  r­  s   &&&r   r¬  ÚSD1Tokenizer.decodeÅ  s   € Ü�tŸY™YÓ'×.Ñ.¨yÐ.ÓbÐbr   )r¸  r·  )Fr°  )rN   rO   rP   rQ   rU  rd   r�  r¤  r§  r¬  rR   rS   rT   s   @r   r²  r²  ®  s9   ø‡ € Ø+/ÀÈcÐ]hÐosô 	t÷ò ò
Fò5÷cò cr   r²  c                   ó<   a a€ ] tR tRt oRR/ 3V 3R lltRtVtV ;t# )ÚSD1CheckpointClipModeliÈ  rY   Nc                ó,   <€ \         SV `  VR W#R7       R# )F)r$   r…   rŒ   rŽ   N)rc   rd   )r7   r$   rŒ   rŽ   r“   s   &&&&€r   rd   ÚSD1CheckpointClipModel.__init__É  s   ø€ Ü‰Ñ ÀÈUÐÖpr   r   )rN   rO   rP   rQ   rd   rR   rS   r÷   rø   s   @@r   rÇ  rÇ  È  s   ù‡ € Ø#¨4¸r÷ q÷ qr   rÇ  c                   ój   a a€ ] tR tRt oRR/ R]R3V 3R lltR tR tR tR	 t	RR
 lt
R tRtVtV ;t# )ÚSD1ClipModeliÌ  rY   Nr³  c                óä  <€ \         SV `  4        Ve(   W`n        RP                  V P                  4      V n        M&W@n        RP                  V P                  4      V n        VP                  RP                  V P                  4      V4      p/ VCRV P                  /Cp\        W P                  V! RRVRVRV/VB 4       \        4       V n        Ve   V P                  P                  V4       R # R # )	Nrµ  r¶  z{}_classr[   r$   rŒ   rŽ   r   )
rc   rd   r·  rp   r¸  r	   r¹  r+  Údtypesr,  )	r7   r$   rŒ   rŽ   r·  rõ   rº  r‘  r“   s	   &&&&&&&,€r   rd   ÚSD1ClipModel.__init__Í  sÉ   ø€ Ü‰ÑÔàÒØ!ŒNØŸ™ D§N¡NÓ3ˆD�Ià&ŒNØ!×(Ñ(¨¯©Ó8ˆDŒIà"×&Ñ& z×'8Ñ'8¸¿¹Ó'CÀZÓPˆ
ØB˜=ÐB¨,¸¿	¹	ÑBˆÜ�—i‘i¡Ñ!n°6Ð!nÀÐ!nÐVcÐ!nÐgmÑ!nÔoä“eˆŒØÒØ�K‰K�O‰O˜EÖ"ñ r   c                óN   € \        W P                  4      P                  V4       R # rÕ   )rÜ   r¸  r‰   )r7   r�   s   &&r   r‰   ÚSD1ClipModel.set_clip_optionsß  s   € Ü�—i‘iÓ ×1Ñ1°'Ö:r   c                óL   € \        W P                  4      P                  4        R # rÕ   )rÜ   r¸  r¡   r    s   &r   r¡   ÚSD1ClipModel.reset_clip_optionsâ  s   € Ü�—i‘iÓ ×3Ñ3Ö5r   c                ór   € WP                   ,          p\        W P                  4      P                  V4      pV# rÕ   )r·  rÜ   r¸  rL   )r7   r8   r@   s   && r   rL   Ú!SD1ClipModel.encode_token_weightså  s.   € Ø/·±Õ?ÐÜ�dŸI™IÓ&×;Ñ;Ð<NÓOˆØˆ
r   c                óJ   € \        W P                  4      P                  V4      # rÕ   )rÜ   r¸  rß   rÝ   s   &&r   rß   ÚSD1ClipModel.load_sdê  s   € Ü�tŸY™YÓ'×/Ñ/°Ó3Ð3r   c                óV   € \        W P                  4      P                  WW4WVWxWšVR 7      # ))
rç   r{   rè   ré   rê   rë   rì   rí   râ   rî   )rÜ   r¸  ræ   )r7   r=   rç   r{   rè   ré   rê   rë   rì   rí   râ   rî   s   &&&&&&&&&&&&r   ræ   ÚSD1ClipModel.generateí  sD   € Ü�tŸY™YÓ'×0Ñ0°ÐYcð  EJð  _dð  RVð  BÐ0ó  Cð  	Cr   c                óº   € \        \        W P                  4      R R4      p\        VRR4      ;'       g    \        \        VRR4      RR4      pVe   V! 4       # . . 3# )ry   NÚget_dynamic_vram__unitsÚmodel)rÜ   r¸  )r7   ry   Ú	get_unitss   &  r   rÚ  Ú$SD1ClipModel.get_dynamic_vram__unitsð  sp   € äœg d¯I©IÓ6¸ÀtÓLˆÜ˜KÐ)BÀDÓI÷  [ð  [ÌWÔU\Ð]hÐjqÐswÓUxð  {Tð  VZó  N[ˆ	Ø'Ò3‰y‹{ÐA¸"¸b¸ÐAr   )r¸  r·  rÍ  )
Té   r!   é2   gffffffî?ró   r!   Nró   T)rN   rO   rP   rQ   rÇ  rd   r‰   r¡   rL   rß   ræ   rÚ  rR   rS   r÷   rø   s   @@r   rË  rË  Ì  s?   ù‡ € Ø#¨4¸rÈSÐ]sÐz~÷ #ò$;ò6òò
4ôC÷Bò Br   rË  rÕ   ) re   Útransformersr   Ú	comfy.opsrr   r3   rH  r  r]   r   Úcomfy.clip_modelrn   ru   r«   rz  r   r   r~   ÚModulerW   r  r  r  r  r(  r3  r:  rS  rU  r²  rÇ  rË  r   r   r   Ú<module>rä     s¾   ðÛ 	å &Û Û Û Û Ý Û Û Û Û Û 	ò
÷4ñ 4ôlmg�%—(‘(—/‘/Ð#9ô mgò^ò8ò(ò
ò
ò&ò&ôE÷NFYñ FY÷Pcñ cô4q˜[ô qô(B�5—8‘8—?‘?ö (Br   