+
    ‚°ñj[+  ã                   óR  € ^ RI t ^ RIt^ RIHt ^RIHtHt ^ RIt]P                  P                  t ! R R]P                  4      t ! R R]P                  4      t ! R R	]P                  4      t ! R
 R4      t ! R R]P                  4      t ! R R]P                  4      tR tR# )é    N)Únn)ÚCrossAttentionÚFeedForwardc                   ó8   a a€ ] tR t^	t oV 3R ltR tRtVtV ;t# )ÚGatedCrossAttentionDensec                óØ  <€ \         SV `  4        \        VVVV\        R 7      V n        \        VRR7      V n        \        P                  V4      V n        \        P                  V4      V n	        V P                  R\        P                  ! \        P                  ! R4      4      4       V P                  R\        P                  ! \        P                  ! R4      4      4       ^V n        R# ©)Ú	query_dimÚcontext_dimÚheadsÚdim_headÚ
operationsT©ÚgluÚ
alpha_attnç        Úalpha_denseN)ÚsuperÚ__init__r   ÚopsÚattnr   ÚffÚ	LayerNormÚnorm1Únorm2Úregister_parameterr   Ú	ParameterÚtorchÚtensorÚscale©Úselfr
   r   Ún_headsÚd_headÚ	__class__s   &&&&&€Ú0C:\Ai_Coding\apps\studio\ComfyUI\comfy\gligen.pyr   Ú!GatedCrossAttentionDense.__init__
   s¦   ø€ Ü‰ÑÔä"ØØ#ØØÜôˆŒ	ô ˜i¨TÔ2ˆŒä—]‘] 9Ó-ˆŒ
Ü—]‘] 9Ó-ˆŒ
à×Ñ ¬b¯lªl¼5¿<º<ÈÓ;KÓ.LÔMØ×Ñ ¬r¯|ª|¼E¿LºLÈÓ<LÓ/MÔNð
 ˆŽ
ó    c                óx  € WP                   \        P                  ! V P                  4      ,          V P	                  V P                  V4      W"4      ,          ,           pWP                   \        P                  ! V P                  4      ,          V P                  V P                  V4      4      ,          ,           pV# ©N)	r    r   Útanhr   r   r   r   r   r   )r"   ÚxÚobjss   &&&r&   ÚforwardÚ GatedCrossAttentionDense.forward    s‰   € à—
‘
Ü�JŠJ�t—‘Ó'õ(Ø*.¯)©)°D·J±J¸q³MÀ4Ó*NõOõ Oˆà—
‘
Ü�JŠJ�t×'Ñ'Ó(õ)Ø+/¯7©7°4·:±:¸a³=Ó+AõBõ Bˆð ˆr(   )r   r   r   r   r    ©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r.   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r%   Ú__classdict__s   @@r&   r   r   	   s   ù‡ € õ÷,ò r(   r   c                   ó8   a a€ ] tR t^*t oV 3R ltR tRtVtV ;t# )ÚGatedSelfAttentionDensec                ó  <€ \         SV `  4        \        P                  W!4      V n        \        VVVV\        R 7      V n        \        VRR7      V n        \        P                  V4      V n
        \        P                  V4      V n        V P                  R\        P                  ! \        P                   ! R4      4      4       V P                  R\        P                  ! \        P                   ! R4      4      4       ^V n        R# r	   ©r   r   r   ÚLinearÚlinearr   r   r   r   r   r   r   r   r   r   r   r   r    r!   s   &&&&&€r&   r   Ú GatedSelfAttentionDense.__init__+   s¸   ø€ Ü‰ÑÔô —j‘j Ó8ˆŒä"ØØ!ØØÜôˆŒ	ô ˜i¨TÔ2ˆŒä—]‘] 9Ó-ˆŒ
Ü—]‘] 9Ó-ˆŒ
à×Ñ ¬b¯lªl¼5¿<º<ÈÓ;KÓ.LÔMØ×Ñ ¬r¯|ª|¼E¿LºLÈÓ<LÓ/MÔNð
 ˆŽ
r(   c                ó  € VP                   ^,          pV P                  V4      pWP                  \        P                  ! V P
                  4      ,          V P                  V P                  \        P                  ! W.^R7      4      4      R^ V1R3,          ,          ,           pWP                  \        P                  ! V P                  4      ,          V P                  V P                  V4      4      ,          ,           pV# )é   ©ÚdimºNNN)Úshaper?   r    r   r+   r   r   r   Úcatr   r   r   )r"   r,   r-   ÚN_visuals   &&& r&   r.   ÚGatedSelfAttentionDense.forwardE   sÃ   € à—7‘7˜1•:ˆØ�{‰{˜4Ó ˆà—
‘
œUŸZšZ¨¯©Ó8Õ8¸4¿9¹9Ø�J‰J”u—y’y ! °Ô2Ó3ó<5Ø56¸¸(¸
ÀAÐ5Eõ<Gõ Gõ Gˆà—
‘
Ü�JŠJ�t×'Ñ'Ó(õ)Ø+/¯7©7°4·:±:¸a³=Ó+AõBõ Bˆð ˆr(   ©r   r   r?   r   r   r    r0   r8   s   @@r&   r;   r;   *   s   ù‡ € õ÷4
ò 
r(   r;   c                   ó8   a a€ ] tR t^Rt oV 3R ltR tRtVtV ;t# )ÚGatedSelfAttentionDense2c                ó  <€ \         SV `  4        \        P                  W!4      V n        \        WV\        R 7      V n        \        VRR7      V n        \        P                  V4      V n
        \        P                  V4      V n        V P                  R\        P                  ! \        P                   ! R4      4      4       V P                  R\        P                  ! \        P                   ! R4      4      4       ^V n        R# ))r
   r   r   r   Tr   r   r   r   Nr=   r!   s   &&&&&€r&   r   Ú!GatedSelfAttentionDense2.__init__S   s°   ø€ Ü‰ÑÔô —j‘j Ó8ˆŒä"ØÀÔTWôYˆŒ	ä˜i¨TÔ2ˆŒä—]‘] 9Ó-ˆŒ
Ü—]‘] 9Ó-ˆŒ
à×Ñ ¬b¯lªl¼5¿<º<ÈÓ;KÓ.LÔMØ×Ñ ¬r¯|ª|¼E¿LºLÈÓ<LÓ/MÔNð
 ˆŽ
r(   c           	     óè  € VP                   w  r4pVP                   w  r6pV P                  V4      p\        P                  ! V4      p\        P                  ! V4      p\	        V4      V8X  g   Q R 4       h\	        V4      V8X  g   Q R4       h\	        V4      p\	        V4      pV P                  V P                  \        P                  ! W.^R7      4      4      RVR1R3,          p	V	P                  ^ ^^4      P                  VRWˆ4      p	\        P                  P                  P                  W—V3RR7      p	V	P                  VRV4      P                  ^ ^^4      p
WP                  \        P                  ! V P                   4      ,          V
,          ,           pWP                  \        P                  ! V P"                  4      ,          V P%                  V P'                  V4      4      ,          ,           pV# )z%Visual tokens must be square rootablez(Grounding tokens must be square rootablerC   rE   NÚbicubic)Úmodeéÿÿÿÿ)rF   r?   ÚmathÚsqrtÚintr   r   r   rG   ÚpermuteÚreshaper   Ú
functionalÚinterpolater    r+   r   r   r   r   )r"   r,   r-   ÚBrH   Ú_ÚN_groundÚsize_vÚsize_gÚoutÚresiduals   &&&        r&   r.   Ú GatedSelfAttentionDense2.forwardi   s—  € àŸ™‰ˆ�QØŸ™‰ˆ�Qà�{‰{˜4Ó ˆô —’˜8Ó$ˆÜ—’˜8Ó$ˆÜ�6‹{˜fÔ$ÐMÐ&MÓMÐ$Ü�6‹{˜fÔ$ÐPÐ&PÓPÐ$Ü�V“ˆÜ�V“ˆð �i‰i˜Ÿ
™
¤5§9¢9¨a¨Y¸AÔ#>Ó?Ó@Øˆx‰y˜!ˆOõˆà�k‰k˜!˜Q Ó"×*Ñ*¨1¨b°&ÓAˆÜ�h‰h×!Ñ!×-Ñ-Ø˜&Ð!¨	ð .ó 3ˆà—;‘;˜q " hÓ/×7Ñ7¸¸1¸aÓ@ˆð —
‘
œUŸZšZ¨¯©Ó8Õ8¸8ÕCÕCˆØ—
‘
Ü�JŠJ�t×'Ñ'Ó(õ)Ø+/¯7©7°4·:±:¸a³=Ó+AõBõ Bˆð ˆr(   rJ   r0   r8   s   @@r&   rL   rL   R   s   ù‡ € õ÷,ò r(   rL   c                   ó\   a € ] tR t^ˆt o RR lt]P                  ! 4       RR l4       tRtV t	R# )ÚFourierEmbedderc                óp   € Wn         W n        V\        P                  ! V4      V,          ,          V n        R # r*   )Ú	num_freqsÚtemperaturer   ÚarangeÚ
freq_bands)r"   re   rf   s   &&&r&   r   ÚFourierEmbedder.__init__‰   s'   € à"ŒØ&ÔØ%¬%¯,ª,°yÓ*AÀIÕ*MÕNˆŽr(   c                ó  € . pV P                    FY  pVP                  \        P                  ! WA,          4      4       VP                  \        P                  ! WA,          4      4       K[  	  \        P
                  ! W24      # )z*x: arbitrary shape of tensor. dim: cat dim)rh   Úappendr   ÚsinÚcosrG   )r"   r,   Úcat_dimr_   Úfreqs   &&&  r&   Ú__call__ÚFourierEmbedder.__call__�   sV   € ð ˆØ—O”OˆDØ�J‰J”u—y’y ¥Ó*Ô+Ø�J‰J”u—y’y ¥Ó*Ö+ñ $ô �yŠy˜Ó&Ð&r(   )rh   re   rf   N)é@   éd   )rR   )
r1   r2   r3   r4   r   r   Úno_gradrp   r5   r6   )r9   s   @r&   rc   rc   ˆ   s%   ø‡ € ôOð ‡]‚]ƒ_ó'ó ö'r(   rc   c                   ó<   a a€ ] tR t^™t oRV 3R lltR tRtVtV ;t# )ÚPositionNetc           
     óÌ  <€ \         SV `  4        Wn        W n        \	        VR 7      V n        V^,          ^,          V n        \        P                  ! \        P                  V P                  V P                  ,           R4      \        P                  ! 4       \        P                  RR4      \        P                  ! 4       \        P                  RV4      4      V n        \        P                  P                  \        P                  ! V P                  .4      4      V n        \        P                  P                  \        P                  ! V P                  .4      4      V n        R# ))re   i   N)r   r   Úin_dimÚout_dimrc   Úfourier_embedderÚposition_dimr   Ú
Sequentialr   r>   ÚSiLUÚlinearsr   r   ÚzerosÚnull_positive_featureÚnull_position_feature)r"   rx   ry   Úfourier_freqsr%   s   &&&&€r&   r   ÚPositionNet.__init__š   sé   ø€ Ü‰ÑÔØŒØŒä /¸-Ô HˆÔØ)¨AÕ-°Õ1ˆÔä—}’}Ü�J‰J�t—{‘{ T×%6Ñ%6Õ6¸Ó<Ü�GŠG‹IÜ�J‰J�s˜CÓ Ü�GŠG‹IÜ�J‰J�s˜GÓ$ó
ˆŒô &+§X¡X×%7Ñ%7Ü�KŠK˜Ÿ™˜Ó&ó&(ˆÔ"ä%*§X¡X×%7Ñ%7Ü�KŠK˜×*Ñ*Ð+Ó,ó&.ˆÖ"r(   c                ó   € VP                   w  rEpVP                  R4      pTpV P                  V4      pV P                  P	                  VP
                  VP                  R7      P                  ^^R4      pV P                  P	                  VP
                  VP                  R7      P                  ^^R4      p	VV,          ^V,
          V,          ,           pWr,          ^V,
          V	,          ,           pV P                  \        P                  ! W7.RR7      4      p
V
P                   \        P                  ! WEV P                  .4      8X  g   Q hV
# )rB   ©ÚdeviceÚdtyperC   rR   )rF   Ú	unsqueezerz   r€   Útor†   r‡   Úviewr�   r~   r   rG   ÚSizery   )r"   ÚboxesÚmasksÚpositive_embeddingsrZ   ÚNr[   Úxyxy_embeddingÚpositive_nullÚ	xyxy_nullr-   s   &&&&       r&   r.   ÚPositionNet.forward¯   s%  € Ø—+‘+‰ˆˆaØ—‘ Ó#ˆØ1Ðð ×.Ñ.¨uÓ5ˆð ×2Ñ2×5Ñ5¸U¿\¹\ÐQV×Q\ÑQ\Ð5Ó]×bÑbÐcdÐfgÐikÓlˆØ×.Ñ.×1Ñ1¸¿¹ÈUÏ[É[Ð1ÓY×^Ñ^Ð_`ÐbcÐegÓhˆ	ð 2ØõØ˜•Y -Õ/õ0Ðà'Õ/°1°uµ9À	Õ2IÕIˆà�|‰|Ü�IŠIÐ*Ð;ÀÔDóFˆà�z‰zœUŸZšZ¨¨t¯|©|Ð(<Ó=Ô=Ð=Ð=Øˆr(   )rz   rx   r~   r�   r€   ry   r{   )é   r0   r8   s   @@r&   rv   rv   ™   s   ù‡ € ÷.÷*ò r(   rv   c                   óD   a a€ ] tR t^Æt oV 3R ltR tR tR tRtVt	V ;t
# )ÚGligenc                ó¶   <€ \         SV `  4        \        P                  ! V4      V n        W n        W0n        ^V n        \        P                  ! R4      V n
        R# )é   ÚcpuN)r   r   r   Ú
ModuleListÚmodule_listÚposition_netÚkey_dimÚmax_objsr   r†   Úcurrent_device)r"   Úmodulesrœ   r�   r%   s   &&&&€r&   r   ÚGligen.__init__Ç   sB   ø€ Ü‰ÑÔÜŸ=š=¨Ó1ˆÔØ(ÔØŒØˆŒÜ#Ÿlšl¨5Ó1ˆÖr(   c                ó<   a a€ S P                  WV4      oVV 3R  lpV# )c                 ó˜   <€ VR ,          pSP                   V,          pV! V SP                  V P                  V P                  R7      4      # )Útransformer_indexr…   )r›   r‰   r†   r‡   )r,   Úextra_optionsÚkeyÚmoduler-   r"   s   &&  €€r&   ÚfuncÚ"Gligen._set_position.<locals>.funcÑ   s@   ø€ ØÐ 3Õ4ˆCØ×%Ñ% cÕ*ˆFÙ˜!˜TŸW™W¨A¯H©H¸A¿G¹G˜WÓDÓEÐEr(   )rœ   )r"   rŒ   r�   rŽ   r¨   r-   s   f&&& @r&   Ú_set_positionÚGligen._set_positionÏ   s#   ù€ Ø× Ñ  Ð/BÓCˆö	Fð ˆr(   c                ó˜  € Vw  rErg\         P                  ! V P                  .R R7      p. p	. p
V F¬  pV^,          V,          pV^,          V,          pV^,          V^,          ,           V,          pV^,          V^,          ,           V,          pRV\        V	4      &   V	\         P                  ! WÍWï34      P                  ^ 4      .,          p	W«^ ,          .,          p
K®  	  . p. p\        V	4      V P                  8  du   \         P                  ! V P                  \        V	4      ,
          ^.R R7      .p\         P                  ! V P                  \        V	4      ,
          V P                  .R R7      .p\         P                  ! V	V,           4      P                  ^ 4      P                  V^^4      pVP                  ^ 4      P                  V^4      p\         P                  ! V
V,           4      P                  ^ 4      P                  V^^4      pV P                  VP                  V4      VP                  V4      VP                  V4      4      # )r™   ©r†   g      ð?)r   r   rž   Úlenr   rˆ   r�   rG   Úrepeatrª   r‰   )r"   Úlatent_image_shapeÚposition_paramsr†   ÚbatchÚcÚhÚwr�   rŒ   rŽ   ÚpÚx1Úy1Úx2Úy2Úappend_boxesÚappend_condsÚbox_outÚcondss   &&&&                r&   Úset_positionÚGligen.set_position×   së  € Ø+‰ˆ�!Ü—’˜TŸ]™]˜O°EÔ:ˆØˆØ ÐÛ ˆAØ�A•$˜!•ˆBØ�A•$˜!•ˆBØ�A•$˜˜1�•+ Õ"ˆBØ�A•$˜˜1�•+ Õ"ˆBØ #ˆE”#�e“*ÑØ”e—l’l B¨BÐ#3Ó4×>Ñ>¸qÓAÐBÕBˆEØ a¥D 6Õ)Òñ !ð ˆØˆÜˆu‹:˜Ÿ™Ô%Ü!ŸKšKØ—‘¤ U£Õ+¨QÐ/¸ô?ð @ˆLä!ŸKšKØ—‘¤ U£Õ+¨T¯\©\Ð:À5ôJð KˆLô —)’)Ø�LÕ ó"ß"+¡)¨A£,¯v©v°e¸QÀÓ/Bð 	à—‘ Ó"×)Ñ)¨%°Ó3ˆÜ—	’	Ð-Ø&õ'ó (ß(1©	°!«·V±V¸EÀ1ÀaÓ5Hð 	à×!Ñ!Ø�J‰J�vÓØ�H‰H�VÓØ�H‰H�VÓóð 	r(   c                óÚ  € Vw  r4rV\         P                  ! V P                  .R R7      P                  V^4      p\         P                  ! V P                  ^.R R7      P                  V^^4      p\         P                  ! V P                  V P                  .R R7      P                  V^^4      p	V P                  VP                  V4      VP                  V4      V	P                  V4      4      # )r™   r­   )r   r   rž   r¯   r�   rª   r‰   )
r"   r°   r†   r²   r³   r´   rµ   r�   r½   r¾   s
   &&&       r&   Ú	set_emptyÚGligen.set_emptyö   sÃ   € Ø+‰ˆ�!Ü—’˜TŸ]™]˜O°EÔ:×AÑAÀ%ÈÓKˆÜ—+’+˜tŸ}™}¨aÐ0Ø%*ô,ß,2©F°5¸!¸QÓ,?ð 	ä—’˜TŸ]™]¨D¯L©LÐ9Ø#(ô*ß*0©&°¸¸1Ó*=ð 	à×!Ñ!Ø�J‰J�vÓØ�H‰H�VÓØ�H‰H�VÓóð 	r(   )rŸ   r�   rž   r›   rœ   )r1   r2   r3   r4   r   rª   r¿   rÂ   r5   r6   r7   r8   s   @@r&   r–   r–   Æ   s   ù‡ € õ2òò÷>
ò 
r(   r–   c                 óL  aa€ V P                  4       p. pR pR
 Fè  o\        ^4       FÖ  o\        VV3R lV4      p\        R V4      p/ pV F  pW^ ,          ,          WV^,          &   K  	  \	        V4      ^ 8”  g   KV  VR,          P
                  ^ ,          pVR,          P
                  ^,          pVR 8X  d   ^pWx,          p	M
^@p	Wy,          p\        WsW‰4      p
V
P                  VRR7       VP                  V
4       KØ  	  Kê  	  RV9   d‚   V R,          P
                  ^ ,          pV R,          P
                  ^ ,          p ! R R	\        P                  P                  4      pV! 4       p\        W¼4      Vn        VP                  V RR7       \        VXP                  V4      pV# )i   c                 óH   <€ R P                  SS4      V 9   ;'       d    RV 9   # )z{}.{}.ú.fuser.)Úformat)ÚkÚaÚbs   &€€r&   Ú<lambda>Úload_gligen.<locals>.<lambda>	  s.   ø€  h§o¡o°a¸Ó&;Ø ñ'!÷ '4ð '4Ø%.°!¡^ð'4r(   c                 ó4   € W P                  R 4      R,          3# )rÆ   rR   )Úsplit)rÈ   s   &r&   rË   rÌ     s   €  A§w¡w¨yÓ'9¸"Õ'=Ñ#>r(   zlinear.weightF)Ústrictz"position_net.null_positive_featurezposition_net.linears.4.weightc                   ó   € ] tR tRtRtR# )Ú"load_gligen.<locals>.WeightsLoaderi$  © N)r1   r2   r3   r4   r5   rÒ   r(   r&   ÚWeightsLoaderrÑ   $  s   † Ûr(   rÓ   )Úinput_blocksÚmiddle_blockÚoutput_blocks)ÚkeysÚrangeÚfilterÚmapr®   rF   r;   Úload_state_dictrk   r   r   ÚModulerv   rœ   r–   )ÚsdÚsd_kÚoutput_listr�   Úk_tempÚn_sdrÈ   r
   r#   r$   Úgatedrx   ry   rÓ   rµ   ÚgligenrÉ   rÊ   s   &               @@r&   Úload_gligenrä     s|  ù€ Ø�7‰7‹9€DØ€KØ€GÛ>ˆÜ�r–ˆAÜõ 4Ø59ó;ˆFäÑ>ÀÓGˆFàˆDÛ�Ø !¥�X��q•T“
ñ ä�4‹y˜1Ž}Ø  Õ1×7Ñ7¸Õ:�	Ø˜Õ/×5Ñ5°aÕ8�à˜c”>Ø�GØ&Õ1‘Fà�FØ'Õ1�Gä/Ø¨ó9�à×%Ñ% d°5Ð%Ô9Ø×"Ñ" 5Ö)ó- ñ ?ð2 ,¨tÔ3ØÐ8Õ9×?Ñ?ÀÕBˆØÐ4Õ5×;Ñ;¸AÕ>ˆô	œEŸH™HŸO™Oô 	á‹OˆÜ$ VÓ5ˆŒØ	×Ñ˜" UÐÔ+ä�K §¡°Ó9€FØ€Mr(   )rS   r   r   Úldm.modules.attentionr   r   Ú	comfy.opsÚcomfyr   Úmanual_castrÜ   r   r;   rL   rc   rv   r–   rä   rÒ   r(   r&   Ú<module>ré      s‡   ðÛ Û Ý ß >Û Ø‡i�i×Ñ€ô˜rŸy™yô ôB%˜bŸi™iô %ôP3˜rŸy™yô 3÷l'ñ 'ô"*�"—)‘)ô *ôZ:ˆR�Y‰Yô :ôz(r(   