+
    ùäûj‚-  ã                   ó¬  € ^ RI t ^ RIt^ RIHt ^ RIHu Ht ^ RIHu Ht ^ RI	H
t
 ^ RIHt ^RIHtHtHt  ! R R]P"                  4      t ! R R]P"                  4      t ! R	 R
]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t ! R R]P"                  4      t]! 4        ! R R]P"                  4      4       tR# )é    N)Ú	rearrange)Ústore_hyperparameters)ÚKBAFunctionÚLayerNorm2dÚ
SimpleGatec                   ó8   a a€ ] tR t^t oV 3R ltR tRtVtV ;t# )Ú
Downsamplec                óÄ   <€ \         SV `  4        \        P                  ! \        P                  ! W^,          ^^^RR7      \        P
                  ! ^4      4      V n        R# ©é   F©Úkernel_sizeÚstrideÚpaddingÚbiasN)ÚsuperÚ__init__ÚnnÚ
SequentialÚConv2dÚPixelUnshuffleÚbody©ÚselfÚn_featÚ	__class__s   &&€ÚgC:\Ai_Coding\apps\studio\ComfyUI\.venv\Lib\site-packages\spandrel\architectures\KBNet\__arch\kbnet_l.pyr   ÚDownsample.__init__   sI   ø€ Ü‰ÑÔä—M’MÜ�IŠIØ !�°¸1ÀaÈeôô ×Ò˜aÓ ó	
ˆŽ	ó    c                ó$   € V P                  V4      # ©N©r   ©r   Úxs   &&r   ÚforwardÚDownsample.forward   ó   € Ø�y‰y˜‹|Ðr   r"   ©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r%   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r	   r	      ó   ù‡ € õ
÷ò r   r	   c                   ó8   a a€ ] tR t^t oV 3R ltR tRtVtV ;t# )ÚUpsamplec                óÄ   <€ \         SV `  4        \        P                  ! \        P                  ! W^,          ^^^RR7      \        P
                  ! ^4      4      V n        R# r   )r   r   r   r   r   ÚPixelShuffler   r   s   &&€r   r   ÚUpsample.__init__   sG   ø€ Ü‰ÑÔä—M’MÜ�IŠIØ �
°¸!ÀQÈUôô �OŠO˜AÓó	
ˆŽ	r   c                ó$   € V P                  V4      # r!   r"   r#   s   &&r   r%   ÚUpsample.forward)   r'   r   r"   r(   r0   s   @@r   r4   r4      r2   r   r4   c                   ó<   a a€ ] tR t^-t oRV 3R lltR tRtVtV ;t# )ÚOverlapPatchEmbedc           	     ód   <€ \         SV `  4        \        P                  ! W^^^VR7      V n        R# )é   r   N)r   r   r   r   Úproj)r   Úin_cÚ	embed_dimr   r   s   &&&&€r   r   ÚOverlapPatchEmbed.__init__.   s)   ø€ Ü‰ÑÔä—I’IØ¨°1¸aÀdô
ˆŽ	r   c                ó(   € V P                  V4      pV# r!   ©r>   r#   s   &&r   r%   ÚOverlapPatchEmbed.forward5   s   € Ø�I‰I�a‹LˆØˆr   rC   )r=   é0   Fr(   r0   s   @@r   r;   r;   -   s   ù‡ € ÷
÷ò r   r;   c                   ó8   a a€ ] tR t^:t oV 3R ltR tRtVtV ;t# )ÚTransAttentionc           
     ó†  <€ \         SV `  4        W n        \        P                  ! \
        P                  ! V^^4      4      V n        \        P                  ! W^,          ^VR7      V n	        \        P                  ! V^,          V^,          ^^^V^,          VR7      V n
        \        P                  ! W^VR7      V n        R# )é   ©r   r   ©r   r   r   Úgroupsr   N)r   r   Ú	num_headsr   Ú	ParameterÚtorchÚonesÚtemperaturer   ÚqkvÚ
qkv_dwconvÚproject_out)r   ÚdimrM   r   r   s   &&&&€r   r   ÚTransAttention.__init__;   s‘   ø€ Ü‰ÑÔØ"ŒÜŸ<š<¬¯
ª
°9¸aÀÓ(CÓDˆÔä—9’9˜S¨¥'°q¸tÔDˆŒÜŸ)š)Ø�!�GØ�!�GØØØØ˜•7Øô
ˆŒô Ÿ9š9 S¸1À4ÔHˆÖr   c                ó¦  € VP                   w  r#rEV P                  V P                  V4      4      pVP                  ^^R7      w  rxp	\	        VRV P
                  R7      p\	        VRV P
                  R7      p\	        V	RV P
                  R7      p	\        P                  P                  P                  VRR7      p\        P                  P                  P                  VRR7      pWxP                  RR4      ,          V P                  ,          p
V
P                  RR7      p
W©,          p\	        VRV P
                  WER7      pV P                  V4      pV# )r=   )rU   z b (head c) h w -> b head c (h w))Úheadz b head c (h w) -> b (head c) h w)rX   ÚhÚwéÿÿÿÿéþÿÿÿ)ÚshaperS   rR   Úchunkr   rM   rO   r   Ú
functionalÚ	normalizeÚ	transposerQ   ÚsoftmaxrT   )r   r$   ÚbÚcrY   rZ   rR   ÚqÚkÚvÚattnÚouts   &&          r   r%   ÚTransAttention.forwardL   s  € Ø—W‘W‰
ˆˆaà�o‰o˜dŸh™h q›kÓ*ˆØ—)‘)˜A 1�)Ó%‰ˆˆaä�aÐ;À$Ç.Á.ÔQˆÜ�aÐ;À$Ç.Á.ÔQˆÜ�aÐ;À$Ç.Á.ÔQˆä�H‰H×Ñ×)Ñ)¨!°Ð)Ó4ˆÜ�H‰H×Ñ×)Ñ)¨!°Ð)Ó4ˆà—K‘K  BÓ'Õ'¨4×+;Ñ+;Õ;ˆØ�|‰| ˆ|Ó#ˆà�hˆäØÐ3¸$¿.¹.ÈAô
ˆð ×Ñ˜sÓ#ˆØˆ
r   )rM   rT   rR   rS   rQ   r(   r0   s   @@r   rG   rG   :   s   ù‡ € õI÷"ò r   rG   c                   óL   a a€ ] tR t^ft oRV 3R lltR tRR ltR tRtVt	V ;t
# )ÚMFFc                óX  <€ \         SV `  4        W@n        WPn        \	        W,          4      p\
        P                  ! \
        P                  ! W^VR7      \
        P                  ! VV^^^VVR7      4      V n        \
        P                  ! W�^VR7      V n	        \
        P                  ! \
        P                  ! ^4      \
        P                  ! VV^^ ^^RR7      4      V n        \
        P                  ! \
        P                  ! W^VR7      \
        P                  ! VV^^^VVR7      4      V n        Tp	WyuV n        V n        W`n        W•,          V n        \
        P"                  ! \$        P&                  ! ^WiV	,          V P                   ,          V P                  ^,          ,          4      4      V n        \
        P"                  ! \$        P&                  ! ^Wi4      4      V n        V P-                  V P(                  V P*                  4       \/        V^4      p
\
        P                  ! \
        P                  ! VV
^^^V
RR7      \1        4       \
        P                  ! V
^,          V P                  ^^ ^R7      4      V n        \
        P                  ! WP                  ^R7      V n        \
        P"                  ! \$        P&                  ! ^V P                  ^^34      R,           RR7      V n        \
        P"                  ! \$        P&                  ! ^V^^34      R,           RR7      V n        R	# )
rI   rJ   rK   T)Úin_channelsÚout_channelsr   r   r   rL   r   )r   r   )rn   ro   r   g{®Gáz„?)Úrequires_gradN)r   r   ÚactÚgcÚintr   r   r   ÚdwconvrT   ÚAdaptiveAvgPool2dÚscaÚconv1rf   rd   ÚnsetÚgrN   rO   ÚzerosrZ   rc   Úinit_pÚminr   Úconv2Úconv211ÚattgammaÚga1)r   rU   Úffn_expansion_factorr   rq   rr   rx   rf   Úhidden_featuresrd   Úintercr   s   &&&&&&&&   €r   r   ÚMFF.__init__g   s\  ø€ Ü‰ÑÔØŒØŒä˜cÕ8Ó9ˆä—m’mÜ�IŠI�c¸ÀÔEÜ�IŠIØØØØØØ&Øôó
ˆŒô Ÿ9š9 _ÀqÈtÔTˆÔä—=’=Ü× Ò  Ó#Ü�IŠIØØ,ØØØØØôó
ˆŒô —]’]Ü�IŠI�c¸ÀÔEÜ�IŠIØØØØØØ&Øôó
ˆŒ
ð ˆØˆˆŒ�”ØŒ	à•ˆŒÜ—’œeŸkšk¨!¨T°qµ5¸D¿F¹Fµ?ÀTÇVÁVÈQÅYÕ3NÓOÓPˆŒÜ—’œeŸkšk¨!¨TÓ5Ó6ˆŒØ�‰�D—F‘F˜DŸF™FÔ#Ü�S˜"“ˆä—]’]Ü�IŠIØØ#ØØØØØôô ‹LÜ�IŠI�f •k 4§9¡9¨a¸À1ÔEó
ˆŒ
ô —y’y¨S¿y¹yÐVWÔXˆŒÜŸšÜ�KŠK˜˜DŸI™I q¨!Ð,Ó-°Õ4ÀDô
ˆŒô —<’<Ü�KŠK˜˜O¨Q°Ð2Ó3°dÕ:È$ô
ˆŽr   c                ó&  € V P                  V4      pV P                  V4      pV P                  V4      V P                  ,          V P	                  V4      ,           pV P                  V4      pV P                  WTV P                  V P                  V P                  V P                  4      V P                  ,          V,           pV P                  '       d   \        P                  ! V4      V,          MW6,          pW,          pV P                  V4      pV# r!   )rv   rt   r}   r   r~   rw   ÚKBArf   ry   rc   rZ   r€   rq   ÚFÚgelurT   )r   r$   rv   Úx1ÚattÚufÚx2s   &&     r   r%   ÚMFF.forwardµ   s¹   € Ø�h‰h�q‹kˆØ�[‰[˜‹^ˆà�j‰j˜‹m˜dŸm™mÕ+¨d¯l©l¸1«oÕ=ˆØ�Z‰Z˜‹]ˆØ�X‰X�b˜tŸv™v t§v¡v¨t¯v©v°t·v±vÓ>ÀÇÁÕIÈBÕNˆà#ŸxŸx˜xŒA�FŠF�2‹J˜ŽO¨R­WˆØ�GˆØ×Ñ˜QÓˆØˆr   c                ó  € \         P                  ! V\        P                  ! ^4      R7       VeP   \         P                  ! V4      w  r4^\        P                  ! V4      ,          p\         P
                  ! W%) V4       R# R# )é   )ÚaN)ÚinitÚkaiming_uniform_ÚmathÚsqrtÚ_calculate_fan_in_and_fan_outÚuniform_)r   Úweightr   Úfan_inÚ_Úbounds   &&&   r   r{   Ú
MFF.init_pÂ   sZ   € Ü×Ò˜f¬¯	ª	°!«Õ5ØÒÜ×:Ò:¸6ÓB‰IˆFØœŸ	š	 &Ó)Õ)ˆEÜ�MŠM˜$ ¨Ö.ñ r   c                ó2   € \         P                  ! WW4WV4      # r!   )r   Úapply)r   r$   rŠ   ÚselfkÚselfgÚselfbÚselfws   &&&&&&&r   r†   ÚMFF.KBAÉ   s   € Ü× Ò  ¨°uÓDÐDr   )rq   r   rc   rd   rw   r}   r~   rt   ry   r€   rr   rf   rx   rT   rv   rZ   )Tr   é    r=   r!   )r)   r*   r+   r,   r   r%   r{   r†   r-   r.   r/   r0   s   @@r   rl   rl   f   s"   ù‡ € ÷L
ò\ô/÷Eò Er   rl   c                   ó8   a a€ ] tR t^Ít oV 3R ltR tRtVtV ;t# )Ú	KBBlock_lc                ó¨   <€ \         SV `  4        \        V4      V n        \	        WV4      V n        \        V4      V n        \        WV4      V n        R # r!   )	r   r   r   Únorm1rG   ÚffnÚnorm2rl   rh   )r   rU   rM   r�   r   r   s   &&&&&€r   r   ÚKBBlock_l.__init__Î   sB   ø€ Ü‰ÑÔä  Ó%ˆŒ
Ü! #°$Ó7ˆŒÜ  Ó%ˆŒ
Ü˜°4Ó8ˆŽ	r   c                óž   € WP                  V P                  V4      4      ,           pWP                  V P                  V4      4      ,           pV# r!   )rh   r§   r¨   r©   r#   s   &&r   r%   ÚKBBlock_l.forwardÖ   s9   € Ø—	‘	˜$Ÿ*™* Q›-Ó(Õ(ˆØ—‘˜Ÿ™ A›Ó'Õ'ˆØˆr   )rh   r¨   r§   r©   r(   r0   s   @@r   r¥   r¥   Í   s   ù‡ € õ9÷ò r   r¥   c                   óh   a a€ ] tR t^Üt o/ tR^R^R^0R. ROR^R. RORRR	R
/V 3R lltR tRtVtV ;t	# )ÚKBNet_lÚinp_channelsro   rU   Ú
num_blocksÚnum_refinement_blocksÚheadsr�   g      ø?r   Fc               óô  <€ \         S
V `  4        \        W4      V n        \        P
                  ! \        V^ ,          4       U	u. uF  p	\        VV^ ,          VVR7      NK  	  up	!  V n        \        V4      V n
        \        P
                  ! \        V^,          4       U	u. uF)  p	\        \        V^,          4      V^,          VVR7      NK+  	  up	!  V n        \        \        V^,          4      4      V n        \        P
                  ! \        V^,          4       U	u. uF)  p	\        \        V^,          4      V^,          VVR7      NK+  	  up	!  V n        \        \        V^,          4      4      V n        \        P
                  ! \        V^,          4       U	u. uF)  p	\        \        V^,          4      V^,          VVR7      NK+  	  up	!  V n        \#        \        V^,          4      4      V n        \        P&                  ! \        V^,          4      \        V^,          4      ^VR7      V n        \        P
                  ! \        V^,          4       U	u. uF)  p	\        \        V^,          4      V^,          VVR7      NK+  	  up	!  V n        \#        \        V^,          4      4      V n        \        P&                  ! \        V^,          4      \        V^,          4      ^VR7      V n        \        P
                  ! \        V^,          4       U	u. uF)  p	\        \        V^,          4      V^,          VVR7      NK+  	  up	!  V n        \#        \        V^,          4      4      V n        \        P
                  ! \        V^ ,          4       U	u. uF)  p	\        \        V^,          4      V^ ,          VVR7      NK+  	  up	!  V n        \        P
                  ! \        V4       U	u. uF)  p	\        \        V^,          4      V^ ,          VVR7      NK+  	  up	!  V n        \        P&                  ! \        V^,          4      V^^^VR7      V n        R# u up	i u up	i u up	i u up	i u up	i u up	i u up	i u up	i )r   )rU   rM   r�   r   rJ   r   N)r   r   r;   Úpatch_embedr   r   Úranger¥   Úencoder_level1r	   Údown1_2rs   Úencoder_level2Údown2_3Úencoder_level3Údown3_4Úlatentr4   Úup4_3r   Úreduce_chan_level3Údecoder_level3Úup3_2Úreduce_chan_level2Údecoder_level2Úup2_1Údecoder_level1Ú
refinementÚoutput)r   r¯   ro   rU   r°   r±   r²   r�   r   r™   r   s   &$$$$$$$$ €r   r   ÚKBNet_l.__init__à   sö  ø€ ô 	‰ÑÔä,¨\Ó?ˆÔä Ÿmšmô ˜z¨!�}Ô-óñ .�Aô ØØ# A�hØ)=Ø÷	ñ .ññ

ˆÔô " #“ˆŒÜ Ÿmšmô ˜z¨!�}Ô-óñ .�Aô Ü˜C $�J›Ø# A�hØ)=Ø÷	ñ .ññ

ˆÔô "¤# c¨D¥j£/Ó2ˆŒÜ Ÿmšmô ˜z¨!�}Ô-óñ .�Aô Ü˜C $�J›Ø# A�hØ)=Ø÷	ñ .ññ

ˆÔô "¤# c¨D¥j£/Ó2ˆŒÜ—m’mô ˜z¨!�}Ô-óñ .�Aô Ü˜C $�J›Ø# A�hØ)=Ø÷	ñ .ññ

ˆŒô œc #¨¥*›oÓ.ˆŒ
Ü"$§)¢)Ü��d•
‹OœS  t¥›_¸!À$ô#
ˆÔô !Ÿmšmô ˜z¨!�}Ô-óñ .�Aô Ü˜C $�J›Ø# A�hØ)=Ø÷	ñ .ññ

ˆÔô œc #¨¥*›oÓ.ˆŒ
Ü"$§)¢)Ü��d•
‹OœS  t¥›_¸!À$ô#
ˆÔô !Ÿmšmô ˜z¨!�}Ô-óñ .�Aô Ü˜C $�J›Ø# A�hØ)=Ø÷	ñ .ññ

ˆÔô œc #¨¥*›oÓ.ˆŒ
ä Ÿmšmô ˜z¨!�}Ô-óñ .�Aô Ü˜C $�J›Ø# A�hØ)=Ø÷	ñ .ññ

ˆÔô Ÿ-š-ô Ð4Ô5óñ 6�Aô Ü˜C $�J›Ø# A�hØ)=Ø÷	ñ 6ññ

ˆŒô —i’iÜ��d•
‹O˜\°qÀÈAÐTXô
ˆŽùòYùòùòùòùò ùò ùòùòs0   ÁQÂ!/QÄ/QÆ/Q!É/Q&Ì/Q+Î/Q0Ï&/Q5c                ó  € V P                  V4      pV P                  V4      pV P                  V4      pV P                  V4      pV P	                  V4      pV P                  V4      pV P                  V4      pV P                  V4      p	V P                  V	4      p
\        P                  ! W§.^4      p
V P                  V
4      p
V P                  V
4      pV P                  V4      p\        P                  ! WÅ.^4      pV P                  V4      pV P                  V4      pV P!                  V4      p\        P                  ! Wã.^4      pV P#                  V4      pV P%                  V4      pV P'                  V4      V,           pV# )rI   )r´   r¶   r·   r¸   r¹   rº   r»   r¼   r½   rO   Úcatr¾   r¿   rÀ   rÁ   rÂ   rÃ   rÄ   rÅ   rÆ   )r   Úinp_imgÚinp_enc_level1Úout_enc_level1Úinp_enc_level2Úout_enc_level2Úinp_enc_level3Úout_enc_level3Úinp_enc_level4r¼   Úinp_dec_level3Úout_dec_level3Úinp_dec_level2Úout_dec_level2Úinp_dec_level1Úout_dec_level1s   &&              r   r%   ÚKBNet_l.forwarda  sT  € Ø×)Ñ)¨'Ó2ˆØ×,Ñ,¨^Ó<ˆàŸ™ nÓ5ˆØ×,Ñ,¨^Ó<ˆàŸ™ nÓ5ˆØ×,Ñ,¨^Ó<ˆàŸ™ nÓ5ˆØ—‘˜^Ó,ˆàŸ™ FÓ+ˆÜŸš NÐ#CÀQÓGˆØ×0Ñ0°Ó@ˆØ×,Ñ,¨^Ó<ˆàŸ™ NÓ3ˆÜŸš NÐ#CÀQÓGˆØ×0Ñ0°Ó@ˆØ×,Ñ,¨^Ó<ˆàŸ™ NÓ3ˆÜŸš NÐ#CÀQÓGˆØ×,Ñ,¨^Ó<ˆàŸ™¨Ó8ˆàŸ™ ^Ó4°wÕ>ˆàÐr   )rÄ   rÂ   r¿   r·   r¹   r»   r¶   r¸   rº   r¼   rÆ   r´   rÁ   r¾   rÅ   rÃ   rÀ   r½   )é   é   rÚ   é   )rI   r   rÙ   rÛ   )
r)   r*   r+   r,   Úhyperparametersr   r%   r-   r.   r/   r0   s   @@r   r®   r®   Ü   ss   ù‡ € à€Oð
ð ð
ð ð	
ð
 ð
ò  ð
ð  ð
ò ð
ð !ð
ð ÷
÷Bò r   r®   )r“   rO   Útorch.nnr   Útorch.nn.functionalr_   r‡   Útorch.nn.initr‘   Úeinopsr   Úspandrel.utilr   Úkb_utilsr   r   r   ÚModuler	   r4   r;   rG   rl   r¥   r®   © r   r   Ú<module>rå      s±   ðã ã Ý ß Ð ß Ð Ý å /ç :Ñ :ô�—‘ô ôˆr�y‰yô ô
˜Ÿ	™	ô 
ô)�R—Y‘Yô )ôXdEˆ"�)‰)ô dEôN�—	‘	ô ñ Óôcˆb�i‰ió có òcr   