+
    ûäûj{   ã                   ó  € ^ RI t ^ RIHt ^ RIHu Ht ^RIHt RR lt ! R R]P                  4      t
 ! R R]P                  4      t ! R R	]P                  4      t ! R
 R]P                  4      t ! R R]P                  4      tR# )é    N)ÚLayerNorm2dc                 ó|  € \        V P                  4       4      ^8X  g   Q h\        P                  ! WR7      P	                  R4      P	                  R4      p^V P                  ^4      V P                  ^4      ,          ,          \        P
                  ! \        P                  ! W,
          V4      VR7      ,          pV# )é   )Údiméÿÿÿÿ)ÚlenÚsizeÚtorchÚmeanÚ	unsqueezeÚsumÚpow)Úxr   Úkr   Úmks   &&&  ÚdC:\Ai_Coding\apps\studio\ComfyUI\.venv\Lib\site-packages\spandrel\architectures\OmniSR\__arch\esa.pyÚmomentr      s   € Üˆq�v‰v‹x‹=˜AÔÐÐÜ�:Š:�aÔ!×+Ñ+¨BÓ/×9Ñ9¸"Ó=€DØ
ˆq�v‰v�a‹y˜1Ÿ6™6 !›9Õ$Õ
%¬¯ª´5·9²9¸Q½XÀqÓ3IÈsÔ)SÕ	S€BØ€Ió    c                   óV   a a€ ] tR t^t oRt]P                  3V 3R lltR tRt	Vt
V ;t# )ÚESAzã
Modification of Enhanced Spatial Attention (ESA), which is proposed by
`Residual Feature Aggregation Network for Image Super-Resolution`
Note: `conv_max` and `conv3_` are NOT used here, so the corresponding codes
are deleted.
c                ó0  <€ \         SV `  4        TpV! W$^R7      V n        V! WD^R7      V n        V! WD^^^ R7      V n        V! WD^^R7      V n        V! WB^R7      V n        \        P                  ! 4       V n	        \        P                  ! RR7      V n        R# )é   ©Úkernel_size)r   ÚstrideÚpadding)r   r   T©ÚinplaceN)ÚsuperÚ__init__Úconv1Úconv_fÚconv2Úconv3Úconv4ÚnnÚSigmoidÚsigmoidÚReLUÚrelu)ÚselfÚesa_channelsÚn_featsÚconvÚfÚ	__class__s   &&&& €r   r    ÚESA.__init__"   s|   ø€ Ü‰ÑÔØˆÙ˜'°!Ô4ˆŒ
Ù˜1¨QÔ/ˆŒÙ˜!¨A°aÀÔCˆŒ
Ù˜!¨A°qÔ9ˆŒ
Ù˜!°!Ô4ˆŒ
Ü—z’z“|ˆŒÜ—G’G DÔ)ˆŽ	r   c                óŽ  € V P                  V4      pV P                  V4      p\        P                  ! V^^R7      pV P	                  V4      p\        P
                  ! WQP                  ^4      VP                  ^4      3RRR7      pV P                  V4      pV P                  WV,           4      pV P                  V4      pW,          # )é   )r   r   ÚbilinearF)ÚmodeÚalign_corners)
r!   r#   ÚFÚ
max_pool2dr$   Úinterpolater	   r"   r%   r(   )	r+   r   Úc1_Úc1Úv_maxÚc3ÚcfÚc4Úms	   &&       r   ÚforwardÚESA.forward-   s›   € Ø�j‰j˜‹mˆØ�Z‰Z˜‹_ˆÜ—’˜R¨Q°qÔ9ˆØ�Z‰Z˜ÓˆÜ�]Š]Ø—‘˜“˜AŸF™F 1›IÐ&¨ZÀuô
ˆð �[‰[˜ÓˆØ�Z‰Z˜�Ó ˆØ�L‰L˜ÓˆØ�uˆr   )r!   r#   r$   r%   r"   r*   r(   )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__Ú__doc__r&   ÚConv2dr    rA   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r0   Ú__classdict__s   @@r   r   r      s"   ù‡ € ñð 46·9±9÷ 	*÷ò r   r   c                   óV   a a€ ] tR t^;t o]P
                  ^R3V 3R lltR tRtVt	V ;t
# )ÚLK_ESATc           	     ó€  <€ \         S	V `  4        TpV! W&^R7      V n        V! Wf^R7      V n        ^pTpV^,          p\        P
                  ! Wd,          Wd,          ^V3^ V3^VR7      V n        \        P
                  ! Wd,          Wd,          RR^VR7      V n        \        P
                  ! Wd,          Wd,          V^3V^ 3^VR7      V n        \        P
                  ! Wd,          Wd,          RR	^VR7      V n	        V! Wb^R7      V n
        \        P                  ! 4       V n        \        P                  ! RR7      V n        R# ©
r   r   ©Úin_channelsÚout_channelsr   r   ÚgroupsÚbiasTr   N)r   é   )r   r   )rW   r   )r   r   )r   r    r!   r"   r&   rH   Úvec_convÚvec_conv3x1Úhor_convÚhor_conv1x3r%   r'   r(   r)   r*   ©
r+   r,   r-   r.   Úkernel_expandrV   r/   r   r   r0   s
   &&&&&&   €r   r    ÚLK_ESA.__init__<   s,  ø€ ô 	‰ÑÔØˆÙ˜'°!Ô4ˆŒ
Ù˜1¨QÔ/ˆŒàˆØ%ˆØ Õ"ˆäŸ	š	ØÕ)ØÕ*Ø˜KÐ(Ø˜�LØØô
ˆŒô Ÿ9š9ØÕ)ØÕ*ØØØØô
ˆÔô Ÿ	š	ØÕ)ØÕ*Ø$ aÐ(Ø˜a�LØØô
ˆŒô Ÿ9š9ØÕ)ØÕ*ØØØØô
ˆÔñ ˜!°!Ô4ˆŒ
Ü—z’z“|ˆŒÜ—G’G DÔ)ˆŽ	r   c                óB  € V P                  V4      pV P                  V4      V P                  V4      ,           pV P                  V4      V P	                  V4      ,           pV P                  V4      pV P                  W4,           4      pV P                  V4      pW,          # ©N)r!   rX   rY   rZ   r[   r"   r%   r(   ©r+   r   r:   Úresr>   r?   r@   s   &&     r   rA   ÚLK_ESA.forwardn   s~   € Ø�j‰j˜‹mˆà�m‰m˜CÓ  4×#3Ñ#3°CÓ#8Õ8ˆØ�m‰m˜CÓ  4×#3Ñ#3°CÓ#8Õ8ˆà�[‰[˜ÓˆØ�Z‰Z˜�Ó!ˆØ�L‰L˜ÓˆØ�uˆr   )	r!   r%   r"   rZ   r[   r*   r(   rX   rY   ©rC   rD   rE   rF   r&   rH   r    rA   rI   rJ   rK   rL   s   @@r   rO   rO   ;   s    ù‡ € à*,¯)©)À1È4÷0*÷d	ò 	r   rO   c                   óV   a a€ ] tR t^zt o]P
                  ^R3V 3R lltR tRtVt	V ;t
# )Ú	LK_ESA_LNTc           	     ó   <€ \         S	V `  4        TpV! W&^R7      V n        V! Wf^R7      V n        ^pTpV^,          p\	        V4      V n        \        P                  ! Wd,          Wd,          ^V3^ V3^VR7      V n        \        P                  ! Wd,          Wd,          RR^VR7      V n	        \        P                  ! Wd,          Wd,          V^3V^ 3^VR7      V n
        \        P                  ! Wd,          Wd,          RR	^VR7      V n        V! Wb^R7      V n        \        P                  ! 4       V n        \        P                  ! RR7      V n        R# rQ   )r   r    r!   r"   r   Únormr&   rH   rX   rY   rZ   r[   r%   r'   r(   r)   r*   r\   s
   &&&&&&   €r   r    ÚLK_ESA_LN.__init__{   s8  ø€ ô 	‰ÑÔØˆÙ˜'°!Ô4ˆŒ
Ù˜1¨QÔ/ˆŒàˆØ%ˆØ Õ"ˆä Ó(ˆŒ	äŸ	š	ØÕ)ØÕ*Ø˜KÐ(Ø˜�LØØô
ˆŒô Ÿ9š9ØÕ)ØÕ*ØØØØô
ˆÔô Ÿ	š	ØÕ)ØÕ*Ø$ aÐ(Ø˜a�LØØô
ˆŒô Ÿ9š9ØÕ)ØÕ*ØØØØô
ˆÔñ ˜!°!Ô4ˆŒ
Ü—z’z“|ˆŒÜ—G’G DÔ)ˆŽ	r   c                ód  € V P                  V4      pV P                  V4      pV P                  V4      V P                  V4      ,           pV P	                  V4      V P                  V4      ,           pV P                  V4      pV P                  W4,           4      pV P                  V4      pW,          # r`   )	rh   r!   rX   rY   rZ   r[   r"   r%   r(   ra   s   &&     r   rA   ÚLK_ESA_LN.forward¯   s‹   € Ø�i‰i˜‹lˆØ�j‰j˜‹oˆà�m‰m˜CÓ  4×#3Ñ#3°CÓ#8Õ8ˆØ�m‰m˜CÓ  4×#3Ñ#3°CÓ#8Õ8ˆà�[‰[˜ÓˆØ�Z‰Z˜�Ó!ˆØ�L‰L˜ÓˆØ�uˆr   )
r!   r%   r"   rZ   r[   rh   r*   r(   rX   rY   rd   rL   s   @@r   rf   rf   z   s    ù‡ € à*,¯)©)À1È4÷2*÷h
ò 
r   rf   c                   ó\   a a€ ] tR t^¼t o]P
                  ^R3V 3R lltR tR tRt	Vt
V ;t# )ÚAdaGuidedFilterTc           
     ó¬   <€ \         SV `  4        \        P                  ! ^4      V n        \        P
                  ! V^^^ ^^RR7      V n        ^V n        R# )r   T©rS   rT   r   r   r   rU   rV   N)r   r    r&   ÚAdaptiveAvgPool2dÚgaprH   ÚfcÚr)r+   r,   r-   r.   r]   rV   r0   s   &&&&&&€r   r    ÚAdaGuidedFilter.__init__½   sP   ø€ ô 	‰ÑÔä×'Ò'¨Ó*ˆŒÜ—)’)ØØØØØØØô
ˆŒð ˆŽr   c                ó  € VP                   ^,          p^V,          ^,           pRV^,          ,          pV\        P                  ! V^WD3\        P                  VP                  R7      ,          p\
        P                  ! W^W#R7      pV# )r   g      ð?©ÚdtypeÚdevice)Úweightr   r   rU   )Úshaper
   ÚonesÚfloat32rx   r7   Úconv2d)r+   r   rs   Úchannelr   ry   Ú
box_kernelÚoutputs   &&&     r   Ú
box_filterÚAdaGuidedFilter.box_filterÏ   sq   € Ø—'‘'˜!•*ˆØ˜!•e˜a•iˆØ˜ Q�Õ'ˆØœeŸjšjØ�a˜Ð2¼%¿-¹-ÐPQ×PXÑPXô
õ 
ˆ
ô —’˜!°qÀ!ÔTˆØˆr   c                óÖ  € VP                   w   r#pV P                  \        P                  ! ^^W43VP                  VP
                  R7      V P                  4      pRpV P                  WP                  4      V,          pV P                  W,          V P                  4      V,          Ww,          ,
          pWˆV,           ,          p	^V	,
          V,          p
W‘,          V
,           pW,          # )r   rv   g{®Gáz„?)rz   r�   r
   r{   rw   rx   rs   )r+   r   Ú_ÚHÚWÚNÚepsilonÚmean_xÚvar_xÚAÚbr@   s   &&          r   rA   ÚAdaGuidedFilter.forwardÙ   s±   € Ø—W‘W‰
ˆˆ1�Ø�O‰OÜ�JŠJ˜˜1˜a�|¨1¯7©7¸1¿8¹8ÔDÀdÇfÁfó
ˆð ˆà—‘ §F¡FÓ+¨aÕ/ˆØ—‘ ¥ t§v¡vÓ.°Õ2°Vµ_ÕDˆà˜W•_Õ%ˆØ��U�fÕˆØ�E�A�Iˆð
 �uˆr   )rr   rq   rs   )rC   rD   rE   rF   r&   rH   r    r�   rA   rI   rJ   rK   rL   s   @@r   rm   rm   ¼   s$   ù‡ € à*,¯)©)À1È4÷ò$÷ò r   rm   c                   óV   a a€ ] tR t^ðt o]P
                  ^R3V 3R lltR tRtVt	V ;t
# )ÚAdaConvGuidedFilterTc           
     ón  <€ \         S	V `  4        TpV! Wf^R7      V n        ^pTpV^,          p\        P                  ! VV^V3^ V3VVR7      V n        \        P                  ! VVV^3V^ 3VVR7      V n        \        P                  ! ^4      V n        \        P                  ! VV^^ ^^RR7      V n	        R# )r   r   rR   Tro   N)
r   r    r"   r&   rH   rX   rZ   rp   rq   rr   r\   s
   &&&&&&   €r   r    ÚAdaConvGuidedFilter.__init__ñ   sÈ   ø€ ô 	‰ÑÔØˆá˜1¨QÔ/ˆŒàˆØ%ˆØ Õ"ˆäŸ	š	ØØØ˜KÐ(Ø˜�LØØô
ˆŒô Ÿ	š	ØØØ$ aÐ(Ø˜a�LØØô
ˆŒô ×'Ò'¨Ó*ˆŒÜ—)’)ØØØØØØØô
ˆŽr   c                ó  € V P                  V4      pV P                  V4      p\        P                  ! V^4      pV P	                  V P                  V4      4      pW3V,           ,          pWQ,          ^V,
          ,           pW,          # )é   )rX   rZ   r
   r   rr   rq   )r+   r   ÚyÚsigmarˆ   ry   r@   s   &&     r   rA   ÚAdaConvGuidedFilter.forward  sf   € Ø�M‰M˜!ÓˆØ�M‰M˜!Óˆä—	’	˜!˜Q“ˆØ—'‘'˜$Ÿ(™( 1›+Ó&ˆà '�/Õ*ˆà�J˜!˜f�*Õ%ˆà�uˆr   )r"   rr   rq   rZ   rX   rd   rL   s   @@r   r�   r�   ð   s    ù‡ € à*,¯)©)À1È4÷'
÷Rò r   r�   ))r“   rW   r“   )r
   Útorch.nnr&   Útorch.nn.functionalÚ
functionalr7   Ú	layernormr   r   ÚModuler   rO   rf   rm   r�   © r   r   Ú<module>r�      so   ðó Ý ß Ð å "ôôˆ"�)‰)ô ôB<ˆR�Y‰Yô <ô~?�—	‘	ô ?ôD1�b—i‘iô 1ôh5˜"Ÿ)™)ö 5r   