+
    ùäûj  ã                   óÚ   € ^ RI t ^ RIHt ^ RIHt ^RIHt  ! R R]P                  4      t ! R R]P                  4      t	 ! R R	]P                  4      t
 ! R
 R]P                  4      tR# )é    N)Ú	rearrange)Ú	LayerNormc                   ó8   a a€ ] tR t^	t oV 3R ltR tRtVtV ;t# )ÚCABc           
     ó  <€ \         SV `  4        W n        \        P                  ! \
        P                  ! V^^4      4      V n        \        P                  ! W^VR7      V n	        \        P                  ! W^^^WR7      V n
        \        P                  ! W^,          ^VR7      V n        \        P                  ! V^,          V^,          ^^^V^,          VR7      V n        \        P                  ! W^VR7      V n        R# )é   ©Úkernel_sizeÚbias©r
   ÚstrideÚpaddingÚgroupsr   N)ÚsuperÚ__init__Ú	num_headsÚnnÚ	ParameterÚtorchÚonesÚtemperatureÚConv2dÚqÚq_dwconvÚkvÚ	kv_dwconvÚproject_out©ÚselfÚdimr   r   Ú	__class__s   &&&&€ÚgC:\Ai_Coding\apps\studio\ComfyUI\.venv\Lib\site-packages\spandrel\architectures\HVICIDNet\__arch\LCA.pyr   ÚCAB.__init__
   sÂ   ø€ Ü‰ÑÔØ"ŒÜŸ<š<¬¯
ª
°9¸aÀÓ(CÓDˆÔä—’˜3°¸Ô>ˆŒÜŸ	š	Ø !¨A°qÀô
ˆŒô —)’)˜C q¥°a¸dÔCˆŒÜŸšØ�!�GØ�!�GØØØØ˜•7Øô
ˆŒô Ÿ9š9 S¸1À4ÔHˆÖó    c                óæ  € VP                   w   r4pV P                  V P                  V4      4      pV P                  V P	                  V4      4      pVP                  ^^R7      w  r‰\        VRV P                  R7      p\        VRV P                  R7      p\        V	RV P                  R7      p	\        P                  P                  P                  VRR7      p\        P                  P                  P                  VRR7      pWhP                  RR4      ,          V P                  ,          p
V
P                  RR7      p
W©,          p\        VRV P                  WER7      pV P                  V4      pV# )é   ©r    z b (head c) h w -> b head c (h w))Úheadz b head c (h w) -> b (head c) h w)r(   ÚhÚwéÿÿÿÿéþÿÿÿ)Úshaper   r   r   r   Úchunkr   r   r   r   Ú
functionalÚ	normalizeÚ	transposer   Úsoftmaxr   )r   ÚxÚyÚ_r)   r*   r   r   ÚkÚvÚattnÚouts   &&&         r"   ÚforwardÚCAB.forward   s,  € Ø—W‘W‰
ˆˆ1�à�M‰M˜$Ÿ&™& ›)Ó$ˆØ�^‰^˜DŸG™G A›JÓ'ˆØ�x‰x˜˜qˆxÓ!‰ˆä�aÐ;À$Ç.Á.ÔQˆÜ�aÐ;À$Ç.Á.ÔQˆÜ�aÐ;À$Ç.Á.ÔQˆä�H‰H×Ñ×)Ñ)¨!°Ð)Ó4ˆÜ�H‰H×Ñ×)Ñ)¨!°Ð)Ó4ˆà—K‘K  BÓ'Õ'¨4×+;Ñ+;Õ;ˆØ�|‰| ˆ|Ó#ˆà�hˆäØÐ3¸$¿.¹.ÈAô
ˆð ×Ñ˜sÓ#ˆØˆ
r$   )r   r   r   r   r   r   r   ©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r:   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r!   Ú__classdict__s   @@r"   r   r   	   s   ù‡ € õI÷*ò r$   r   c                   ó<   a a€ ] tR t^;t oRV 3R lltR tRtVtV ;t# )ÚIELc           
     óö  <€ \         SV `  4        \        W,          4      p\        P                  ! W^,          ^VR7      V n        \        P                  ! V^,          V^,          ^^^V^,          VR7      V n        \        P                  ! VV^^^VVR7      V n        \        P                  ! VV^^^VVR7      V n        \        P                  ! WA^VR7      V n	        \        P                  ! 4       V n
        R# )r&   r	   r   N)r   r   Úintr   r   Ú
project_inÚdwconvÚdwconv1Údwconv2r   ÚTanh)r   r    Úffn_expansion_factorr   Úhidden_featuresr!   s   &&&& €r"   r   ÚIEL.__init__<   sÛ   ø€ Ü‰ÑÔä˜cÕ8Ó9ˆäŸ)š) C¸1Õ)<È!ÐRVÔWˆŒä—i’iØ˜aÕØ˜aÕØØØØ" QÕ&Øô
ˆŒô —y’yØØØØØØ"Øô
ˆŒô —y’yØØØØØØ"Øô
ˆŒô Ÿ9š9 _ÀqÈtÔTˆÔä—G’G“IˆŽ	r$   c                ó>  € V P                  V4      pV P                  V4      P                  ^^R7      w  r#V P                  V P	                  V4      4      V,           pV P                  V P                  V4      4      V,           pW#,          pV P                  V4      pV# )r&   r'   )rJ   rK   r.   rN   rL   rM   r   )r   r3   Úx1Úx2s   &&  r"   r:   ÚIEL.forwardc   sƒ   € Ø�O‰O˜AÓˆØ—‘˜Q“×%Ñ% a¨QÐ%Ó/‰ˆØ�Y‰Y�t—|‘| BÓ'Ó(¨2Õ-ˆØ�Y‰Y�t—|‘| BÓ'Ó(¨2Õ-ˆØ�GˆØ×Ñ˜QÓˆØˆr$   )rN   rK   rL   rM   rJ   r   )gHáz®G@Fr<   rD   s   @@r"   rG   rG   ;   s   ù‡ € ÷%÷Nò r$   rG   c                   ó<   a a€ ] tR t^nt oRV 3R lltR tRtVtV ;t# )ÚHV_LCAc                ó†   <€ \         SV `  4        \        V4      V n        \	        V4      V n        \        WV4      V n        R # ©N)r   r   rG   Úgdfnr   Únormr   Úffnr   s   &&&&€r"   r   ÚHV_LCA.__init__o   s2   ø€ Ü‰ÑÔÜ˜“HˆŒ	Ü˜c“NˆŒ	Ü�s tÓ,ˆŽr$   c                ó²   € WP                  V P                  V4      V P                  V4      4      ,           pV P                  V P                  V4      4      pV# rY   ©r\   r[   rZ   ©r   r3   r4   s   &&&r"   r:   ÚHV_LCA.forwardu   s@   € Ø—‘˜Ÿ™ 1› t§y¡y°£|Ó4Õ4ˆØ�I‰I�d—i‘i “lÓ#ˆØˆr$   ©r\   rZ   r[   ©Fr<   rD   s   @@r"   rW   rW   n   s   ù‡ € ÷-÷ò r$   rW   c                   ó<   a a€ ] tR t^{t oRV 3R lltR tRtVtV ;t# )ÚI_LCAc                óˆ   <€ \         SV `  4        \        V4      V n        \	        V4      V n        \        WVR 7      V n        R# ))r   N)r   r   r   r[   rG   rZ   r   r\   r   s   &&&&€r"   r   ÚI_LCA.__init__|   s2   ø€ Ü‰ÑÔÜ˜c“NˆŒ	Ü˜“HˆŒ	Ü�s¨DÔ1ˆŽr$   c                ó¾   € WP                  V P                  V4      V P                  V4      4      ,           pWP                  V P                  V4      4      ,           pV# rY   r_   r`   s   &&&r"   r:   ÚI_LCA.forward‚   sC   € Ø—‘˜Ÿ™ 1› t§y¡y°£|Ó4Õ4ˆØ—	‘	˜$Ÿ)™) A›,Ó'Õ'ˆØˆr$   rb   rc   r<   rD   s   @@r"   re   re   {   s   ù‡ € ÷2÷ò r$   re   )r   Útorch.nnr   Úeinopsr   Útransformer_utilsr   ÚModuler   rG   rW   re   © r$   r"   Ú<module>ro      sS   ðÛ Ý Ý å (ô.ˆ"�)‰)ô .ôd/ˆ"�)‰)ô /ôf
ˆR�Y‰Yô 
ô
ˆB�I‰Iö 
r$   