+
    ýäûjž  ã                   óœ  € ^ RI t ^ RIHt ^ RIHu Ht ^ RIHt  ! R R]P                  4      t	 ! R R]P                  4      t
 ! R R]P                  4      t ! R	 R
]P                  4      t ! R R]P                  4      t ! R R]P                  4      t ! R R]P                  4      t]! 4        ! R R]P                  4      4       tR# )é    N)Ústore_hyperparametersc                   ó<   a a€ ] tR t^	t oRV 3R lltR tRtVtV ;t# )Ú	LayerNormc                ó6  <€ \         SV `  4        \        P                  ! \        P
                  ! V4      4      V n        \        P                  ! \        P                  ! V4      4      V n        W n	        W0n
        V P                  R9  d   \        hV3V n        R# )Úchannels_lastN)r   Úchannels_first)ÚsuperÚ__init__ÚnnÚ	ParameterÚtorchÚonesÚweightÚzerosÚbiasÚepsÚdata_formatÚNotImplementedErrorÚnormalized_shape)Úselfr   r   r   Ú	__class__s   &&&&€ÚeC:\Ai_Coding\apps\studio\ComfyUI\.venv\Lib\site-packages\spandrel\architectures\SAFMN\__arch\safmn.pyr
   ÚLayerNorm.__init__
   sm   ø€ Ü‰ÑÔÜ—l’l¤5§:¢:Ð.>Ó#?Ó@ˆŒÜ—L’L¤§¢Ð-=Ó!>Ó?ˆŒ	ØŒØ&ÔØ×ÑÐ#FÔFÜ%Ð%Ø!1Ð 3ˆÖó    c                ó  € V P                   R 8X  dB   \        P                  ! WP                  V P                  V P
                  V P                  4      # V P                   R8X  d£   VP                  ^RR7      pW,
          P                  ^4      P                  ^RR7      pW,
          \        P                  ! W0P                  ,           4      ,          pV P                  R,          V,          V P
                  R,          ,           pV# R# )r   r   T)ÚkeepdimN):NNNNN)r   ÚFÚ
layer_normr   r   r   r   ÚmeanÚpowr   Úsqrt)r   ÚxÚuÚss   &&  r   ÚforwardÚLayerNorm.forward   sÄ   € Ø×Ñ˜Ô.Ü—<’<Ø×(Ñ(¨$¯+©+°t·y±yÀ$Ç(Á(óð ð ×ÑÐ!1Ô1Ø—‘�q $�Ó'ˆAØ•—‘˜A“×#Ñ# A¨tÐ#Ó4ˆAØ•œ%Ÿ*š* Q¯©¥\Ó2Õ2ˆAØ—‘˜MÕ*¨QÕ.°·±¸=Õ1IÕIˆAØˆHñ 2r   )r   r   r   r   r   )g�íµ ÷Æ°>r   ©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r
   r%   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r   r   	   s   ù‡ € ÷4÷
ò 
r   r   c                   ó<   a a€ ] tR t^"t oRV 3R lltR tRtVtV ;t# )ÚSqueezeExcitationc                óT  <€ \         SV `  4        \        W,          4      p\        P                  ! \        P
                  ! ^4      \        P                  ! W^^^ 4      \        P                  ! 4       \        P                  ! W1^^^ 4      \        P                  ! 4       4      V n	        R# ©é   N)
r	   r
   Úintr   Ú
SequentialÚAdaptiveAvgPool2dÚConv2dÚGELUÚSigmoidÚgate)r   ÚdimÚshrinkage_rateÚ
hidden_dimr   s   &&& €r   r
   ÚSqueezeExcitation.__init__#   so   ø€ Ü‰ÑÔÜ˜Õ-Ó.ˆ
ä—M’MÜ× Ò  Ó#Ü�IŠI�c q¨!¨QÓ/Ü�GŠG‹IÜ�IŠI�j q¨!¨QÓ/Ü�JŠJ‹Ló
ˆŽ	r   c                ó0   € WP                  V4      ,          # ©N©r<   ©r   r"   s   &&r   r%   ÚSqueezeExcitation.forward/   s   € Ø—9‘9˜Q“<ÕÐr   rC   )g      Ð?r'   r/   s   @@r   r2   r2   "   s   ù‡ € ÷

÷ ò  r   r2   c                   ó<   a a€ ] tR t^4t oRV 3R lltR tRtVtV ;t# )Ú
ChannelMLPc                ó  <€ \         SV `  4        \        W,          4      p\        P                  ! \        P
                  ! W^^^ 4      \        P                  ! 4       \        P
                  ! W1^^^ 4      4      V n        R# r4   )r	   r
   r6   r   r7   r9   r:   Úmlp©r   r=   Úgrowth_rater?   r   s   &&& €r   r
   ÚChannelMLP.__init__5   óX   ø€ Ü‰ÑÔÜ˜Õ*Ó+ˆ
ä—=’=Ü�IŠI�c q¨!¨QÓ/Ü�GŠG‹IÜ�IŠI�j q¨!¨QÓ/ó
ˆŽr   c                ó$   € V P                  V4      # rB   ©rI   rD   s   &&r   r%   ÚChannelMLP.forward?   ó   € Ø�x‰x˜‹{Ðr   rO   ©ç       @r'   r/   s   @@r   rG   rG   4   ó   ù‡ € ÷
÷ò r   rG   c                   ó<   a a€ ] tR t^Dt oRV 3R lltR tRtVtV ;t# )ÚMBConvc                ór  <€ \         SV `  4        \        W,          4      p\        P                  ! \        P
                  ! W^^^ 4      \        P                  ! 4       \        P
                  ! W3^^^VR7      \        P                  ! 4       \        V4      \        P
                  ! W1^^^ 4      4      V n        R# )r5   ©ÚgroupsN)	r	   r
   r6   r   r7   r9   r:   r2   ÚmbconvrJ   s   &&& €r   r
   ÚMBConv.__init__E   s}   ø€ Ü‰ÑÔÜ˜Õ*Ó+ˆ
ä—m’mÜ�IŠI�c q¨!¨QÓ/Ü�GŠG‹IÜ�IŠI�j¨a°°A¸jÔIÜ�GŠG‹IÜ˜jÓ)Ü�IŠI�j q¨!¨QÓ/ó
ˆŽr   c                ó$   € V P                  V4      # rB   ©rZ   rD   s   &&r   r%   ÚMBConv.forwardR   s   € Ø�{‰{˜1‹~Ðr   r]   rR   r'   r/   s   @@r   rV   rV   D   s   ù‡ € ÷
÷ò r   rV   c                   ó<   a a€ ] tR t^Wt oRV 3R lltR tRtVtV ;t# )ÚCCMc                ó  <€ \         SV `  4        \        W,          4      p\        P                  ! \        P
                  ! W^^^4      \        P                  ! 4       \        P
                  ! W1^^^ 4      4      V n        R# ©é   N)r	   r
   r6   r   r7   r9   r:   ÚccmrJ   s   &&& €r   r
   ÚCCM.__init__X   rM   r   c                ó$   € V P                  V4      # rB   ©rd   rD   s   &&r   r%   ÚCCM.forwardb   rQ   r   rg   rR   r'   r/   s   @@r   r`   r`   W   rT   r   r`   c                   ó<   a a€ ] tR t^gt oRV 3R lltR tRtVtV ;t# )ÚSAFMc                óh  <€ \         SV `  4        W n        W,          p\        P                  ! \        V P                  4       Uu. uF  p\        P                  ! W3^^^VR7      NK   	  up4      V n        \        P                  ! W^^^ 4      V n        \        P                  ! 4       V n
        R# u upi )rc   rX   N)r	   r
   Ún_levelsr   Ú
ModuleListÚranger9   ÚmfrÚaggrr:   Úact)r   r=   rl   Ú	chunk_dimÚ_r   s   &&&  €r   r
   ÚSAFM.__init__h   s�   ø€ Ü‰ÑÔØ ŒØ•Oˆ	ô —=’=ô ˜tŸ}™}Ô-óá-�Aô —	’	˜)°°1°aÀ	×JÙ-ñó
ˆŒô —I’I˜c¨¨1¨aÓ0ˆŒ	ô —7’7“9ˆŽùòs   Á$B/c                ót  € VP                  4       RR w  r#VP                  V P                  ^R7      p. p\        V P                  4       F«  pV^ 8”  dr   V^V,          ,          V^V,          ,          3p\        P
                  ! WF,          V4      pV P                  V,          ! V4      p\        P                  ! W‚V3RR7      pMV P                  V,          ! WF,          4      pVP                  V4       K­  	  V P                  \        P                  ! V^R7      4      pV P                  V4      V,          pV# )é   N)r=   Únearest)ÚsizeÚmodeéþÿÿÿ)rx   Úchunkrl   rn   r   Úadaptive_max_pool2dro   ÚinterpolateÚappendrp   r   Úcatrq   )	r   r"   ÚhÚwÚxcÚoutÚiÚp_sizer$   s	   &&       r   r%   ÚSAFM.forward{   sî   € Ø�v‰v‹x˜˜ˆ}‰ˆà�W‰W�T—]‘]¨ˆWÓ*ˆØˆÜ�t—}‘}Ö%ˆAØ�1ŒuØ˜q !�t�) Q¨!¨Q­$¥YÐ/�Ü×)Ò)¨"­%°Ó8�Ø—H‘H˜Q–K “N�Ü—M’M !¨a¨&°yÔA‘à—H‘H˜Q–K ¥Ó&�Ø�J‰J�qŽMñ &ð �i‰iœŸ	š	 #¨1Ô-Ó.ˆØ�h‰h�s‹m˜aÕˆØˆ
r   )rq   rp   ro   rl   )é   r'   r/   s   @@r   rj   rj   g   s   ù‡ € ÷÷&ò r   rj   c                   ó<   a a€ ] tR t^�t oRV 3R lltR tRtVtV ;t# )ÚAttBlockc                ó¤   <€ \         SV `  4        \        V4      V n        \        V4      V n        \        V4      V n        \        W4      V n        R # rB   )	r	   r
   r   Únorm1Únorm2rj   Úsafmr`   rd   )r   r=   Ú	ffn_scaler   s   &&&€r   r
   ÚAttBlock.__init__�   s=   ø€ Ü‰ÑÔä˜s“^ˆŒ
Ü˜s“^ˆŒ
ô ˜“IˆŒ	ä�sÓ&ˆŽr   c                ó¢   € V P                  V P                  V4      4      V,           pV P                  V P                  V4      4      V,           pV# rB   )r�   r‹   rd   rŒ   rD   s   &&r   r%   ÚAttBlock.forward›   s=   € Ø�I‰I�d—j‘j “mÓ$ qÕ(ˆØ�H‰H�T—Z‘Z “]Ó# aÕ'ˆØˆr   )rd   r‹   rŒ   r�   rR   r'   r/   s   @@r   r‰   r‰   �   s   ù‡ € ÷	'÷ò r   r‰   c                   óX   a a€ ] tR t^¡t o/ tR^RRR^/V3R lV 3R llltR tRtVtV ;t	# )	ÚSAFMNÚn_blocksrŽ   rS   Úupscaling_factorc                ó    <€ V ^8„  d   QhRS[ /# )rv   r=   )r6   )Úformatr0   s   "€r   Ú__annotate__ÚSAFMN.__annotate__¥   s   ø€ ÷ 	
ñ 	
™sñ 	
r   c          	     óŽ  <€ \         SV `  4        \        P                  ! ^V^^^4      V n        \        P
                  ! \        V4       Uu. uF  p\        W4      NK  	  up!  V n        \        P
                  ! \        P                  ! V^V^,          ,          ^^^4      \        P                  ! V4      4      V n
        R# u upi rb   )r	   r
   r   r9   Úto_featr7   rn   r‰   ÚfeatsÚPixelShuffleÚto_img)r   r=   r”   rŽ   r•   rs   r   s   &$$$$ €r   r
   ÚSAFMN.__init__¥   s�   ø€ Ü‰ÑÔÜ—y’y  C¨¨A¨qÓ1ˆŒä—]’]ÄuÈXÄÓ$WÁÀ!¤X¨cÖ%=ÁÑ$WÑXˆŒ
ä—m’mÜ�IŠI�c˜1Ð/°Õ2Õ2°A°q¸!Ó<Ü�OŠOÐ,Ó-ó
ˆŽùò %Xs   ÁCc                óz   € V P                  V4      pV P                  V4      V,           pV P                  V4      pV# rB   )r›   rœ   rž   rD   s   &&r   r%   ÚSAFMN.forward°   s3   € Ø�L‰L˜‹OˆØ�J‰J�q‹M˜AÕˆØ�K‰K˜‹NˆØˆr   )rœ   r›   rž   )
r(   r)   r*   r+   Úhyperparametersr
   r%   r,   r-   r.   r/   s   @@r   r“   r“   ¡   s4   ù‡ € à€Oð	
¨Qð 	
¸#ð 	
ÐPQ÷ 	
õ 	
÷ò r   r“   )r   Útorch.nnr   Útorch.nn.functionalÚ
functionalr   Úspandrel.utilr   ÚModuler   r2   rG   rV   r`   rj   r‰   r“   © r   r   Ú<module>r©      s§   ðÛ Ý ß Ð å /ô�—	‘	ô ô2 ˜Ÿ	™	ô  ô$�—‘ô ô ˆR�Y‰Yô ô&ˆ"�)‰)ô ô %ˆ2�9‰9ô %ôPˆr�y‰yô ñ$ ÓôˆB�I‰Ió ó òr   