+
    ýäûjå5  ã                   ó  € ^ RI t^ RIt^ RIHt ^ RIHt ^ RIHt ^ RI	H
t
 ^ RIHtHt ^RIHt  ! R R]P                   4      t ! R	 R
]P                   4      t ! R R]P                   4      t]
! 4        ! R R]P                   4      4       tR# )é    N)Ú	rearrange)Ú	Rearrange)Ústore_hyperparameters)ÚDropPathÚtrunc_normal_©Úpad_to_multiplec                   óH   a a€ ] tR t^t oRtV 3R ltR tR tR tRt	Vt
V ;t# )ÚWMSAz)Self-attention module in Swin Transformerc                óD  <€ \         SV `  4        Wn        W n        W0n        V P                  R,          V n        W,          V n        W@n        WPn        \        P                  ! V P                  ^V P                  ,          RR7      V n        \        P                  ! \        P                  ! ^V,          ^,
          ^V,          ^,
          ,          V P                  4      4      V n        \        P                  ! \        P                  ! ^V,          ^,
          ^V,          ^,
          ,          V P                  4      4      V n        \        P                  ! V P                  V P                  4      V n        \#        V P                  RR7       \        P                  P                  V P                  P%                  ^V,          ^,
          ^V,          ^,
          V P                  4      P'                  ^^4      P'                  ^ ^4      P)                  4       4      V n        R# )g      à?T©Úbiasç{®Gáz”?©ÚstdNg      à¿)ÚsuperÚ__init__Ú	input_dimÚ
output_dimÚhead_dimÚscaleÚn_headsÚwindow_sizeÚtypeÚnnÚLinearÚembedding_layerÚ	ParameterÚtorchÚzerosÚrelative_position_paramsÚlinearr   ÚviewÚ	transposeÚ
contiguous)Úselfr   r   r   r   r   Ú	__class__s   &&&&&&€ÚgC:\Ai_Coding\apps\studio\ComfyUI\.venv\Lib\site-packages\spandrel\architectures\SCUNet\__arch\SCUNet.pyr   ÚWMSA.__init__   sn  ø€ Ü‰ÑÔØ"ŒØ$ŒØ ŒØ—]‘] DÕ(ˆŒ
Ø Õ,ˆŒØ&ÔØŒ	Ü!Ÿyšy¨¯©¸¸T¿^¹^Õ9KÐRVÔWˆÔä(*¯ªÜ�KŠK˜˜[�¨1Õ,°°[µÀ1Õ1DÕEÀtÇ|Á|ÓTó)
ˆÔ%ô
 )+¯ªÜ�KŠK˜˜[�¨1Õ,°°[µÀ1Õ1DÕEÀtÇ|Á|ÓTó)
ˆÔ%ô —i’i §¡°·±Ó@ˆŒä�d×3Ñ3¸Õ>Ü(-¯©×(:Ñ(:Ø×)Ñ)×.Ñ.Ø�K• !Õ# Q¨¥_°qÕ%8¸$¿,¹,ó÷ ‰Y�q˜!‹_ß‰Y�q˜!‹_ß‰Z‹\ó)
ˆÖ%ó    c                óL  € \         P                  ! VVVVVV\         P                  V P                  P                  R7      pV P
                  R8X  d   V# W4,
          pRVRRRV1RVR1R3&   RVRRVR1RRV1R3&   RVRRRRV1RVR13&   RVRRRVR1RRV13&   \        VR4      pV# )zgenerating the mask of SW-MSA
Args:
    shift: shift parameters in CyclicShift.
Returns:
    attn_mask: should be (1 1 w p p),
)ÚdtypeÚdeviceÚWTºNNNNz0w1 w2 p1 p2 p3 p4 -> 1 1 (w1 w2) (p1 p2) (p3 p4)éÿÿÿÿ)r   r    Úboolr!   r-   r   r   )r&   ÚhÚwÚpÚshiftÚ	attn_maskÚss   &&&&&  r(   Úgenerate_maskÚWMSA.generate_mask7   sá   € ô —K’KØØØØØØÜ—*‘*Ø×0Ñ0×7Ñ7ô	
ˆ	ð �9‰9˜ÔØÐà�IˆØ)-ˆ	�"�a˜˜!˜˜Q ¡ AÐ%Ñ&Ø)-ˆ	�"�a˜™˜Q    AÐ%Ñ&Ø)-ˆ	�!�R˜˜B˜Q˜B  1¡2Ð%Ñ&Ø)-ˆ	�!�R˜˜A™B  2 A 2Ð%Ñ&ÜØÐIó
ˆ	ð Ðr*   c                ó°  € V P                   R8w  d@   \        P                  ! VV P                  ^,          ) V P                  ^,          ) 3RR7      p\	        VRV P                  V P                  R7      pVP                  ^4      pVP                  ^4      p\	        VRV P                  V P                  R7      pV P                  V4      p\	        VRV P                  R7      P                  ^^ R7      w  rVp\        P                  ! R	WV4      V P                  ,          pV\	        V P                  4       R
4      ,           pV P                   R8w  dK   V P                  W#V P                  V P                  ^,          R7      p	VP                  V	\        R4      4      p\        P                   P#                  VRR7      p
\        P                  ! RW§4      p\	        VR4      pV P%                  V4      p\	        VRVV P                  R7      pV P                   R8w  d>   \        P                  ! VV P                  ^,          V P                  ^,          3RR7      pV# )zÚForward pass of Window Multi-head Self-attention module.
Args:
    x: input tensor with shape of [b h w c];
    attn_mask: attention mask, fill -inf where the value is True;
Returns:
    output: tensor shape [b h w c]
r.   )ÚshiftsÚdimsz&b (w1 p1) (w2 p2) c -> b w1 w2 p1 p2 c)Úp1Úp2z&b w1 w2 p1 p2 c -> b (w1 w2) (p1 p2) cz&b nw np (threeh c) -> threeh b nw np c)Úc©Údimzhbwpc,hbwqc->hbwpqzh p q -> h 1 1 p q)r5   z-infzhbwij,hbwjc->hbwiczh b w p c -> b w p (h c)z*b (w1 w2) (p1 p2) c -> b (w1 p1) (w2 p2) c)Úw1r=   )é   é   r0   )r   r   Úrollr   r   Úsizer   r   ÚchunkÚeinsumr   Úrelative_embeddingr8   Úmasked_fill_Úfloatr   Ú
functionalÚsoftmaxr"   )r&   ÚxÚ	h_windowsÚ	w_windowsÚqkvÚqÚkÚvÚsimr6   ÚprobsÚoutputs   &&          r(   ÚforwardÚWMSA.forwardV   s  € ð �9‰9˜ÔÜ—
’
ØØ×*Ñ*¨aÕ/Ð0°D×4DÑ4DÈÕ4IÐ2JÐKØôˆAô ØØ4Ø×ÑØ×Ñô	
ˆð —F‘F˜1“Iˆ	Ø—F‘F˜1“Iˆ	ô ØØ4Ø×ÑØ×Ñô	
ˆð ×"Ñ" 1Ó%ˆÜØÐ9¸T¿]¹]ô
ç
‰%��qˆ%‹/ñ 	ˆˆaô �lŠlÐ/°Ó6¸¿¹ÕCˆà”I˜d×5Ñ5Ó7Ð9MÓNÕNˆà�9‰9˜ÔØ×*Ñ*Ø d×&6Ñ&6¸d×>NÑ>NÐRSÕ>Sð +ó ˆIð ×"Ñ" 9¬e°F«mÓ<ˆCä—‘×%Ñ% c¨rÐ%Ó2ˆÜ—’Ð2°EÓ=ˆÜ˜6Ð#=Ó>ˆØ—‘˜VÓ$ˆÜØØ8ØØ×Ñô	
ˆð �9‰9˜ÔÜ—Z’ZØØ×(Ñ(¨AÕ-¨t×/?Ñ/?À1Õ/DÐEØôˆFð ˆr*   c                óÄ  € \         P                  ! \        P                  ! \	        V P
                  4       UUu. uF"  p\	        V P
                  4       F  pW.NK  	  K$  	  upp4      4      pVR,          VR,          ,
          V P
                  ,           ^,
          pV P                  R VR,          P                  4       VR,          P                  4       3,          # u uppi )r/   )r/   Nr/   )Nr/   r/   )r/   r/   r   )r/   r/   rC   )r   ÚtensorÚnpÚarrayÚranger   r!   Úlong)r&   ÚiÚjÚcordÚrelations   &    r(   rI   ÚWMSA.relative_embedding˜   sÂ   € Ü�|Š|Ü�HŠHô # 4×#3Ñ#3Ô4ôá4˜Ü" 4×#3Ñ#3Ö4˜ð “Fá4ñ Ù4òóó
ˆð ˜
Õ# d¨:Õ&6Õ6¸×9IÑ9IÕIÈAÕMˆà×,Ñ,Øˆx˜Õ ×%Ñ%Ó'¨°'Õ):×)?Ñ)?Ó)AÐAõ
ð 	
ùós   ¹(C)
r   r   r   r"   r   r   r!   r   r   r   )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__Ú__doc__r   r8   rX   rI   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r'   Ú__classdict__s   @@r(   r   r      s$   ù‡ € Ù3õ
ò@ò>@÷D
ò 
r*   r   c                   ó<   a a€ ] tR t^©t oRV 3R lltR tRtVtV ;t# )ÚBlockc                ó@  <€ \         SV `  4        Wn        W n        VR9   g   Q hW`n        Wt8:  d   RV n        \
        P                  ! V4      V n        \        WW4V P                  4      V n	        VR8”  d   \        V4      M\
        P                  ! 4       V n        \
        P                  ! V4      V n        \
        P                  ! \
        P                  ! V^V,          4      \
        P                   ! 4       \
        P                  ! ^V,          V4      4      V n        R# )zSwinTransformer Blockr.   ç        N©r.   ÚSW)r   r   r   r   r   r   Ú	LayerNormÚln1r   Úmsar   ÚIdentityÚ	drop_pathÚln2Ú
Sequentialr   ÚGELUÚmlp)	r&   r   r   r   r   ry   r   Úinput_resolutionr'   s	   &&&&&&&&€r(   r   ÚBlock.__init__ª   sÅ   ø€ ô 	‰ÑÔØ"ŒØ$ŒØ�{Ô"Ð"Ð"ØŒ	ØÔ*ØˆDŒIä—<’< 	Ó*ˆŒÜ˜	¨hÀTÇYÁYÓOˆŒØ09¸C´œ )Ô,ÄRÇ[Â[Ã]ˆŒÜ—<’< 	Ó*ˆŒÜ—=’=Ü�IŠI�i  Y¥Ó/Ü�GŠG‹IÜ�IŠI�a˜)•m ZÓ0ó
ˆŽr*   c                óÚ   € WP                  V P                  V P                  V4      4      4      ,           pWP                  V P                  V P	                  V4      4      4      ,           pV# )N)ry   rw   rv   r}   rz   ©r&   rN   s   &&r(   rX   ÚBlock.forwardÇ   sK   € Ø—‘˜tŸx™x¨¯©°«Ó4Ó5Õ5ˆØ—‘˜tŸx™x¨¯©°«Ó4Ó5Õ5ˆØˆr*   )ry   r   rv   rz   r}   rw   r   r   ©r.   N©	re   rf   rg   rh   r   rX   rj   rk   rl   rm   s   @@r(   rp   rp   ©   s   ù‡ € ÷
÷:ò r*   rp   c                   ó<   a a€ ] tR t^Ít oRV 3R lltR tRtVtV ;t# )ÚConvTransBlockc                ó  <€ \         SV `  4        Wn        W n        W0n        W@n        WPn        W`n        Wpn        V P                  R9   g   Q hV P                  V P
                  8:  d   RV n        \        V P                  V P                  V P                  V P
                  V P                  V P                  V P                  4      V n
        \        P                  ! V P                  V P                  ,           V P                  V P                  ,           ^^^ RR7      V n        \        P                  ! V P                  V P                  ,           V P                  V P                  ,           ^^^ RR7      V n        \        P                  ! \        P                  ! V P                  V P                  ^^^RR7      \        P                   ! R4      \        P                  ! V P                  V P                  ^^^RR7      4      V n        R# )zSwinTransformer and Conv Blockr.   Tr   FNrs   )r   r   Úconv_dimÚ	trans_dimr   r   ry   r   r~   rp   Útrans_blockr   ÚConv2dÚconv1_1Úconv1_2r{   ÚReLUÚ
conv_block)	r&   rˆ   r‰   r   r   ry   r   r~   r'   s	   &&&&&&&&€r(   r   ÚConvTransBlock.__init__Î   sy  ø€ ô 	‰ÑÔØ ŒØ"ŒØ ŒØ&ÔØ"ŒØŒ	Ø 0Ôà�y‰y˜KÔ'Ð'Ð'Ø× Ñ  D×$4Ñ$4Ô4ØˆDŒIä Ø�N‰NØ�N‰NØ�M‰MØ×ÑØ�N‰NØ�I‰IØ×!Ñ!ó
ˆÔô —y’yØ�M‰M˜DŸN™NÕ*Ø�M‰M˜DŸN™NÕ*ØØØØô
ˆŒô —y’yØ�M‰M˜DŸN™NÕ*Ø�M‰M˜DŸN™NÕ*ØØØØô
ˆŒô Ÿ-š-Ü�IŠI�d—m‘m T§]¡]°A°q¸!À%ÔHÜ�GŠG�D‹MÜ�IŠI�d—m‘m T§]¡]°A°q¸!À%ÔHó
ˆŽr*   c                ó|  € \         P                  ! V P                  V4      V P                  V P                  3^R7      w  r#V P                  V4      V,           p\        R4      ! V4      pV P                  V4      p\        R4      ! V4      pV P                  \         P                  ! W#3^R7      4      pW,           pV# )rC   r@   zb c h w -> b h w czb h w c -> b c h w)
r   ÚsplitrŒ   rˆ   r‰   r�   r   rŠ   r�   Úcat)r&   rN   Úconv_xÚtrans_xÚress   &&   r(   rX   ÚConvTransBlock.forward  s›   € ÜŸ+š+Ø�L‰L˜‹O˜dŸm™m¨T¯^©^Ð<À!ô
‰ˆð —‘ Ó(¨6Õ1ˆÜÐ0Ô1°'Ó:ˆØ×"Ñ" 7Ó+ˆÜÐ0Ô1°'Ó:ˆØ�l‰lœ5Ÿ9š9 fÐ%6¸AÔ>Ó?ˆØ�Gˆàˆr*   )rŒ   r�   r�   rˆ   ry   r   r~   rŠ   r‰   r   r   rƒ   r„   rm   s   @@r(   r†   r†   Í   s   ù‡ € ÷6
÷pò r*   r†   c            
       ód   a a€ ] tR tRt o/ tR^R. ROR^@RRRR/V 3R	 lltR
 tR tR tRt	Vt
V ;t# )ÚSCUNeti  Úin_ncÚconfigrA   Údrop_path_raterr   r~   é   c               óz  <€ \         S
V `  4        W n        W0n        ^ V n        ^V n        \        P                  ! ^ V\        V4      4       Uu. uF  qfP                  4       NK  	  pp\        P                  ! W^^^RR7      .V n        ^ p\        V^ ,          4       U	u. uFT  p	\        V^,          V^,          V P                  V P
                  WyV,           ,          V	^,          '       g   RMRV4      NKV  	  up	\        P                  ! V^V,          ^^^ RR7      .,           V n        W‚^ ,          ,          p\        V^,          4       U	u. uFM  p	\        TTV P                  V P
                  WyV,           ,          V	^,          '       g   RMRV^,          4      NKO  	  up	\        P                  ! ^V,          ^V,          ^^^ RR7      .,           V n        W‚^,          ,          p\        V^,          4       U	u. uF[  p	\        ^V,          ^V,          V P                  V P
                  WyV,           ,          V	^,          '       g   RMRV^,          4      NK]  	  up	\        P                  ! ^V,          ^V,          ^^^ RR7      .,           V n        W‚^,          ,          p\        V^,          4       U	u. uF[  p	\        ^V,          ^V,          V P                  V P
                  WyV,           ,          V	^,          '       g   RMRV^,          4      NK]  	  up	V n        W‚^,          ,          p\        P&                  ! ^V,          ^V,          ^^^ RR7      .\        V^,          4       U	u. uF[  p	\        ^V,          ^V,          V P                  V P
                  WyV,           ,          V	^,          '       g   RMRV^,          4      NK]  	  up	,           V n        W‚^,          ,          p\        P&                  ! ^V,          ^V,          ^^^ RR7      .\        V^,          4       U	u. uFM  p	\        TTV P                  V P
                  WyV,           ,          V	^,          '       g   RMRV^,          4      NKO  	  up	,           V n        W‚^,          ,          p\        P&                  ! ^V,          V^^^ RR7      .\        V^,          4       U	u. uFT  p	\        V^,          V^,          V P                  V P
                  WyV,           ,          V	^,          '       g   RMRV4      NKV  	  up	,           V n        \        P                  ! W1^^^RR7      .V n        \        P0                  ! V P                  !  V n        \        P0                  ! V P                  !  V n        \        P0                  ! V P                   !  V n        \        P0                  ! V P"                  !  V n        \        P0                  ! V P$                  !  V n        \        P0                  ! V P(                  !  V n        \        P0                  ! V P*                  !  V n        \        P0                  ! V P,                  !  V n        \        P0                  ! V P.                  !  V n        R# u upi u up	i u up	i u up	i u up	i u up	i u up	i u up	i )é    Fr   r.   rt   N)r   r   r›   rA   r   r   r   ÚlinspaceÚsumÚitemr   r‹   Úm_headr^   r†   Úm_down1Úm_down2Úm_down3Úm_bodyÚConvTranspose2dÚm_up3Úm_up2Úm_up1Úm_tailr{   )r&   rš   r›   rA   rœ   r~   rN   ÚdprÚbeginr`   r'   s   &$$$$$    €r(   r   ÚSCUNet.__init__  s¢  ø€ ô 	‰ÑÔØŒØŒØˆŒØˆÔô "'§¢°°>Ä3ÀvÃ;Ô!OÓPÑ!O˜A�v‰vŽxÑ!OˆÐPä—y’y ¨Q°°1¸5ÔAÐBˆŒàˆô ˜6 !�9Ô%ó
ñ &�ô Ø�q•Ø�q•Ø—‘Ø× Ñ Ø˜•I•Ø˜qŸ5œ5‘ dØ öñ &ñ
ô �YŠY�s˜A �G Q¨¨1°5Ô9Ð:õ;ˆŒð 	˜•Õˆô ˜6 !�9Ô%ó
ñ &�ô ØØØ—‘Ø× Ñ Ø˜•I•Ø˜qŸ5œ5‘ dØ  AÕ%öñ &ñ
ô �YŠY�q˜3•w  C¥¨¨A¨q°uÔ=Ð>õ?ˆŒð 	˜•Õˆô ˜6 !�9Ô%ó
ñ &�ô Ø�C•Ø�C•Ø—‘Ø× Ñ Ø˜•I•Ø˜qŸ5œ5‘ dØ  AÕ%öñ &ñ
ô �YŠY�q˜3•w  C¥¨¨A¨q°uÔ=Ð>õ?ˆŒð 	˜•Õˆô ˜6 !�9Ô%ó
ñ &�ô Ø�C•Ø�C•Ø—‘Ø× Ñ Ø˜•I•Ø˜qŸ5œ5‘ dØ  AÕ%öñ &ñ
ˆŒð 	˜•Õˆä×Ò˜q 3�w¨¨C­°°A°q¸uÔEð
ô ˜6 !�9Ô%ó
ñ &�ô Ø�C•Ø�C•Ø—‘Ø× Ñ Ø˜•I•Ø˜qŸ5œ5‘ dØ  AÕ%öñ &ñ
õ
ˆŒ
ð 	˜•Õˆä×Ò˜q 3�w¨¨C­°°A°q¸uÔEð
ô ˜6 !�9Ô%ó
ñ &�ô ØØØ—‘Ø× Ñ Ø˜•I•Ø˜qŸ5œ5‘ dØ  AÕ%öñ &ñ
õ
ˆŒ
ð 	˜•Õˆä×Ò˜q 3�w¨¨Q°°1¸5ÔAð
ô ˜6 !�9Ô%ó
ñ &�ô Ø�q•Ø�q•Ø—‘Ø× Ñ Ø˜•I•Ø˜qŸ5œ5‘ dØ öñ &ñ
õ
ˆŒ
ô —y’y ¨Q°°1¸5ÔAÐBˆŒä—m’m T§[¡[Ñ1ˆŒÜ—}’} d§l¡lÑ3ˆŒÜ—}’} d§l¡lÑ3ˆŒÜ—}’} d§l¡lÑ3ˆŒÜ—m’m T§[¡[Ñ1ˆŒÜ—]’] D§J¡JÑ/ˆŒ
Ü—]’] D§J¡JÑ/ˆŒ
Ü—]’] D§J¡JÑ/ˆŒ
Ü—m’m T§[¡[Ñ1ˆŽùòm Qùò

ùò
ùò
ùò
ùò 
ùò 
ùò 
s7   ÁZÂAZÅAZÇ:A!Z$Ê6A!Z)Í,A!Z.Ð(AZ3ÓAZ8c                ó   € \        V^@RR7      # )é@   Úreflect)Úmoder   r�   s   &&r(   Úcheck_image_sizeÚSCUNet.check_image_size¡  s   € Ü˜q "¨9Ô5Ð5r*   c                óÖ  € VP                  4       RR w  r#V P                  V4      pV P                  V4      pV P                  V4      pV P	                  V4      pV P                  V4      pV P                  V4      pV P                  W‡,           4      pV P                  W†,           4      pV P                  W…,           4      pV P                  W„,           4      pVRRRV1RV13,          pV# )rD   Nr/   éþÿÿÿ)rF   r´   r£   r¤   r¥   r¦   r§   r©   rª   r«   r¬   )	r&   Úx0r2   r3   Úx1Úx2Úx3Úx4rN   s	   &&       r(   rX   ÚSCUNet.forward¤  sÇ   € Ø�w‰w‹y˜˜ˆ~‰ˆØ×"Ñ" 2Ó&ˆà�[‰[˜‹_ˆØ�\‰\˜"ÓˆØ�\‰\˜"ÓˆØ�\‰\˜"ÓˆØ�K‰K˜‹OˆØ�J‰J�q•vÓˆØ�J‰J�q•vÓˆØ�J‰J�q•vÓˆØ�K‰K˜�Óˆàˆa��B�Q�B˜˜˜ˆl�OˆØˆr*   c                óØ  € \        V\        P                  4      '       dT   \        VP                  R R7       VP
                  e-   \        P                  P                  VP
                  ^ 4       R# R# \        V\        P                  4      '       dW   \        P                  P                  VP
                  ^ 4       \        P                  P                  VP                  R4       R# R# )r   r   Ng      ð?)	Ú
isinstancer   r   r   Úweightr   ÚinitÚ	constant_ru   )r&   Úms   &&r(   Ú_init_weightsÚSCUNet._init_weightsµ  sŽ   € Ü�aœŸ™×#Ò#Ü˜!Ÿ(™(¨Õ-Ø�v‰vÒ!Ü—‘×!Ñ! !§&¡&¨!Ö,ñ "ä˜œ2Ÿ<™<×(Ò(Ü�G‰G×Ñ˜aŸf™f aÔ(Ü�G‰G×Ñ˜aŸh™h¨Ö,ñ )r*   )r›   rA   r   r§   r¤   r¥   r¦   r£   r¬   r«   rª   r©   r   )é   rÆ   rÆ   rÆ   rÆ   rÆ   rÆ   )re   rf   rg   rh   Úhyperparametersr   r´   rX   rÄ   rj   rk   rl   rm   s   @@r(   r™   r™     s\   ù‡ € à€OðF2ð ðF2ò %ð	F2ð
 ðF2ð ðF2ð ÷F2òR6ò÷"-ò -r*   r™   )Únumpyr\   r   Útorch.nnr   Úeinopsr   Úeinops.layers.torchr   Úspandrel.utilr   Úspandrel.util.timmr   r   Ú__arch_helpers.paddingr	   ÚModuler   rp   r†   r™   © r*   r(   Ú<module>rÑ      s{   ðó Û Ý Ý Ý )å /ß 6å 5ôR
ˆ2�9‰9ô R
ôj!ˆB�I‰Iô !ôHD�R—Y‘Yô DñN Óôg-ˆR�Y‰Yó g-ó òg-r*   