+
    ƒ°ñjÚ  ã                   óÞ   € ^ RI t ^ RIHt ^ RIHt ^RIHtHt  ! R R]P                  4      t	 ! R R]P                  4      t
 ! R R	]P                  4      t ! R
 R]P                  4      tR# )é    N)ÚEmbedND)ÚWanFeedForwardÚWanSelfAttentionc                   ó<   a a€ ] tR t^
t oRV 3R lltR tRtVtV ;t# )ÚUni3CLayerNormZeroc                óÊ   <€ \         SV `  4        \        P                  ! 4       V n        VP                  V^V,          WER7      V n        VP                  W#RWER7      V n        R# )é   ©ÚdeviceÚdtypeT)ÚepsÚelementwise_affiner   r   N)	ÚsuperÚ__init__ÚnnÚSiLUÚsiluÚLinearÚlinearÚ	LayerNormÚnorm)ÚselfÚconditioning_dimÚembedding_dimr   r   r   Ú
operationsÚ	__class__s   &&&&&&&€Ú7C:\Ai_Coding\apps\studio\ComfyUI\comfy\ldm\wan\uni3c.pyr   ÚUni3CLayerNormZero.__init__   sX   ø€ ô 	‰ÑÔÜ—G’G“IˆŒ	Ø ×'Ñ'Ð(8¸!¸mÕ:KÐTZÐ'ÓhˆŒØ×(Ñ(¨ÐTXÐagÐ(ÓuˆŽ	ó    c                óæ   € V P                  V P                  V4      4      P                  ^^R7      w  r4pV P                  V4      ^V,           R,          ,          VR,          ,           pWR,          3# )r	   ©Údim)ºNNNNr#   )r   r   Úchunkr   )r   ÚxÚtembÚshiftÚscaleÚgates   &&&   r   ÚforwardÚUni3CLayerNormZero.forward   s`   € Ø!Ÿ[™[¨¯©°4«Ó9×?Ñ?ÀÀqÐ?ÓIÑˆ�dØ�I‰I�a‹L˜A �I zÕ2Õ2°U¸:Õ5FÕFˆØ�zÕ"Ð"Ð"r   )r   r   r   )gñhãˆµøä>NNN©	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r*   Ú__static_attributes__Ú__classdictcell__Ú__classcell__©r   Ú__classdict__s   @@r   r   r   
   s   ù‡ € ÷
v÷#ò #r   r   c                   ó<   a a€ ] tR t^t oRV 3R lltR tRtVtV ;t# )ÚUni3CAttentionBlockc	                ó8  <€ \         S
V `  4        R VRVRV/p	\        WAWgVR7      V n        \	        WRWYR7      V n        \        WAWgVR7      V n        \        VP                  WWgR7      \        P                  ! RR7      VP                  W!WgR7      4      V n        R	# )
r   r   r   ©r   r   r   T)Úqk_normr   Úoperation_settingsr
   Útanh)ÚapproximateN)r   r   r   Únorm1r   Ú	self_attnÚnorm2r   r   r   ÚGELUÚffn)r   r"   Úffn_dimÚ	num_headsÚtime_embed_dimr   r   r   r   r;   r   s   &&&&&&&&& €r   r   ÚUni3CAttentionBlock.__init__   s•   ø€ ô 	‰ÑÔØ*¨J¸À&È'ÐSXÐYÐÜ'¨ÀFÐdnÔoˆŒ
Ü)¨#À$ÈCÔwˆŒÜ'¨ÀFÐdnÔoˆŒ
Ü!Ø×Ñ˜c°6ÐÓGÌÏÊÐ]cÔIdØ×Ñ˜g°6ÐÓGóIˆŽr   c                óÊ   € V P                  W4      w  rEWV P                  WC4      ,          ,           pV P                  W4      w  rFWV P                  V4      ,          ,           pV# ©N)r>   r?   r@   rB   )r   r%   r&   ÚfreqsÚnorm_xÚgate_msaÚgate_ffs   &&&&   r   r*   ÚUni3CAttentionBlock.forward0   sT   € ØŸ:™: aÓ.ÑˆØ˜4Ÿ>™>¨&Ó8Õ8Õ8ˆØŸ*™* QÓ-‰ˆØ˜$Ÿ(™( 6Ó*Õ*Õ*ˆØˆr   )rB   r>   r@   r?   )é   g�íµ ÷Æ°>NNNr,   r4   s   @@r   r7   r7      s   ù‡ € ÷I÷$ò r   r7   c                   ó<   a a€ ] tR t^8t oRV 3R lltR tRtVtV ;t# )ÚMaskCamEmbedc                ó"  <€ \         SV `  4        . ROV n        \        P                  ! VP                  WRRWER7      VP                  V^,          W$VR7      \        P                  ! 4       4      V n        VP                  W#RRWER7      V n	        R# )r   ©Úkernel_sizeÚstrider   r   r
   N)r   r   r   r   r	   r   )é   é   rV   ©é   é   rY   )
r   r   Úmask_paddingr   Ú
SequentialÚConv3dÚ	GroupNormr   Ú	mask_projÚmask_zero_proj)r   Úadd_channelsÚmid_channelsÚconv_out_dimr   r   r   r   s   &&&&&&&€r   r   ÚMaskCamEmbed.__init__9   s�   ø€ ô 	‰ÑÔÚ.ˆÔÜŸšØ×Ñ˜lÀiÐXaÐjpÐÓ~Ø× Ñ  °Õ!2°LÐW\Ð Ó]Ü�GŠG‹IóˆŒð )×/Ñ/°ÐXaÐjsð  }CÐ/ó  QˆÖr   c                óø   € \         P                  P                  P                  WP                  R ^ R7      pV P                  V4      pV P                  V4      pVP                  ^4      P                  ^^4      pV# )Úconstant)ÚmodeÚvalue)	Útorchr   Ú
functionalÚpadrZ   r^   r_   ÚflattenÚ	transpose)r   Ú
add_inputsÚ
add_paddedÚ
add_embedss   &&  r   r*   ÚMaskCamEmbed.forwardH   sl   € Ü—X‘X×(Ñ(×,Ñ,¨Z×9JÑ9JÐQ[ÐcdÐ,Óeˆ
Ø—^‘^ JÓ/ˆ
Ø×(Ñ(¨Ó4ˆ
Ø×'Ñ'¨Ó*×4Ñ4°Q¸Ó:ˆ
ØÐr   )rZ   r^   r_   )é   é   rN   NNNr,   r4   s   @@r   rP   rP   8   s   ù‡ € ÷Q÷ò r   rP   c                   óP   a a€ ] tR t^Pt oRV 3R lltRR ltRR ltR tRtVt	V ;t
# )ÚWanUni3CControlnetc                óÚ  <€ \         SV `  4        RpW`n        VP                  WWîV\        P
                  R7      V n        \        WšW+WÍR7      V n        W#8w  d   VP                  W#W¼R7      V n
        M\        P                  ! 4       V n
        \        P                  ! \        V4       Uu. uF  p\        W4WWW¼VR7      NK  	  up4      V n        \        P                  ! \        V4       Uu. uF  pVP                  W8W¼R7      NK  	  up4      V n        W5,          p\%        VRV^V^,          ,          ,
          ^V^,          ,          ^V^,          ,          .R7      V n        R# u upi u upi )rX   rR   r9   r
   g     ˆÃ@)r"   ÚthetaÚaxes_dimNrW   )r   r   Ú
num_layersr\   rh   Úfloat32Úcontrolnet_patch_embeddingrP   Úcontrolnet_mask_embeddingr   Úproj_inr   ÚIdentityÚ
ModuleListÚranger7   Úcontrolnet_blocksÚproj_outr   Úrope_embedder)r   Úin_channelsrb   r"   rC   rD   rx   rE   Úout_proj_dimr`   ra   r   r   r   Ú
patch_sizeÚ_Úhead_dimr   s   &&&&&&&&&&&&&&   €r   r   ÚWanUni3CControlnet.__init__Q   sw  ø€ ô 	‰ÑÔØˆ
Ø$Œà*4×*;Ñ*;Ø°:ÐY_Ôgl×gtÑgtð +<ó +vˆÔ'ä)5°lÐR^Ðuzô  *SˆÔ&àÔØ%×,Ñ,¨\ÀvÐ,Ó[ˆD�LäŸ;š;›=ˆDŒLä!#§¢ä˜:Ô&ó0(á&�ô   ¨iÐPVÐpz×{Ù&ñ0(ó ")ˆÔô Ÿšä˜:Ô&ó'(á&�ð ×Ñ˜c¸ÐÖLÙ&ñ'(ó )ˆŒð Õ#ˆÜ$¨¸ÈHÐWXÐ\dÐhiÕ\iÕWjÕLjÐlmÐqyÐ}~Õq~Õlð  BCð  GOð  STõ  GTõ  BUð  LVô  WˆÖùò0(ùò'(s   Â)E#Ã*E(c                ó"  € \         P                  ! WV^3WER7      pVR,          \         P                  ! WVR7      P                  R^^4      ,           VR&   VR,          \         P                  ! W$VR7      P                  ^R^4      ,           VR&   VR,          \         P                  ! W4VR7      P                  ^^R4      ,           VR&   VP                  ^RVP                  R,          4      pV P                  V4      P                  ^^4      pV# )r	   r
   )r#   r#   r#   r   éÿÿÿÿ)r#   r#   r#   rX   )r#   r#   r#   rY   )rh   ÚzerosÚarangeÚreshapeÚshaper‚   Úmovedim)r   Út_lenÚh_lenÚw_lenr   r   Úimg_idsrI   s   &&&&&&  r   Úrope_encodeÚWanUni3CControlnet.rope_encodev   sì   € Ü—+’+˜u¨U°AÐ6¸vÔSˆØ% jÕ1´E·L²LÀÐ]bÔ4c×4kÑ4kÐlnÐpqÐstÓ4uÕuˆ�
ÑØ% jÕ1´E·L²LÀÐ]bÔ4c×4kÑ4kÐlmÐoqÐstÓ4uÕuˆ�
ÑØ% jÕ1´E·L²LÀÐ]bÔ4c×4kÑ4kÐlmÐopÐrtÓ4uÕuˆ�
ÑØ—/‘/ ! R¨¯©°rÕ):Ó;ˆØ×"Ñ" 7Ó+×3Ñ3°A°qÓ9ˆØˆr   c                ó  € V P                  VP                  4       4      P                  VP                  4      pVP                  R ,          w  rVpV P                  WVWtP                  VP                  R7      pVP                  ^4      P                  ^^4      pRp	Ve   Ve   \        P                  ! W#.^R7      p	MVe   Tp	V	e1   W@P                  V	P                  VP                  4      4      ,           pV P                  V4      pWH3# ):rY   NNr
   Nr!   )rz   ÚfloatÚtor   rŽ   r”   r   rk   rl   rh   Úcatr{   r|   )
r   Úcontrol_inputÚrender_maskÚcamera_embeddingÚhiddenr�   r‘   r’   rI   rm   s
   &&&&      r   Úprocess_inputÚ WanUni3CControlnet.process_input   sæ   € à×0Ñ0°×1DÑ1DÓ1FÓG×JÑJÈ=×K^ÑK^Ó_ˆØ$Ÿl™l¨2Õ.Ñˆ�eØ× Ñ  ¨u¿]¹]ÐRX×R^ÑR^Ð Ó_ˆØ—‘ Ó"×,Ñ,¨Q°Ó2ˆàˆ
ØÒ'¨KÒ,CÜŸš KÐ#BÈÔJ‰JØÒ$Ø$ˆJàÒ!Ø×<Ñ<¸Z¿]¹]È6Ï<É<Ó=XÓYÕYˆFà—‘˜fÓ%ˆØˆ}Ðr   c                ón   € V P                   V,          ! W#V4      pV P                  V,          ! V4      pW%3# rH   )r€   r�   )r   Úblock_indexr�   r&   rI   Úresiduals   &&&&& r   Úforward_blockÚ WanUni3CControlnet.forward_block’   s5   € Ø×'Ñ'¨Ö4°VÀ5ÓIˆØ—=‘= Ö-¨fÓ5ˆØÐÐr   )r€   r{   rz   rx   r|   r�   r‚   )é$   rN   i   i    é   é   rN   rN   rq   rr   NNN)NN)r-   r.   r/   r0   r   r”   rž   r£   r1   r2   r3   r4   s   @@r   rt   rt   P   s    ù‡ € ÷#WôJô÷& ò  r   rt   )rh   Útorch.nnr   Úcomfy.ldm.flux.layersr   Úmodelr   r   ÚModuler   r7   rP   rt   © r   r   Ú<module>r­      sU   ðó Ý å )ß 3ô#˜Ÿ™ô #ô&˜"Ÿ)™)ô ô6�2—9‘9ô ô0E ˜Ÿ™ö E r   