§
    x-j6  ã                   ó  — d dl mZ d dlmZmZmZ d dlmZ d dlm	Z	m
Z
 d dlmZmZmZmZmZ d dlmZ d dlmZmZ d dlmZ d d	lmZmZ d d
lmZ d dlmZmZ d dl m!Z! d dl"m#Z# d dl$m%Z% d dl&m'Z'm(Z(m)Z)m*Z*m+Z+m,Z,m-Z-m.Z.m/Z/ d dl0m1Z1 d dl2m3Z3 d dl4m5Z5m6Z6m7Z7m8Z8m9Z9m:Z:m;Z;m<Z<m=Z=m>Z>m?Z?m@Z@ d dlAmBZBmCZCmDZDmEZEmFZFmGZGmHZHmIZImJZJ d dlKmLZLmMZMmNZN d dlOmPZPmQZQmRZRmSZSmTZTmUZU d dlVmWZWmXZXmYZYmZZZm[Z[m\Z\m]Z] d dl^m_Z_m`Z`maZambZbmcZcmdZdmeZemfZfmgZgmhZhmiZi g d¢ZjdS )é   )Ú"AllreduceMatmulGradOverlappingPass)ÚAMPListsÚAMPPassÚAMPState)ÚAutoParallelCEmbeddingPass)ÚDataParallelOptimizationPassÚGradientsGroup)ÚFP16PassÚ	FP16StateÚcast_startup_programÚset_auto_cast_attrÚset_op_dtype_to_fp16)ÚFusedLinearPromotionPass)ÚClipGradByGlobalNormPassÚ
ClipHelper)ÚGradientMergePass)ÚMasterGradPassÚget_output_in_varlist)ÚQuantizationPass)ÚRecomputePassÚRecomputeState)ÚAutoParallelRecomputePIRPass)Ú/AutoParallelReplaceWithParallelCrossEntropyPass)Ú SequenceParallelOptimizationPass)	ÚShardingInfoÚShardingPassÚVarGroupÚgroup_paramÚis_sharding_param_broadcast_opÚpartition_by_greedy_evenÚpartition_by_use_orderÚpartition_parametersÚre_order_program)ÚAutoParalSupplementDepPass)Ú AutoParallelSyncSharedParamsPass)ÚBuildCINNPassÚFuseAdamWPassÚFuseBatchNormActPassÚFuseBatchNormAddActPassÚFusedAttentionPassÚFusedFeedforwardPassÚFuseDotProductAttentionPassÚFuseElementwiseAddActPassÚFuseGemmEpiloguePassÚFuseOptimizerPassÚFuseReluDepthwiseConvPassÚFuseResUnitPass)	ÚFuseAllReducePassÚ filter_all_collective_op_indicesÚfind_adjacent_match_sequencesÚfind_all_fuse_all_reduce_groupsÚhas_same_attrsÚinsert_coalesce_tensor_opsÚ%insert_fuse_all_reduce_by_memory_sizeÚinsert_fuse_all_reduce_opsÚ$split_fuse_all_reduce_groups_by_deps)ÚPassContextÚPassManagerÚnew_pass)ÚPipeline1F1BPassÚPipelineEager1F1BPassÚPipelineFThenBPassÚPipelineVirtualPipelinePassÚPipelineZeroBubblePipelinePassÚ
apply_pass)ÚAddGeoOptimizerPassÚAddListenAndServPassÚAddLrDecayTablePassÚAddOptimizerPassÚAddRpcGlobalFlagsPassÚBuildPserverStartupProgramPassÚDeleteUnusedInStartupPass)ÚAppendSendOpsPassÚDeleteExtraOptimizerPassÚDeleteOptimizesPassÚDistributedOpsPassÚFakeInitOpsPassÚ	PsGpuPassÚPsTranspilePassÚSetHeterPipelineOptPassÚSplitFlOpsPassÚSplitHeterWorkerOpsPassÚSplitTrainerOpsPass)r=   r<   r;   N)kÚ!allreduce_matmul_grad_overlappingr   Úauto_parallel_ampr   r   r   Úauto_parallel_c_embeddingr   Ú(auto_parallel_data_parallel_optimizationr   r	   Úauto_parallel_fp16r
   r   r   r   r   Ú$auto_parallel_fused_linear_promotionr   Úauto_parallel_grad_clipr   r   Úauto_parallel_gradient_merger   Úauto_parallel_master_gradr   r   Úauto_parallel_quantizationr   Úauto_parallel_recomputer   r   Úauto_parallel_recompute_pirr   Ú1auto_parallel_replace_with_parallel_cross_entropyr   Ú,auto_parallel_sequence_parallel_optimizationr   Úauto_parallel_shardingr   r   r   r   r   r    r!   r"   r#   Ú.auto_parallel_supplement_explicit_dependenciesr$   Ú auto_parallel_sync_shared_paramsr%   Úcpp_passr&   r'   r(   r)   r*   r+   r,   r-   r.   r/   r0   r1   Úfuse_all_reducer2   r3   r4   r5   r6   r7   r8   r9   r:   Ú	pass_baser;   r<   r=   Úpipeline_scheduler_passr>   r?   r@   rA   rB   rC   Úps_server_passrD   rE   rF   rG   rH   rI   rJ   Úps_trainer_passrK   rL   rM   rN   rO   rP   rQ   rR   rS   rT   rU   Ú__all__© ó    úb/var/www/html/banglarbhumi/venv/lib/python3.11/site-packages/paddle/distributed/passes/__init__.pyú<module>rq      s  ððð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð
ð ð ð ð ð ðð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ðð ð ð ð ð ð ð ðð ð ð ð ð ðð ð ð ð ð ð ð ð 9Ð 8Ð 8Ð 8Ð 8Ð 8ðð ð ð ð ð ð ð ðð ð ð ð ð ðð ð ð ð ð ðð ð ð ð ð ð
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ðð ð ð ð ð ðð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð 
ð :Ð 9Ð 9Ð 9Ð 9Ð 9Ð 9Ð 9Ð 9Ð 9ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ðð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ð ðð ð €€€ro   