SLURM 并行处理：在多个文件上运行相同的脚本-Python教程-PHP中文网

SLURM 并行处理：在多个文件上运行相同的脚本

霞舞

发布： 2025-09-23 18:16:28

原创

739人浏览过

slurm 并行处理：在多个文件上运行相同的脚本

本文旨在指导用户如何使用 SLURM（Simple Linux Utility for Resource Management）在多个输入文件上并行运行同一个 Python 脚本。文章详细解释了 SLURM 脚本的编写，包括资源申请、任务分配以及如何利用 srun 命令实现并行处理。同时，还介绍了 SLURM 任务数组的概念，并提供代码示例，帮助读者高效地利用集群资源完成任务。

利用 SLURM 并行处理多个文件

在科学研究和数据处理中，经常需要对大量文件执行相同的操作。如果每个文件处理时间较长，串行执行效率低下。SLURM 提供了强大的并行计算能力，可以有效地解决这个问题。本文将介绍如何使用 SLURM 在多个文件上并行运行同一个 Python 脚本。

理解 SLURM 资源分配

在使用 SLURM 之前，需要理解其资源分配机制。以下是一些关键参数：

--nodes: 请求的节点数量。集群中每个节点的 CPU 数量取决于具体的硬件配置。
--ntasks: 请求的总任务数量。
--ntasks-per-node: 每个节点上运行的最大任务数量。如果指定了 --ntasks，则此参数表示每个节点上运行的最大任务数量；否则，表示每个节点上运行的任务数量。
--cpus-per-task: 每个任务分配的 CPU 核心数。

为了避免节点资源超额分配，建议使用 --ntasks 和 --cpus-per-task 参数，根据实际情况合理分配资源。

使用 srun 命令并行执行任务

srun 命令用于在 SLURM 集群上启动并行任务。与 sbatch 不同，srun 会立即执行任务，而 sbatch 只是提交任务到队列。

以下是一个示例 SLURM 脚本，演示如何使用 srun 在多个文件上并行运行 Python 脚本：

#!/bin/bash
#SBATCH --nodes=8
#SBATCH --ntasks-per-node=128

INPUT_DIR='path/to/input/dir'
OUTPUT_DIR='/path/to/output/dir'

# 读取文件名到数组
INPUT_STEMS_FILE='/some/path/to/list/of/inputs.txt'
INPUT_STEMS=()
while IFS= read -r line; do
  INPUT_STEMS+=("$line")
done < <(tr -d '\r' < INPUT_STEMS_FILE)

for j in $(seq 0 $((${#INPUT_STEMS[@]} - 1))); do
  # 循环处理每个文件

  # 轮询分配到节点 (0, 1, ..., 8, 0, 1, ...)
  NODE_NUMBER=$((j % SLURM_NNODES))

  # 动态生成文件名
  INPUT_FILE_NAME="$INPUT_DIR/${INPUT_STEMS[$j]}.txt"
  OUTPUT_FILE_NAME="$OUTPUT_DIR/$j.txt"

  # 在一个节点上运行一个任务，使用轮询分配
  srun -N1 -n1 -w ${SLURM_NODELIST: $NODE_NUMBER:1} python_script.py --input "$INPUT_FILE_NAME" > "$OUTPUT_FILE_NAME" &
done

wait

登录后复制

代码解释：

Android游戏框架AndEngine使用入门 WORD版

本文档主要讲述的是Android游戏框架AndEngine使用入门；AndEngine是一款以OpenGLES方式进行画面渲染的2D游戏引擎，可以运行在支持Android 1.6及以上版本的系统当中。应该说，相较前文介绍的Libgdx引擎，AndEngine拥有更多的游戏组件与扩展功能。并且与Libgdx不同，它在默认情况下已经可以支持中文，采用屏幕坐标系绘也更符合一般Android绘图习惯。希望本文档会给有需要的朋友带来帮助；感兴趣的朋友可以过来看看

查看详情

#SBATCH 开头的行是 SLURM 的指令，用于指定资源需求。
INPUT_DIR 和 OUTPUT_DIR 分别是输入和输出文件的路径。
脚本首先读取包含输入文件名的列表文件，并将文件名存储到 INPUT_STEMS 数组中。
for 循环遍历 INPUT_STEMS 数组，对每个文件执行以下操作：
- 计算节点编号 NODE_NUMBER，使用模运算实现轮询分配。
- 动态生成输入和输出文件名。
- 使用 srun -N1 -n1 -w ${SLURM_NODELIST: $NODE_NUMBER:1} 命令在一个节点上运行 Python 脚本。-N1 表示使用一个节点，-n1 表示运行一个任务，-w ${SLURM_NODELIST: $NODE_NUMBER:1}指定节点名称。${SLURM_NODELIST: $NODE_NUMBER:1}使用字符串截取，从SLURM分配的节点列表中提取指定节点。
- & 符号表示将任务放到后台运行。
wait 命令等待所有后台任务完成。

注意事项：

确保 python_script.py 脚本能够正确处理单个输入文件，并生成相应的输出文件。
根据实际情况调整 --nodes 和 --ntasks-per-node 参数，以充分利用集群资源。
检查 $INPUT_DIR 和 $OUTPUT_DIR 变量是否设置正确。
如果 Python 脚本需要额外的依赖库，需要在 SLURM 脚本中加载相应的模块。

使用 SLURM 任务数组

SLURM 任务数组是另一种并行处理多个文件的有效方法。任务数组允许你创建一组相关的任务，每个任务处理不同的输入文件。

以下是一个使用任务数组的示例 SLURM 脚本：

#!/bin/bash
#SBATCH --array=0-99

INPUT_DIR='path/to/input/dir'
OUTPUT_DIR='/path/to/output/dir'

# Read the file names into an array
INPUT_STEMS_FILE='/some/path/to/list/of/inputs.txt'
INPUT_STEMS=()
while IFS= read -r line; do
  INPUT_STEMS+=("$line")
done < <(tr -d '\r' < INPUT_STEMS_FILE)

# Get the task ID from the SLURM_ARRAY_TASK_ID environment variable
TASK_ID=$SLURM_ARRAY_TASK_ID

# Dynamically generate filename
INPUT_FILE_NAME="$INPUT_DIR/${INPUT_STEMS[$TASK_ID]}.txt"
OUTPUT_FILE_NAME="$OUTPUT_DIR/$TASK_ID.txt"

# Run the python script
python_script.py --input "$INPUT_FILE_NAME" > "$OUTPUT_FILE_NAME"

登录后复制

代码解释：