Linux多用户环境下的资源管理_Linux cgroups与限制策略-LINUX-PHP中文网

核心答案是利用linux的控制组（cgroups）机制有效管理和限制资源。1. 通过cgroups将进程组织成组并设置资源限制；2. 使用cpu和cpuacct子系统限制和统计cpu使用，如设置周期和配额控制cpu时间；3. 利用memory子系统限制内存及交换空间，需同时配置物理内存与交换内存；4. 生产环境中推荐结合systemd简化管理，逐步实施监控并优化资源分配；5. cgroups还支持blkio限制磁盘i/o、net_cls/net_prio管理网络流量、pids控制进程数量、freezer暂停进程等资源控制功能。

Linux多用户环境下的资源管理_Linux cgroups与限制策略

在Linux多用户环境下，要有效管理和限制各个用户或进程的资源使用，核心答案在于利用Linux的控制组（cgroups）机制。它提供了一套强大的、细粒度的资源隔离和优先级管理框架，确保系统稳定性和公平性，避免某个用户或应用过度消耗资源导致整体性能下降。

解决方案

对我来说，cgroups不仅仅是一个技术特性，它更像是一种对系统秩序的追求。在多用户或多服务并存的环境里，如果不加以限制，资源争抢几乎是必然的。cgroups的出现，就是为了解决这种混乱。它允许你将一组进程组织起来，然后对这组进程的资源使用进行限制、审计和优先级管理。

其工作原理可以概括为：将系统资源（如CPU、内存、I/O带宽、网络带宽等）划分为不同的“子系统”，每个子系统管理一种特定类型的资源。然后，你可以创建“控制组”（cgroup），将一个或多个进程放入某个cgroup中，并为该cgroup在特定子系统下设置资源限制。这些cgroup可以形成一个层次结构，子cgroup会继承父cgroup的限制，并在此基础上进行更细致的分配。

实际操作中，我们通常通过挂载cgroup文件系统，然后直接在文件系统路径下创建目录（即cgroup），并写入相应的配置文件来设定限制。当然，更现代的方式是利用

systemd

登录后复制

的单元文件，它提供了对cgroups更高级、更易于管理的抽象。

如何使用cgroups限制用户或进程的CPU和内存资源？

这大概是cgroups最常用也最直观的场景了。限制CPU和内存，能直接影响一个进程或用户的工作效率和稳定性。

对于CPU，我们主要关注

cpu

登录后复制

和

cpuacct

登录后复制

子系统。

cpu

登录后复制

子系统可以限制CPU的使用时间，比如你可以给某个用户组分配20%的CPU时间。而

cpuacct

登录后复制

则用于统计CPU使用情况。

CPU限制示例： 假设我想创建一个名为

limited_cpu_group

登录后复制

的cgroup，并将其CPU使用限制在50%：

# 挂载cgroup文件系统（如果尚未挂载，通常系统默认已挂载）
# mount -t cgroup -o cpu,cpuacct none /sys/fs/cgroup/cpu_and_cpuacct

# 创建cgroup目录
sudo mkdir /sys/fs/cgroup/cpu_and_cpuacct/limited_cpu_group

# 设置CPU配额：每100ms周期内，该组最多使用50ms的CPU时间
# cpu.cfs_period_us: 周期长度 (微秒)
# cpu.cfs_quota_us: 周期内允许使用的CPU时间 (微秒)
echo 100000 | sudo tee /sys/fs/cgroup/cpu_and_cpuacct/limited_cpu_group/cpu.cfs_period_us
echo 50000 | sudo tee /sys/fs/cgroup/cpu_and_cpuacct/limited_cpu_group/cpu.cfs_quota_us

# 将当前shell进程添加到这个cgroup
# 注意：实际应用中，你会将目标进程的PID写入tasks文件
echo $$ | sudo tee /sys/fs/cgroup/cpu_and_cpuacct/limited_cpu_group/tasks

# 验证（在一个新的终端中运行一个CPU密集型任务，观察其CPU使用率）
# 例如：yes > /dev/null

登录后复制

对于内存，

memory

登录后复制

子系统是关键。它可以限制进程组可以使用的物理内存和交换空间总量。

内存限制示例： 创建一个名为

limited_memory_group

登录后复制

的cgroup，并将其内存限制在256MB：

# 挂载cgroup文件系统
# mount -t cgroup -o memory none /sys/fs/cgroup/memory

# 创建cgroup目录
sudo mkdir /sys/fs/cgroup/memory/limited_memory_group

# 设置内存限制 (单位：字节)
# memory.limit_in_bytes: 物理内存限制
# memory.memsw.limit_in_bytes: 物理内存 + 交换空间总限制
echo 268435456 | sudo tee /sys/fs/cgroup/memory/limited_memory_group/memory.limit_in_bytes
echo 536870912 | sudo tee /sys/fs/cgroup/memory/limited_memory_group/memory.memsw.limit_in_bytes

# 将进程添加到cgroup
# echo <PID> | sudo tee /sys/fs/cgroup/memory/limited_memory_group/tasks

登录后复制

我发现，在设置这些限制时，一个常见的误区是只设置

memory.limit_in_bytes

登录后复制

而忽略

memory.memsw.limit_in_bytes

登录后复制

。这可能导致进程在物理内存耗尽后大量使用交换空间，反而拖慢整个系统。所以，通常建议同时设置这两个值，并确保

memsw

登录后复制

的值大于

memory

登录后复制

的值。

cgroups在实际生产环境中可能面临哪些挑战和最佳实践？

在生产环境中落地cgroups，绝不是简单地敲几个命令那么直接。我个人在实践中遇到过不少坑，也总结了一些经验。

喵记多

喵记多 - 自带助理的 AI 笔记

查看详情

挑战：

复杂性与管理： 手动管理cgroup文件系统非常繁琐，尤其是在有大量用户或服务需要隔离时。路径深、文件多，很容易出错。
监控与调试： 仅仅设置了限制还不够，你需要知道这些限制是否有效，进程是否真的受到了约束，以及它们在受限后表现如何。当一个进程因为cgroup限制而被OOM killer杀死时，默认的日志可能不会直接告诉你这是cgroup的锅，需要更深入的排查。
资源分配的艺术： 设定合理的资源限制是一个持续优化的过程。太宽松起不到作用，太严格又可能导致服务性能下降甚至崩溃。这需要对业务负载有深刻理解。
层次结构设计： 如何构建cgroup的层次结构，以满足不同部门、不同应用、不同优先级之间的资源分配需求，是一个需要深思熟虑的问题。设计不当可能导致资源利用率低下或管理混乱。

最佳实践：

利用
```
systemd
```
登录后复制
集成： 这是现代Linux系统管理cgroups的首选方式。
```
systemd
```
登录后复制
的
```
Slice
```
登录后复制
、
```
Scope
```
登录后复制
和
```
Service
```
登录后复制
单元天然支持cgroup，你可以在单元文件中直接定义资源限制，
```
systemd
```
登录后复制
会负责创建和管理底层的cgroup。这大大简化了配置和维护。例如，为某个服务设置CPU和内存限制：
```
# /etc/systemd/system/my_app.service
[Unit]
Description=My Application

[Service]
ExecStart=/usr/local/bin/my_app
# CPU限制：使用CPU配额，等同于cfs_quota_us/cfs_period_us
CPUQuota=50%
# 内存限制：256MB
MemoryLimit=256M

[Install]
WantedBy=multi-user.target
```
登录后复制
逐步实施与监控： 不要一次性对所有服务或用户应用严格的限制。从宽松的限制开始，或者先只进行资源统计（
```
cpuacct
```
登录后复制
、
```
memory.usage_in_bytes
```
登录后复制
），观察一段时间，收集数据，然后逐步收紧限制。
结合监控工具： 使用Prometheus、Grafana等监控工具，结合
```
node_exporter
```
登录后复制
的cgroup指标，实时监控cgroup的资源使用情况。这能帮助你及时发现资源瓶颈和不合理配置。
OOM Killer的考量： 当cgroup的内存限制被触及时，系统可能会触发OOM killer。了解cgroup的OOM行为，并通过
```
memory.oom_control
```
登录后复制
文件进行适当配置（例如，设置
```
oom_kill_disable
```
登录后复制
为1以禁用OOM killer，让进程自己处理内存不足，但这通常不推荐）。
合理规划层次结构： 例如，可以按照部门（
```
department.slice
```
登录后复制
）-> 应用类型（
```
web_servers.slice
```
登录后复制
）-> 具体应用实例（
```
nginx@.service
```
登录后复制
）的层次来组织cgroup，这样可以更灵活地分配和管理资源。

除了CPU和内存，cgroups还能管理哪些资源，以及如何实现？

cgroups的能力远不止CPU和内存，它支持多种子系统，涵盖了系统资源的方方面面。

blkio

登录后复制

(Block I/O): 用于限制块设备的I/O访问。这在I/O密集型应用中非常有用，可以防止某个进程独占磁盘带宽。 实现： 通过

blkio.weight

登录后复制

设置权重（相对优先级），或通过

blkio.throttle.read_bps_device

登录后复制

、

blkio.throttle.write_bps_device

登录后复制

等设置具体的每秒字节数限制。

# 挂载blkio子系统
# mount -t cgroup -o blkio none /sys/fs/cgroup/blkio

# 创建cgroup
sudo mkdir /sys/fs/cgroup/blkio/limited_io_group

# 限制设备/dev/sda的写入速度为10MB/s
# 格式：<major>:<minor> <bytes_per_second>
echo "8:0 10485760" | sudo tee /sys/fs/cgroup/blkio/limited_io_group/blkio.throttle.write_bps_device

登录后复制

这里

8:0

登录后复制

是

/dev/sda

登录后复制

的设备号，可以通过

ls -l /dev/sda

登录后复制

查看。

```
net_cls
```
登录后复制
和
net_prio
登录后复制
(Network):
```
net_cls
```
登录后复制
用于给网络数据包打上cgroup ID，结合
```
tc
```
登录后复制
（traffic control）工具可以实现更复杂的网络流量整形和优先级管理。
```
net_prio
```
登录后复制
则允许你为不同cgroup的进程设置网络接口的优先级。 实现：
```
net_cls
```
登录后复制
：设置
```
net_cls.classid
```
登录后复制
，然后用
```
tc
```
登录后复制
规则匹配这个classid。
```
net_prio
```
登录后复制
：设置
```
net_prio.prioidx
```
登录后复制
和
```
net_prio.ifpriomap
```
登录后复制
。
```
pids
```
登录后复制
(Process IDs): 限制一个cgroup中可以创建的进程/线程数量。这对于防止“fork炸弹”或限制某个服务可以启动的子进程数量非常有效。 实现： 通过
```
pids.max
```
登录后复制
文件设置最大进程数。
```
# 挂载pids子系统
# mount -t cgroup -o pids none /sys/fs/cgroup/pids

# 创建cgroup
sudo mkdir /sys/fs/cgroup/pids/limited_pids_group

# 限制最多只能有10个进程
echo 10 | sudo tee /sys/fs/cgroup/pids/limited_pids_group/pids.max
```
登录后复制
```
freezer
```
登录后复制
(Suspend/Resume): 允许管理员暂停或恢复cgroup中的所有进程。这在进行系统维护或故障排查时非常有用。 实现： 写入
```
freezer.state
```
登录后复制
文件，
```
FROZEN
```
登录后复制
表示暂停，
```
THAWED
```
登录后复制
表示恢复。