Python多线程如何控制并发数 Python多线程信号量的使用详解-Python教程-PHP中文网

Python多线程如何控制并发数 Python多线程信号量的使用详解

雪夜

发布： 2025-11-16 19:27:06

原创

844人浏览过

信号量（Semaphore）是Python threading 模块中用于控制并发线程数量的同步机制，通过限制同时访问共享资源的线程数来避免资源过度占用。它内部维护一个计数器，调用 acquire() 时减1，release() 时加1，当计数器为0时，acquire() 被阻塞，直到有线程释放信号量。示例中设置最大并发数为3，尽管创建了10个线程，但同一时间最多只有3个线程能执行被信号量保护的下载任务，其余线程需等待释放。该机制适用于限制数据库连接、控制网络请求并发、保护硬件设备访问及爬虫限速等场景。由于GIL的存在，Python 多线程适合I/O密集型任务，计算密集型应使用 multiprocessing。合理使用信号量可提升程序稳定性与效率。

python多线程如何控制并发数 python多线程信号量的使用详解

在Python多线程编程中，当需要控制同时运行的线程数量时，直接使用threading.Thread可能会导致系统资源被过度占用。为了解决这个问题，可以使用信号量（Semaphore）机制来限制并发线程的数量。信号量是一种同步原语，用于控制对共享资源的访问，特别适合控制最大并发数。

什么是信号量（Semaphore）？

信号量是threading模块提供的一种线程同步工具，它内部维护一个计数器。每当调用acquire()方法时，计数器减1；调用release()时加1。当计数器为0时，后续的acquire()操作会被阻塞，直到其他线程释放信号量。

通过初始化信号量时指定最大许可数量，就可以限制同时执行某段代码的线程数。

如何使用信号量控制并发数

下面是一个使用threading.Semaphore控制并发线程数量的示例：

立即学习“Python免费学习笔记（深入）”；

import threading
import time
import random
<h1>设置最大并发数为3</h1><p>max_connections = 3
semaphore = threading.Semaphore(max_connections)</p><p>def download_file(file_id):
with semaphore:  # 自动获取和释放信号量
print(f"线程 {file_id} 开始下载...")
time.sleep(random.uniform(1, 3))  # 模拟下载耗时
print(f"线程 {file_id} 下载完成")</p><h1>创建10个线程模拟下载任务</h1><p>threads = []
for i in range(10):
t = threading.Thread(target=download_file, args=(i,))
threads.append(t)
t.start()</p><h1>等待所有线程完成</h1><p>for t in threads:
t.join()</p><p>print("所有任务已完成")</p>
                    <div class="aritcle_card">
                        <a class="aritcle_card_img" href="/ai/732">
                            <img src="https://img.php.cn/upload/ai_manual/000/000/000/175679952967256.jpg" alt="豆包AI编程">
                        </a>
                        <div class="aritcle_card_info">
                            <a href="/ai/732">豆包AI编程</a>
                            <p>豆包推出的AI编程助手</p>
                            <div class="">
                                <img src="/static/images/card_xiazai.png" alt="豆包AI编程">
                                <span>483</span>
                            </div>
                        </div>
                        <a href="/ai/732" class="aritcle_card_btn">
                            <span>查看详情</span>
                            <img src="/static/images/cardxiayige-3.png" alt="豆包AI编程">
                        </a>
                    </div>

登录后复制

在这个例子中，虽然创建了10个线程，但由于信号量限制为3，最多只有3个线程能同时执行download_file函数中的关键代码块。其他线程会等待前面的线程释放信号量后才能进入。