Golang中的数据并发处理和Go WaitGroup-Golang-PHP中文网

Golang中的数据并发处理和Go WaitGroup

PHPz

发布： 2023-09-28 15:09:41

原创

750人浏览过

golang中的数据并发处理和go waitgroup

Golang中的数据并发处理和Go WaitGroup

引言：
在现代软件开发中，数据并发处理是一项非常重要的技术。当处理大量数据时，使用并发技术可以显著提高程序的性能和响应时间。Golang作为一门并发友好的编程语言，提供了多种方式来实现数据并发处理，其中最常用的就是使用Go WaitGroup。本文将详细介绍Golang中的数据并发处理以及如何使用Go WaitGroup来管理并发任务。

并发处理基础
在Golang中，主要使用goroutine来实现并发处理。Goroutine是一种轻量级的线程，可以与其他goroutine并发执行。通过使用goroutine，可以在同一程序中同时执行多个函数或方法，从而充分利用多核处理器的能力。下面是一个简单的示例代码：

package main

import (
    "fmt"
    "time"
)

func main() {
    go printNumbers()
    go printLetters()
    time.Sleep(2 * time.Second)
}

func printNumbers() {
    for i := 1; i <= 5; i++ {
        fmt.Println(i)
        time.Sleep(500 * time.Millisecond)
    }
}

func printLetters() {
    for i := 'a'; i <= 'e'; i++ {
        fmt.Printf("%c
", i)
        time.Sleep(500 * time.Millisecond)
    }
}

登录后复制

上述代码中，我们创建了两个goroutine，并发执行printNumbers和printLetters函数。printNumbers函数打印数字1到5，printLetters函数打印小写字母a到e。通过使用time.Sleep让主程序等待足够长的时间，以确保两个goroutine完成后程序才退出。

Go WaitGroup使用
尽管通过time.Sleep等待goroutine完成是一种方式，但在实际开发中这种方法并不可靠和灵活。Golang提供了sync.WaitGroup来更好地管理goroutine的完成状态。WaitGroup是一个计数信号量，用于等待一组goroutine的完成。下面是使用WaitGroup的示例代码：

package main

import (
    "fmt"
    "sync"
    "time"
)

func main() {
    var wg sync.WaitGroup
    wg.Add(2) // 添加两个任务

    go printNumbers(&wg)
    go printLetters(&wg)

    wg.Wait() // 等待所有任务完成
}

func printNumbers(wg *sync.WaitGroup) {
    defer wg.Done() // 减少计数器

    for i := 1; i <= 5; i++ {
        fmt.Println(i)
        time.Sleep(500 * time.Millisecond)
    }
}

func printLetters(wg *sync.WaitGroup) {
    defer wg.Done() // 减少计数器

    for i := 'a'; i <= 'e'; i++ {
        fmt.Printf("%c
", i)
        time.Sleep(500 * time.Millisecond)
    }
}

登录后复制

在上述代码中，我们首先创建了一个WaitGroup对象wg，并通过wg.Add(2)方法告知WaitGroup有两个任务需要等待。然后，我们分别在printNumbers和printLetters函数中调用wg.Done()方法，以减少计数器。最后，通过调用wg.Wait()方法，程序会一直阻塞，直到所有任务完成，然后继续执行后面的代码。

ShopEx助理

一个类似淘宝助理、ebay助理的客户端程序，用来方便的在本地处理商店数据，并能够在本地商店、网上商店和第三方平台之间实现数据上传下载功能的工具。功能说明如下：1.连接本地商店：您可以使用ShopEx助理连接一个本地安装的商店系统，这样就可以使用助理对本地商店的商品数据进行编辑等操作，并且数据也将存放在本地商店数据库中。默认是选择“本地未安装商店”，本地还未安

查看详情

立即学习“go语言免费学习笔记（深入）”；

WaitGroup的高级用法
除了基本用法外，WaitGroup还提供了一些高级用法，例如限制并发数、超时控制等。下面是一个使用WaitGroup进行并发任务限制的示例代码：

package main

import (
    "fmt"
    "sync"
    "time"
)

func main() {
    var (
        wg     sync.WaitGroup
        maxCon = 2 // 最大并发数
        tasks  = 10 // 总任务数
    )

    // 创建一个带有最大并发数限制的通道
    semaphore := make(chan struct{}, maxCon)

    for i := 0; i < tasks; i++ {
        wg.Add(1)
        go process(i, &wg, semaphore)
    }

    wg.Wait()
}

func process(id int, wg *sync.WaitGroup, semaphore chan struct{}) {
    defer wg.Done()

    semaphore <- struct{}{} // 每个任务开始前获取信号量
    defer func() {
        <-semaphore // 每个任务结束时释放信号量
    }()

    fmt.Printf("Task %d start
", id)
    time.Sleep(500 * time.Millisecond)
    fmt.Printf("Task %d finish
", id)
}

登录后复制

在上述代码中，我们首先创建了一个semaphore通道，其容量为maxCon，即最大并发数。然后，我们通过循环为tasks个任务创建goroutine，每个goroutine开始前都会从semaphore通道获取一个信号量，表示还有可用的并发数。任务执行完毕后，会释放所占用的信号量。通过这种方式，我们可以限制并发数，避免同时执行过多goroutine而导致资源耗尽。