Golang实现日志收集器 Fluent Bit插件开发-Golang-PHP中文网

Golang实现日志收集器 Fluent Bit插件开发

P粉602998670

发布： 2025-08-24 11:44:01

原创

864人浏览过

可用Go语言通过Fluent Bit的Go Plugin API开发输出插件实现日志收集，利用out_golang模块加载编译为.so的Go动态库，注册FLBPluginRegister、Init、Flush、Exit函数处理日志，仅支持输出插件。

golang实现日志收集器 fluent bit插件开发

用 Go 语言开发 Fluent Bit 插件实现日志收集器是可行的，尽管 Fluent Bit 本身是用 C 编写的，但通过其提供的 Go Plugin API，你可以用 Go 编写输出插件（Output Plugin），将日志发送到自定义后端。这得益于 Fluent Bit 的动态插件机制（Dynamic Plugins） 和官方提供的 Go binding 支持。

1. 理解 Fluent Bit 插件机制

Fluent Bit 支持使用 C 编写插件，也支持通过 out_golang 模块加载用 Go 编写的输出插件。核心原理是：

Fluent Bit 启动时加载一个 Go 编译成的动态库（.so 文件）
该库导出特定函数（如 FLBPluginRegister、FLBPluginInit 等）供 Fluent Bit 调用
Go 插件通过 CGO 包装，调用 Fluent Bit 的 C 接口处理日志数据

你不能用 Go 写输入（Input）或过滤（Filter）插件，目前仅支持输出插件。

2. 开发环境准备

确保以下工具已安装：

立即学习“go语言免费学习笔记（深入）”；

Go 1.18+
Fluent Bit 2.0+
gcc 或 clang（用于 CGO 编译）
pkg-config（可选，但推荐）

安装 Go binding：

go get github.com/fluent/fluent-bit-go/output

3. 编写 Go 插件代码

创建一个 Go 文件，例如 mylogger.go：

package main
<p>import (
"unsafe"
"github.com/fluent/fluent-bit-go/output"
"github.com/json-iterator/go"
)</p><p>var json = jsoniter.ConfigCompatibleWithStandardLibrary</p><p>//export FLBPluginRegister
func FLBPluginRegister(ctx unsafe.Pointer) int {
return output.FLBPluginRegister(ctx, "mylogger", "Custom Go Logger")
}</p><p>//export FLBPluginInit
func FLBPluginInit(ctx unsafe.Pointer) int {
// 可以从配置中读取参数
output.FLBPluginSetContext(ctx, "example-config-value")
return output.FLB_OK
}</p><p>//export FLBPluginFlush
func FLBPluginFlush(data unsafe.Pointer, length C.int, tag *C.char) int {
defer output.FLBPluginGolangFlushCtx()</p><pre class='brush:php;toolbar:false;'>// 解析日志记录
dec := output.NewDecoder(data, int(length))
var result map[interface{}]interface{}

for {
    ret, ts, record := output.GetRecord(dec)
    if ret != 0 {
        break
    }

    // 转换 record 为 map[string]interface{}
    m := make(map[string]interface{})
    for k, v := range record {
        m[k.(string)] = v
    }

    // 添加时间戳
    m["timestamp"] = ts

    // 输出或发送到远程服务（如 Kafka、HTTP、文件等）
    jsonData, _ := json.Marshal(m)
    println("Go Plugin:", string(jsonData))
}

return output.FLB_OK

登录后复制

}

//export FLBPluginExit func FLBPluginExit() { println("Go Plugin exited") }

func main() {}

说明：

Getfloorplan

创建 2D、3D 平面图和 360° 虚拟游览，普通房间变成梦想之家

148

查看详情

FLBPluginRegister：注册插件名称和描述
FLBPluginInit：初始化，可读取配置参数
FLBPluginFlush：核心逻辑，每批日志到达时调用
FLBPluginExit：插件退出时清理资源

4. 编译生成动态库

使用以下命令编译为 .so 文件：

go build -buildmode=c-archive -o mylogger.so mylogger.go

登录后复制

会生成两个文件：mylogger.so 和 mylogger.h，Fluent Bit 只需要 .so。

5. 配置 Fluent Bit 使用插件

在 fluent-bit.conf 中配置：

[SERVICE]
    Flush        1
    Log_Level    info
<p>[INPUT]
Name         dummy
Dummy        {"message": "hello", "from": "golang"}</p><p>[OUTPUT]
Name         out_golang
Match        *
Module       /path/to/mylogger.so
Metric       off</p>

登录后复制

启动 Fluent Bit：

./fluent-bit -c fluent-bit.conf

你会看到输出类似：

Go Plugin: {"from":"golang","message":"hello","timestamp":...}

6. 扩展功能：发送日志到远程服务

你可以在 FLBPluginFlush 中添加逻辑，将日志发送到：

HTTP 服务（使用 net/http）
Kafka（使用 sarama）
Elasticsearch（使用 elastic/go-elasticsearch）
自定义消息队列或数据库

例如发送到 HTTP：

resp, err := http.Post("http://your-logger.com/logs", "application/json", bytes.NewBuffer(jsonData))
if err != nil {
    return output.FLB_ERROR
}
resp.Body.Close()

登录后复制