将 parquet 文件转换为带有嵌套元素的 Golang 结构-Golang-PHP中文网

将 parquet 文件转换为带有嵌套元素的 Golang 结构

王林

发布： 2024-02-10 19:10:08

转载

904人浏览过

将 parquet 文件转换为带有嵌套元素的 golang 结构

php小编新一将介绍如何将 parquet 文件转换为带有嵌套元素的 Golang 结构。Parquet 是一种高效的列式存储格式，而 Golang 是一种强大的编程语言，将它们结合起来可以帮助我们更好地处理和分析大量的数据。通过使用适当的库和技术，我们可以轻松地将 parquet 文件解析为 Golang 的结构，并且可以处理嵌套的元素，从而更好地组织和操作数据。本文将详细介绍实现的步骤和注意事项，帮助读者轻松上手。

问题内容

我正在尝试使用 xitongsys/parquet-go 库读取 go 中带有嵌套数组/结构的镶木地板文件。列表数据没有被读取，也没有看到值。下面是我在 golang 中的结构

type Play struct {
    SID            string   `parquet:"name=si, type=BYTE_ARRAY, convertedtype=UTF8, encoding=PLAIN_DICTIONARY, repetitiontype=OPTIONAL" json:"si,omitempty"`
    TimeStamp      int      `parquet:"name=ts, type=INT64, repetitiontype=OPTIONAL" json:"ts,omitempty"`
    SingleID       int      `parquet:"name=sg, type=INT64, repetitiontype=OPTIONAL" json:"sg,omitempty"`
    PID            int      `parquet:"name=playid, type=INT64, repetitiontype=OPTIONAL" json:"playid,omitempty"`
    StartTimeStamp string   `parquet:"name=startts, type=BYTE_ARRAY,repetitiontype=OPTIONAL"`
    Price          []Price1 `parquet:"name=price, type=LIST, repetitiontype=REQUIRED" json:"price,omitempty"`
}

type Price1 struct {
    CurrID int    `parquet:"name=currId, type=INT64, repetitiontype=REQUIRED" json:"currId,omitempty"`
    LPTag  string `parquet:"name=lptag, type=BYTE_ARRAY,convertedtype=UTF8, repetitiontype=REQUIRED" json:"lptag,omitempty"`
    LPrice Money  `parquet:"name=lpmoney, type=STRUCT" json:"lpmoney,omitempty"`
}

type Money struct {
    AdmCurrCode  string `parquet:"name=admCC, type=BYTE_ARRAY, repetitiontype=OPTIONAL" json:"admCC,omitempty"`
    AdmCurrValue string `parquet:"name=admCV, type=BYTE_ARRAY" json:"admCV,omitempty"`
}

登录后复制

即使 parquet 文件具有有效值，currid 和 lptag 仍为空

AssemblyAI

转录和理解语音的AI模型

查看详情

解决方法

我发现github.com/segmentio/parquet-go包可以正确读取文件。您需要坚持使用 github.com/xitongsys/parquet-go 包吗？

立即学习“go语言免费学习笔记（深入）”；

package main

import (
    "fmt"

    "github.com/segmentio/parquet-go"
)

type Play struct {
    SID            string  `parquet:"si"`
    TimeStamp      int     `parquet:"ts"`
    SingleID       int     `parquet:"sg"`
    PID            int     `parquet:"playid"`
    StartTimeStamp string  `parquet:"startts"`
    Price          []Price `parquet:"price,list"`
}

type Price struct {
    CurrID int    `parquet:"currId"`
    LPTag  string `parquet:"lptag"`
    LPrice Money  `parquet:"lpmoney"`
}

type Money struct {
    AdmCurrCode  string `parquet:"admCC"`
    AdmCurrValue string `parquet:"admCV"`
}

func main() {
    rows, err := parquet.ReadFile[Play]("s3.parquet")
    if err != nil {
        panic(err)
    }

    for _, c := range rows {
        fmt.Printf("%+v\n", c)
    }
}

登录后复制

以上就是将 parquet 文件转换为带有嵌套元素的 Golang 结构的详细内容，更多请关注php中文网其它相关文章！