Go语言中uint64的存储与变长编码解析

go语言中，uint64类型在内存中始终占用8字节存储空间。然而，在使用binary.putuvarint进行变长编码时，一个uint64值最多可能占用10字节。这并非类型存储的矛盾，而是变长编码为了保持兼容性和设计简洁性所做的权衡，通过使用最高有效位作为延续位来指示后续字节。

在Go语言中，基本数据类型的大小是明确且固定的。根据Go语言规范，uint64类型被定义为64位无符号整数，其在内存中的标准存储大小为8字节。这与处理器架构和内存对齐无关，是语言层面的保证。

例如，Go语言的类型大小保证如下：

这意味着无论uint64变量存储的值是0、100还是math.MaxUint64，它在程序内存中分配的存储空间都固定是8字节。

变长编码（Varint）与binary.PutUvarint

然而，当涉及到数据的序列化或网络传输时，我们常常会遇到变长编码（Varint）的概念。Varint是一种紧凑的表示数字的方式，对于较小的数字，它会占用较少的字节，而对于较大的数字，它会占用更多的字节。Go语言标准库中的encoding/binary包提供了PutUvarint函数，用于将uint64值编码为Varint格式。

立即学习“go语言免费学习笔记（深入）”；

binary.PutUvarint函数可以将一个uint64值编码到字节切片中，并返回写入的字节数。令人困惑的是，对于一个uint64值，该函数最多可能写入10个字节，而不是通常认为的8字节。

为什么Uvarint会占用更多字节？

这种差异源于Varint编码的设计原则。Varint编码通常使用每个字节的最高有效位（MSB）作为“延续位”：如果MSB为1，表示这个数字还有后续字节；如果MSB为0，表示这是数字的最后一个字节。每个字节的其余7位用于存储实际的数值数据。

对于一个64位的uint64值，它最多需要64位来表示。如果每个字节提供7位有效数据，那么理论上ceil(64 / 7) = 10个字节是足够的。这意味着最坏情况下，一个uint64值需要10个字节来编码。

存了个图

视频图片解析/字幕/剪辑，视频高清保存/图片源图提取

17

查看详情

Go语言的binary包中的设计说明对此有详细解释：

// 设计说明：
// 64位值最多需要10个字节。编码可以更紧凑：
// 一个完整的64位值需要一个额外的字节来保存第63位。
// 相反，前一个字节的MSB可以用来保存第63位，
// 因为我们知道不会有超过64位。
// 这是一个微不足道的改进，可以将最大编码长度减少到9个字节。
// 然而，它会打破MSB总是“延续位”的不变性，
// 从而使格式与更大数字（例如128位）的Varint编码不兼容。

这段设计说明揭示了关键点：

1. 最高10字节： 为了表示64位数据，并且每个字节只贡献7位有效数据（因为1位是延续位），因此需要10个字节。
2. 设计权衡： 理论上，可以通过特殊处理（例如，让最后一个字节的MSB不作为延续位，而是作为第63位数据）将最大编码长度减少到9字节。
3. 兼容性与不变性： 然而，Go语言的binary包选择不这样做，是为了保持一个重要的不变性：MSB始终作为延续位。这种设计使得Varint格式能够兼容更大数字的编码（如未来的128位或更多位），而不会引入特殊的边缘情况处理，从而简化了编码和解码逻辑。

示例代码

以下代码演示了uint64在内存中的大小以及binary.PutUvarint的编码行为：

package main

import (
    "encoding/binary"
    "fmt"
    "unsafe"
)

func main() {
    var val uint64 = 12345678901234567890 // 一个较大的uint64值
    var smallVal uint64 = 123             // 一个较小的uint64值

    // 1. 检查uint64在内存中的大小
    fmt.Printf("uint64类型在内存中占用 %d 字节。\n", unsafe.Sizeof(val))

    // 2. 使用binary.PutUvarint进行编码
    buf := make([]byte, binary.MaxVarintLen64) // MaxVarintLen64 为 10

    // 编码大值
    nBig := binary.PutUvarint(buf, val)
    fmt.Printf("值 %d (大值) 编码后占用 %d 字节: %x\n", val, nBig, buf[:nBig])

    // 编码小值
    nSmall := binary.PutUvarint(buf, smallVal)
    fmt.Printf("值 %d (小值) 编码后占用 %d 字节: %x\n", smallVal, nSmall, buf[:nSmall])

    // 编码最大uint64值
    maxUint64 := ^uint64(0) // math.MaxUint64
    nMax := binary.PutUvarint(buf, maxUint64)
    fmt.Printf("值 %d (MaxUint64) 编码后占用 %d 字节: %x\n", maxUint64, nMax, buf[:nMax])
}

运行上述代码，你会观察到：

• uint64类型在内存中占用 8 字节。
• 较大的uint64值和MaxUint64值编码后会占用10个字节。
• 较小的uint64值编码后会占用较少的字节（例如1或2字节）。

总结

理解uint64的存储和Varint编码之间的区别至关重要：

1. 内存存储： 在Go程序运行时的内存中，uint64类型变量始终占用固定的8字节空间。这是类型本身的特性。
2. 序列化编码： 当使用binary.PutUvarint等函数进行数据序列化时，采用的是变长编码（Varint）。这种编码方式旨在节省存储空间，对于小数字占用字节少，对于大数字则占用字节多。
3. 编码长度： uint64的Varint编码最大可达10字节，这是因为Varint编码每个字节的最高位用作延续位，牺牲了一位数据位，并且为了保持编码格式的通用性和兼容性，Go语言选择了这种设计。

因此，在处理uint64数据时，需要区分其在内存中的静态大小和在序列化（如文件存储、网络传输）时可能采用的动态编码大小。

以上就是Go语言中uint64的存储与变长编码解析的详细内容，更多请关注php中文网其它相关文章！