使用 Polars 将字符串列转换为整数列：高效处理 BED12 格式数据

本文旨在提供一个清晰、高效的解决方案，将 Polars DataFrame 中包含逗号分隔整数的字符串列转换为多个整数列。我们将探讨多种方法，包括使用 `.str.strip_chars()`, `.cast()`, `.list.to_struct()` 以及 `unpivot` 和 `pivot` 操作，并提供示例代码和详细解释，帮助你轻松处理 BED12 格式或其他类似的数据转换需求。

在使用 Polars 处理数据时，经常会遇到需要将包含逗号分隔值的字符串列转换为数值列的情况。例如，在处理 BED12 格式的数据时，blockSizes 和 blockStarts 列通常以字符串形式存储，其中包含逗号分隔的整数。本教程将介绍几种使用 Polars 将这些字符串列转换为整数列的有效方法。

方法一：使用 str.strip_chars(), cast(), 和 list.to_struct()

这种方法的核心思想是首先去除字符串末尾的逗号，然后将字符串分割成列表，接着将列表转换为结构体，最后解包结构体。

import polars as pl

df = pl.DataFrame(
    {
        "chrom": ["1", "1", "2", "X"],
        "blockSizes": ["10,29,", "20,22,", "30,25,", "40,23,"],
        "blockStarts": ["0,50,", "0,45,", "0,60,", "0,70,"]
    })

cols = "blockSizes", "blockStarts"

df = df.with_columns(
    pl.col(col)
      .str.strip_chars(",")
      .str.split(",")
      .cast(pl.List(pl.Int32))
      .list.to_struct(
         n_field_strategy = "max_width", 
         fields = lambda idx, col=col: f"{col}_{idx}"
      )
    for col in cols
 ).unnest(cols)

print(df)

代码解释：

Insou AI

Insou AI 是一款强大的人工智能助手，旨在帮助你轻松创建引人入胜的内容和令人印象深刻的演示。

69

查看详情

1. pl.col(col).str.strip_chars(","): 移除列中字符串末尾的逗号。
2. .str.split(","): 将字符串按逗号分割成字符串列表。
3. .cast(pl.List(pl.Int32)): 将字符串列表转换为整数列表。这是关键一步，直接将整个列表转换为整数类型。
4. .list.to_struct(n_field_strategy = "max_width", fields = lambda idx, col=col: f"{col}_{idx}"): 将列表转换为结构体，并动态地为结构体字段命名。n_field_strategy = "max_width" 确保结构体包含所有列表元素，fields 参数允许我们自定义字段名称，这里使用了 lambda 函数，将字段名称设置为 col_idx 的形式，例如 blockSizes_0 和 blockSizes_1。
5. .unnest(cols): 解包结构体，将结构体的字段展开为单独的列。

优点：

• 代码简洁，可读性强。
• 使用 cast 方法一次性将整个列表转换为整数类型，效率较高。
• 动态命名结构体字段，方便后续处理。

注意事项：

• 确保字符串列中的值都是有效的整数，否则 cast 操作会失败。
• n_field_strategy = "max_width" 确保处理长度不一致的列表时不会丢失数据。

方法二：使用函数封装

为了提高代码的可重用性，可以将上述逻辑封装成一个函数。

import polars as pl

def csv_to_struct(col):
    expr = pl.col(col).str.strip_chars(",").str.split(",")
    expr = expr.cast(pl.List(pl.Int32))
    return expr.list.to_struct(
        n_field_strategy = "max_width", 
        fields = lambda idx: f"{col}_{idx}"
    )

cols = "blockSizes", "blockStarts"

df = pl.DataFrame(
    {
        "chrom": ["1", "1", "2", "X"],
        "blockSizes": ["10,29,", "20,22,", "30,25,", "40,23,"],
        "blockStarts": ["0,50,", "0,45,", "0,60,", "0,70,"]
    })

df = df.with_columns(map(csv_to_struct, cols)).unnest(cols)

print(df)

代码解释：

• csv_to_struct(col) 函数接收列名作为参数，并返回一个 Polars 表达式，该表达式执行字符串处理和类型转换操作。
• df.with_columns(map(csv_to_struct, cols)) 将 csv_to_struct 函数应用于 cols 列表中的每个列名，并将结果添加到 DataFrame 中。

优点：

• 代码更加模块化，易于维护和扩展。
• 可以方便地应用于多个 DataFrame。

方法三：使用 unpivot 和 pivot

这种方法通过将数据进行长宽表转换来实现列的转换。

import polars as pl

cols = "blockSizes", "blockStarts"

df = pl.DataFrame(
    {
        "chrom": ["1", "1", "2", "X"],
        "blockSizes": ["10,29,", "20,22,", "30,25,", "40,23,"],
        "blockStarts": ["0,50,", "0,45,", "0,60,", "0,70,"]
    })

df = (df.with_row_index()
   .with_columns(
      pl.col(cols).str.strip_chars(",").str.split(",").cast(pl.List(pl.Int32))
   )
   .explode(cols)
   .unpivot(index=["index", "chrom"], variable_name="name")
   .with_columns(
      pl.format("{}_{}", 
         "name", 
         pl.col("index").cum_count().over("index", "name") - 1
      )
   )
   .pivot(on="name", index=["index", "chrom"]))

print(df)

代码解释：

1. df.with_row_index(): 添加行索引，用于后续的 pivot 操作。
2. pl.col(cols).str.strip_chars(",").str.split(",").cast(pl.List(pl.Int32)): 与前两种方法相同，去除逗号，分割字符串，并转换为整数列表。
3. .explode(cols): 将列表展开为多行。
4. .unpivot(index=["index", "chrom"], variable_name="name"): 将宽表转换为长表，将 blockSizes 和 blockStarts 列合并为 value 列，并添加 name 列表示原始列名。
5. pl.format("{}_{}", "name", pl.col("index").cum_count().over("index", "name") - 1): 创建新的列名，例如 blockSizes_0 和 blockSizes_1。
6. .pivot(on="name", index=["index", "chrom"]): 将长表转换回宽表，将 name 列的值作为列名，value 列的值作为对应的值。

优点：

• 适用于需要更灵活地控制列转换过程的场景。

缺点：

• 代码相对复杂，可读性较差。
• 性能可能不如前两种方法。

总结

本教程介绍了三种使用 Polars 将包含逗号分隔整数的字符串列转换为整数列的方法。第一种方法使用 str.strip_chars(), cast(), 和 list.to_struct()，代码简洁高效，推荐使用。第二种方法将第一种方法封装成函数，提高了代码的可重用性。第三种方法使用 unpivot 和 pivot，适用于需要更灵活地控制列转换过程的场景。选择哪种方法取决于具体的应用场景和个人偏好。无论选择哪种方法，都需要确保字符串列中的值都是有效的整数，否则转换操作会失败。希望本教程能够帮助你更好地使用 Polars 处理数据。

以上就是使用 Polars 将字符串列转换为整数列：高效处理 BED12 格式数据的详细内容，更多请关注php中文网其它相关文章！