使用Pandas高效重构Excel宽表数据

1. 数据重构需求概述

在数据分析工作中，我们经常会遇到以“宽”格式存储的数据，其中包含大量重复模式的列组。例如，一个Excel表格可能包含多对id和mprice列，如id_m00、mprice、id_m01、mprice，依此类推。这种结构虽然在某些情况下便于数据录入，但在进行数据分析或构建模型时，通常需要将其转换为“长”格式，即每行代表一个独立的观测值，且相关的id和mprice数据分别位于单独的列中。

原始数据示例：

目标数据结构：

对于这种特定的重构需求，传统的pd.melt函数可能不够直接，容易产生额外的中间列或大量的空值，需要后续进行复杂的清理。而pd.lreshape函数则为此类场景提供了更为优雅和高效的解决方案。

2. 使用 pd.lreshape 进行数据重构

pd.lreshape函数专门用于处理具有固定模式列组的宽表数据。它的核心思想是指定一组“stubnames”（存根名称）以及这些存根名称对应的所有列，然后将它们堆叠起来。

简洁大气教育培训行业网站源码下载(带手机数据同步)

1、该模板代码干净整洁； 2、效果相当的炫酷，相当简洁大气高端，模板简单，全部已数据调用，只需后台修改栏目名称即可 3、适用于教育培训、教育机构； 4、网站手工DIV+css，代码精简，首页排版整洁大方、布局合理、利于SEO、图文并茂、静态HTML； 5、首页和全局重新做了全面优化，方便大家无缝使用；

425

查看详情

2.1 核心概念

pd.lreshape的语法如下： pandas.lreshape(data, column_groups, dropna=False)

• data: 要进行重塑的DataFrame。
• column_groups: 一个字典，键是新的列名（即重塑后的列名），值是一个列表，包含原始DataFrame中属于该新列名的所有列名。这些列表中的列名必须按照它们在原始DataFrame中的逻辑顺序排列，以确保正确配对。

2.2 实现步骤与代码示例

假设我们已经将Excel数据加载到一个名为df的Pandas DataFrame中。

import pandas as pd

# 模拟加载原始Excel数据
# 在实际应用中，您会使用 pd.read_excel("您的文件路径.xlsx")
data = {
    'Date': ['01.01.2023', '02.01.2023'],
    'id_m00': ['aa-bb-cc', 'aa-dd-ee'],
    'mprice': ['12,05', '09,55'],
    'id_m01': ['dd-ee-fr', 'ff-gg-gg'],
    'mprice.1': ['8,80', '7,50'] # 注意：Pandas在加载重复列名时会自动添加后缀，如 mprice.1
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("-" * 30)

# 定义要重塑的列组
# 使用 df.filter(like="...") 可以方便地选择所有匹配模式的列
# 对于 'id' 列组，我们选择所有包含 'id_m' 的列
id_columns = df.filter(like="id_m").columns.tolist()
# 对于 'mprice' 列组，我们选择所有包含 'price' 的列
# 注意这里我们使用了 'price' 而不是 'mprice'，因为加载后可能有 'mprice.1' 等
mprice_columns = df.filter(like="price").columns.tolist()

# 使用 lreshape 进行重塑
# column_groups 字典的键是重塑后的列名，值是原始DataFrame中对应的列名列表
out = pd.lreshape(
    df,
    {"id": id_columns, "mprice": mprice_columns}
)

# 格式化 mprice 列，将逗号替换为小数点并转换为数值类型
out['mprice'] = out['mprice'].str.replace(',', '.').astype(float)

print("\n重塑后的DataFrame:")
print(out)

代码解释：

1. 数据加载模拟： pd.DataFrame(data) 模拟了从Excel文件加载数据后的DataFrame结构。特别注意，当Excel中存在同名列（如多个mprice）时，Pandas在加载时会自动为后续的同名列添加.1, .2等后缀，例如mprice.1。这是lreshape能够正确识别并配对的关键。
2. 识别列组：
   • df.filter(like="id_m").columns.tolist() 会返回所有列名中包含“id_m”的列，例如['id_m00', 'id_m01']。
   • df.filter(like="price").columns.tolist() 会返回所有列名中包含“price”的列，例如['mprice', 'mprice.1']。 这些列表将作为lreshape中column_groups字典的值。
3. 执行 lreshape：
   • {"id": id_columns, "mprice": mprice_columns} 定义了重塑的规则。它告诉lreshape，将id_columns列表中的所有列（按顺序）合并到新的id列下，同时将mprice_columns列表中的所有列（按顺序）合并到新的mprice列下。由于列名列表是按原始顺序提供的，lreshape能够智能地将id_m00与第一个mprice配对，id_m01与mprice.1配对，以此类推。
4. 数据类型转换： 原始数据中的mprice可能包含逗号作为小数分隔符，并且是字符串类型。out['mprice'].str.replace(',', '.').astype(float) 将其转换为标准的浮点数类型，以便后续的数值计算。

3. 注意事项与总结

• 列名规范性： pd.lreshape非常依赖于原始列名的模式。确保您的宽表数据中的列名遵循可识别的模式（例如，id_mXX和mprice）。
• Pandas加载Excel的列名处理： 当Excel文件中存在重复的列名时，pd.read_excel会自动为后续的重复列名添加数字后缀（如mprice, mprice.1, mprice.2）。lreshape正是利用了这种机制来正确匹配对应的列。因此，在构建column_groups时，使用df.filter(like="...")这种模式匹配的方式来获取所有相关列，比手动列出所有列名更为健壮和方便。
• 与 melt 的区别： 尽管melt也能用于宽到长的转换，但对于这种具有固定配对模式的列（如id和value总是成对出现），lreshape提供了更直接、更少中间步骤的解决方案，避免了melt可能产生的额外variable列和需要后续透视才能恢复原始配对的复杂性。
• 性能： 对于大型数据集，lreshape通常表现出良好的性能，因为它针对这种特定类型的重塑进行了优化。

通过掌握pd.lreshape，数据分析师和工程师可以高效地处理复杂的宽表数据重构任务，将数据转换为更利于分析和建模的“长”格式，从而提升数据处理的效率和准确性。

以上就是使用Pandas高效重构Excel宽表数据的详细内容，更多请关注php中文网其它相关文章！