Pandas DataFrame行求和技巧：处理混合数据类型并避免0值结果-Python教程-PHP中文网

Pandas DataFrame行求和技巧：处理混合数据类型并避免0值结果

碧海醫心

发布： 2025-11-21 15:16:29

原创

532人浏览过

Pandas DataFrame行求和技巧：处理混合数据类型并避免0值结果

在pandas dataframe中对包含混合数据类型的行进行数值求和时，直接使用`df.sum(axis=1, numeric_only=true)`可能因`numeric_only`参数的工作机制而导致0值结果。本文将深入解析此问题，并提供一种健壮的解决方案：通过结合`pd.to_numeric`与`errors='coerce'`对非数值元素进行预处理，确保只有可转换的数值参与求和，并进一步展示如何将求和结果格式化为时间间隔。

理解df.sum(numeric_only=True)的行为

当我们需要对Pandas DataFrame的行进行求和，并且行中包含字符串、列表等非数值类型时，一个常见的做法是使用df.sum(axis=1, numeric_only=True)。然而，如果您的DataFrame中包含类似“No hours logged”这样的字符串，或者以字符串形式存储的数字（如“29160”），即使使用了numeric_only=True，求和结果也可能出乎意料地显示为0.0。

这背后的原因是numeric_only参数的工作方式。根据Pandas官方文档，numeric_only=True参数用于“只包含浮点型、整型、布尔型列”。这意味着Pandas在执行求和操作前，会检查整个列的数据类型。如果某一列中包含任何非数值类型（例如，即使只有一个单元格是字符串，整个列的dtype也可能被推断为object），那么这一整列都将被numeric_only=True排除在计算之外。

在我们的示例数据中，像'2023-11-28'这样的日期列，虽然大部分单元格看起来是数字的字符串，但它们实际存储的是字符串（'29160'），甚至有明确的非数字字符串（'No hours logged'）和列表（'[10:02, Odd number: missing entry]'）。因此，这些列的dtype很可能是object，从而被numeric_only=True忽略，导致最终的total_hours列全部为0.0。

解决方案：使用pd.to_numeric进行数据预处理

要正确地对包含混合数据类型的行进行数值求和，我们需要在求和之前，将每个单元格中可转换为数字的值进行转换，并将不可转换的值优雅地处理掉。pd.to_numeric函数结合errors='coerce'参数是解决此问题的理想工具。

pd.to_numeric(x, errors='coerce')的工作原理如下：

它会尝试将x（可以是Series或单个值）转换为数值类型。
如果转换成功，则返回对应的数值。
如果转换失败（例如，遇到'No hours logged'或'[10:02, Odd number: missing entry]'），并且errors参数设置为'coerce'，那么该值将被替换为NaN（Not a Number）。NaN值在求和时会被默认忽略，从而不影响最终的数值结果。

实施步骤与示例代码

首先，我们准备示例数据：

import pandas as pd

data = {
    'id': {0: 514, 1: 2414, 2: 3225, 3: 3434, 4: 3864, 5: 4716, 6: 5793},
    'name': {0: 'alexis', 1: 'donald', 2: 'mackenzie', 3: 'louisa', 4: 'olga', 5: 'rick', 6: 'roberta'},
    '2023-11-28': {0: 'No hours logged', 1: '29160', 2: '28500', 3: '25380', 4: '15600', 5: '30180', 6: '29220'},
    '2023-11-29': {0: 'No hours logged', 1: '29160', 2: '28620', 3: '18840', 4: '19080', 5: '28800', 6: '29220'},
    '2023-11-30': {0: 'No hours logged', 1: '28860', 2: '28560', 3: '26040', 4: '14400', 5: '28740', 6: '29460'},
    '2023-12-01': {0: 'No hours logged', 1: '28620', 2: '28620', 3: 'No hours logged', 4: '13800', 5: '28620', 6: '29280'},
    '2023-12-02': {0: 'No hours logged', 1: '[10:02, Odd number: missing entry]', 2: '28980', 3: '25560', 4: '5220', 5: '28680', 6: '29340'},
    '2023-12-03': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: '17820', 5: 'No hours logged', 6: 'No hours logged'},
    '2023-12-04': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: 'No hours logged', 5: 'No hours logged', 6: 'No hours logged'},
    '2023-12-05': {0: 'No hours logged', 1: '28860', 2: '28740', 3: '24900', 4: '14400', 5: '28680', 6: '29040'},
}

df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

登录后复制

接下来，我们应用pd.to_numeric并进行求和：

# 注意：选择列时应从索引为2的列开始，即跳过 'id' 和 'name' 列
# 如果您的DataFrame结构不同，请相应调整列选择。
df['total_hours'] = (
    df.iloc[:, 2:] # 选择从第三列开始的所有列（日期列）
      .apply(lambda x: pd.to_numeric(x, errors='coerce')) # 对每列应用pd.to_numeric
      .sum(axis=1) # 对处理后的DataFrame按行求和
)

print("\n添加 'total_hours' 列后的DataFrame:")
print(df[['id', 'name', 'total_hours']])

登录后复制

代码解析：

Alkaid.art

专门为Phtoshop打造的AIGC绘画插件

153

查看详情

df.iloc[:, 2:]：这部分代码用于选择DataFrame中从第三列（索引为2）开始的所有列。在我们的示例中，这包括了所有日期相关的工时记录列，排除了id和name列。
.apply(lambda x: pd.to_numeric(x, errors='coerce'))：对选定的每一列（x代表一个Series），应用一个lambda函数。这个函数的核心是pd.to_numeric(x, errors='coerce')，它尝试将列中的每个元素转换为数值。如果转换失败，则替换为NaN。
.sum(axis=1)：对经过pd.to_numeric处理后生成的DataFrame（其中非数值已变为NaN）按行进行求和。Pandas的sum()函数默认会忽略NaN值，因此只有实际的数值会被加起来。

输出结果示例：

添加 'total_hours' 列后的DataFrame:
     id       name  total_hours
0   514     alexis          0.0
1  2414     donald     144660.0
2  3225  mackenzie     172020.0
3  3434     louisa     120720.0
4  3864       olga     100320.0
5  4716       rick     173700.0
6  5793    roberta     175560.0

登录后复制

现在，total_hours列正确地反映了每行中所有可转换数值的总和。

格式化总工时为时间间隔

由于求和结果是秒数，为了更直观地显示，我们可以将其转换为HH:MM或DD HH:MM:SS格式。Pandas提供了pd.to_timedelta函数，可以将秒数转换为时间间隔（timedelta）对象。

df['total_hours_formatted'] = pd.to_timedelta(df['total_hours'], unit='s')

print("\n格式化后的总工时:")
print(df[['id', 'name', 'total_hours_formatted']])

登录后复制

输出结果示例：

格式化后的总工时:
     id       name total_hours_formatted
0   514     alexis       0 days 00:00:00
1  2414     donald       1 days 16:11:00
2  3225  mackenzie       1 days 23:47:00
3  3434     louisa       1 days 09:32:00
4  3864       olga       1 days 03:52:00
5  4716       rick       2 days 00:15:00
6  5793    roberta       2 days 00:46:00

登录后复制

这样，总工时就被转换成了更易读的时间格式。

注意事项与总结

列选择的准确性： 在应用apply和sum之前，务必确保您选择的是包含数值数据（即使是以字符串形式存在）的正确列。错误地包含了id或name等非日期/时间列，可能会导致额外的错误或不准确的结果。使用iloc进行基于位置的选择，或使用列名列表进行基于标签的选择都是有效的方法。
errors='coerce'的重要性： 如果不使用errors='coerce'，pd.to_numeric在遇到非数字字符串时会抛出错误，中断程序执行。'coerce'参数是处理脏数据、确保代码健壮性的关键。
NaN值的处理： sum()函数默认会忽略NaN值。如果您的业务逻辑要求将NaN视为0参与求和，可以在sum()之前使用fillna(0)。
数据类型一致性： 尽管本教程提供了处理混合数据类型的方案，但最佳实践是在数据导入或生成时就尽量保证数据类型的一致性。将数字存储为字符串会增加处理的复杂性。

通过以上方法，您可以有效地在Pandas DataFrame中对包含混合数据类型的行进行求和，避免因numeric_only参数误解而导致的0值结果，并灵活地格式化您的输出。

以上就是Pandas DataFrame行求和技巧：处理混合数据类型并避免0值结果的详细内容，更多请关注php中文网其它相关文章！