Python Pandas：高效合并多工作簿多工作表 Excel 数据

pip install pandas openpyxl xlrd

path = "your_excel_file.xlsx"
# 错误：path 是字符串，没有 sheet_names 属性
for sheet_name in path.sheet_names: 
    pass

file_path = "your_excel_file.xlsx"
xls = pd.ExcelFile(file_path) # 创建 ExcelFile 对象
for sheet_name in xls.sheet_names: # 现在可以访问 sheet_names 属性
    pass

import os
import pandas as pd

def merge_excel_sheets(base_path, target_sheet_names=None):
    """
    合并指定路径下多个Excel文件中符合条件的工作表。

    Args:
        base_path (str): 包含Excel文件的根目录路径。
        target_sheet_names (list, optional): 一个列表，包含需要合并的工作表名称。
                                              如果为None，则合并所有非排除工作表。

    Returns:
        dict: 键为工作表名称，值为合并后的DataFrame的字典。
              每个DataFrame包含来自所有Excel文件中同名工作表的数据。
    """
    # 临时存储每个工作表名称下的所有DataFrame列表
    all_sheet_data_lists = {} 

    print(f"开始遍历目录: {base_path}")

    # 遍历指定目录及其子目录
    for root, _, files in os.walk(base_path):
        for fname in files:
            file_path = os.path.join(root, fname)

            # 确保只处理Excel文件（.xlsx 或 .xls 扩展名）
            if fname.endswith(('.xlsx', '.xls')):
                try:
                    # 使用 pd.ExcelFile 加载 Excel 文件，而不是直接操作字符串路径
                    xls = pd.ExcelFile(file_path)
                    print(f"\n正在处理文件: {fname}")

                    # 遍历当前Excel文件中的所有工作表
                    for sheet_name in xls.sheet_names:
                        # 根据 target_sheet_names 筛选工作表
                        if target_sheet_names and sheet_name not in target_sheet_names:
                            continue # 跳过不符合条件的工作表

                        print(f"  - 发现并处理工作表: '{sheet_name}'")

                        try:
                            # 解析指定工作表到 DataFrame
                            df = xls.parse(sheet_name)

                            # 将当前 DataFrame 添加到对应工作表名称的列表中
                            if sheet_name not in all_sheet_data_lists:
                                all_sheet_data_lists[sheet_name] = []
                            all_sheet_data_lists[sheet_name].append(df)
                        except Exception as e:
                            print(f"    - 警告: 无法解析工作表 '{sheet_name}' 在文件 '{fname}' 中: {e}")
                            continue
                except Exception as e:
                    print(f"  - 错误: 无法加载Excel文件 '{fname}': {e}")
                    continue
            else:
                print(f"  - 跳过非Excel文件: {fname}")

    # 将每个工作表名称下的所有DataFrame列表合并成一个DataFrame
    final_merged_dict = {}
    for sheet_name, df_list in all_sheet_data_lists.items():
        if df_list:
            # 使用 pd.concat 纵向合并所有 DataFrame
            final_merged_dict[sheet_name] = pd.concat(df_list, ignore_index=True)
            print(f"\n成功合并工作表 '{sheet_name}' 的数据。总行数: {len(final_merged_dict[sheet_name])}")
        else:
            print(f"警告: 工作表 '{sheet_name}' 未找到任何数据进行合并。")

    return final_merged_dict

# --- 使用示例 ---
# 请将 'your/excel/files/path' 替换为你的Excel文件所在的实际路径
# 确保该路径下包含多个Excel文件，且这些文件内有同名的工作表。
excel_directory_path = 'your/excel/files/path' 

# 示例：合并名为 'Portfolios' 和 'SP Search Term Req' 的工作表
# 如果希望合并所有工作表，可以将 target_sheet_names 设置为 None
target_sheets_to_merge = ['Portfolios', 'SP Search Term Req'] 

# 调用函数执行合并操作
merged_dataframes = merge_excel_sheets(excel_directory_path, target_sheet_names=target_sheets_to_merge)

# 打印合并结果的概览
if merged_dataframes:
    print("\n--- 合并结果概览 ---")
    for sheet_name, df in merged_dataframes.items():
        print(f"\n工作表 '{sheet_name}' 合并后的数据 (前5行):")
        print(df.head())
        print(f"总行数: {len(df)}")
else:
    print("\n未找到符合条件的工作表数据进行合并。")

# 如果需要将所有合并后的DataFrame进一步整合成一个大的DataFrame
# all_combined_dfs = list(merged_dataframes.values())
# if all_combined_dfs:
#     final_single_df = pd.concat(all_combined_dfs, ignore_index=True)
#     print("\n所有符合条件的工作表合并成一个大DataFrame的概览 (前5行):")
#     print(final_single_df.head())
#     print(f"总行数: {len(final_single_df)}")