高效合并大量数据文件的策略：绕过解析实现快速连接

import os

def concatenate_files_efficiently(list_of_filenames: list, output_filename: str, is_binary: bool = False, skip_header: bool = False):
    """
    高效合并文件内容到单个输出文件。

    Args:
        list_of_filenames (list): 包含所有待合并文件路径的列表。
        output_filename (str): 合并后输出文件的路径。
        is_binary (bool): 如果为True，以二进制模式读写；否则以文本模式读写。
        skip_header (bool): 如果为True，则跳过除第一个文件外的所有文件的第一行（假定为头部）。
    """
    mode_write = "wb" if is_binary else "w"
    mode_read = "rb" if is_binary else "r"

    print(f"开始合并 {len(list_of_filenames)} 个文件到 {output_filename}...")

    with open(output_filename, mode_write) as outfile:
        for i, filename in enumerate(list_of_filenames):
            if not os.path.exists(filename):
                print(f"警告: 文件 '{filename}' 不存在，跳过。")
                continue

            with open(filename, mode_read) as infile:
                if i > 0 and skip_header:
                    # 对于非第一个文件，跳过头部
                    if is_binary:
                        # 对于二进制文件，跳过头部可能需要更复杂的逻辑，这里简化为读取并丢弃第一行（如果能按行读取）
                        # 对于真正的二进制格式，跳过头部可能需要知道头部字节数
                        try:
                            infile.readline() # 尝试按行读取并丢弃
                        except AttributeError: # 如果是纯二进制，可能没有readline
                            print(f"警告: 无法在二进制模式下跳过文件 '{filename}' 的头部。")
                            pass
                    else:
                        infile.readline()

                # 逐块或逐行写入内容
                if is_binary:
                    # 对于二进制文件，直接读取所有字节并写入
                    outfile.write(infile.read())
                else:
                    # 对于文本文件，可以逐行读取并写入，或者直接读取所有内容
                    # 逐行处理更节省内存，但如果文件不大，一次性read()也行
                    for line in infile:
                        outfile.write(line)
            print(f"已合并文件: {filename}")

    print(f"所有文件已成功合并到 {output_filename}")

# 示例用法
# 假设你有1000个CSV文件
# file_list = [f"data_{i}.csv" for i in range(1000)]
# concatenate_files_efficiently(file_list, "merged_data.csv", is_binary=False, skip_header=True)

# 假设你有1000个二进制文件
# file_list_binary = [f"data_{i}.bin" for i in range(1000)]
# concatenate_files_efficiently(file_list_binary, "merged_data.bin", is_binary=True)

import pyarrow.ipc as pa_ipc
import pyarrow as pa
import polars as pl

def merge_arrow_files_with_pyarrow(list_of_filenames: list, output_filename: str):
    """
    使用PyArrow合并多个Arrow IPC文件到一个新的Arrow IPC文件。
    """
    all_tables = []
    for filename in list_of_filenames:
        with pa_ipc.open_file(filename) as reader:
            all_tables.append(reader.read_all())

    if not all_tables:
        print("没有文件可合并。")
        return

    # 合并所有PyArrow Table
    merged_table = pa.concat_tables(all_tables)

    # 将合并后的Table写入新的Arrow IPC文件
    with pa_ipc.RecordBatchFileWriter(output_filename, merged_table.schema) as writer:
        writer.write_table(merged_table)

    print(f"所有Arrow文件已使用PyArrow成功合并到 {output_filename}")

# 示例用法
# arrow_file_list = [f"data_{i}.arrow" for i in range(1000)]
# merge_arrow_files_with_pyarrow(arrow_file_list, "merged_data.arrow")

import polars as pl

def merge_arrow_files_with_polars_lazy(list_of_filenames: list, output_filename: str = None):
    """
    使用Polars的惰性API合并多个Arrow IPC文件，并可选地写入到新的Arrow文件。
    """
    if not list_of_filenames:
        print("没有文件可合并。")
        return pl.DataFrame()

    # 使用scan_ipc进行惰性读取和合并
    # Polars会尝试优化这个过程
    merged_df_lazy = pl.scan_ipc(list_of_filenames)

    if output_filename:
        # 如果需要将结果写入文件，使用sink_ipc
        merged_df_lazy.sink_ipc(output_filename)
        print(f"所有Arrow文件已使用Polars惰性API合并并写入到 {output_filename}")
        return None
    else:
        # 如果需要在内存中获取DataFrame，使用collect()
        print("正在收集合并后的DataFrame到内存...")
        merged_df = merged_df_lazy.collect()
        print("合并后的DataFrame已在内存中。")
        return merged_df

# 示例用法
# arrow_file_list = [f"data_{i}.arrow" for i in range(1000)]
# # 直接写入合并后的Arrow文件
# merge_arrow_files_with_polars_lazy(arrow_file_list, "merged_data_polars.arrow")
# # 或者在内存中获取DataFrame
# # final_df = merge_arrow_files_with_polars_lazy(arrow_file_list)