优化Pandas大型CSV文件处理：向量化操作与性能提升

import os
import pandas as pd

# 假设 dados 是一个已加载的DataFrame
# dados = pd.read_csv('your_file.csv')

for i, row in dados.iterrows():
    # 对每一行执行复杂逻辑
    # 例如：检查 row['column_a'] 或 row['column_b'] 是否包含特定值
    # 如果满足条件，将 row['column_c'] 添加到列表中
    pass

import pandas as pd

df = pd.DataFrame({'existing_column': [1, 2, 3, 4, 5]})

# 传统循环（应避免）
# new_column_list = []
# for val in df['existing_column']:
#     new_column_list.append(val + 1)
# df['new_column'] = new_column_list

# 向量化操作
df['new_column'] = df['existing_column'] + 1
print(df)

   existing_column  new_column
0                1           2
1                2           3
2                3           4
3                4           5
4                5           6

import pandas as pd

# 模拟数据
data = {
    'column_a': ['apple', 'banana', 'orange', 'grape', 'kiwi'],
    'column_b': ['red', 'yellow', 'green', 'purple', 'yellow'],
    'column_c': [10, 20, 30, 40, 50]
}
dados = pd.DataFrame(data)

# 待搜索的项列表
search_items = ['banana', 'green', 'kiwi']

# 创建布尔掩码：检查 'column_a' 中的值是否在 search_items 中
mask_a = dados['column_a'].isin(search_items)

# 创建布尔掩码：检查 'column_b' 中的值是否在 search_items 中
mask_b = dados['column_b'].isin(search_items)

# 合并两个掩码：如果 column_a 或 column_b 满足条件
combined_mask = mask_a | mask_b

# 使用合并后的掩码选择 'column_c' 中的值，并转换为列表
result_list = dados.loc[combined_mask, 'column_c'].tolist()

print("符合条件的 column_c 值列表:", result_list)

符合条件的 column_c 值列表: [20, 30, 50]

import pandas as pd
import os

# 假设文件路径
# 在实际应用中，请替换为你的CSV文件路径
desktop_path = os.path.join(os.path.join(os.environ["USERPROFILE"]), "Desktop")
file_path = os.path.join(desktop_path, 'your_large_file.csv') # 请替换为你的实际文件

# 模拟一个大型文件处理场景
# 待搜索的项列表
search_items = ['banana', 'green', 'kiwi']

# 定义一个函数来处理每个数据块
def process_chunk(chunk_df, search_items_list):
    mask_a = chunk_df['column_a'].isin(search_items_list)
    mask_b = chunk_df['column_b'].isin(search_items_list)
    combined_mask = mask_a | mask_b
    return chunk_df.loc[combined_mask, 'column_c'].tolist()

all_results = []
# 设置 chunksize，例如每次读取100,000行
# 根据你的内存和文件大小调整此值
chunk_size = 100000

# 迭代读取CSV文件
for chunk_id, chunk in enumerate(pd.read_csv(file_path, chunksize=chunk_size)):
    print(f"正在处理第 {chunk_id + 1} 个数据块...")
    chunk_result = process_chunk(chunk, search_items)
    all_results.extend(chunk_result)

print("\n所有符合条件的 column_c 值列表 (分块处理):", all_results)