Pandas DataFrame混合数据列的正则表达式模式提取教程

import pandas as pd
import numpy as np # 虽然示例中未使用，但通常与Pandas一起使用

# 定义Excel文件路径
excel_file_path = 'F:\Google Drive\Matthias\Arbeit\ISQM\08 - Tool Menü - Skripte DD 19.12.2023\Testskripte\value_cnts_2.xlsx'

# 使用pd.read_excel直接加载数据
# sheet_name参数可以指定要读取的工作表，默认为第一个
try:
    df = pd.read_excel(excel_file_path, sheet_name=0)
    print("DataFrame加载成功，前5行数据:")
    print(df.head())
except FileNotFoundError:
    print(f"错误：文件未找到，请检查路径: {excel_file_path}")
except Exception as e:
    print(f"加载Excel文件时发生错误: {e}")

# 假设我们关注的列是 'Nachfolger'
# 打印该列的一些信息，以便了解数据概况
print("
'Nachfolger' 列数据概况:")
print(df['Nachfolger'].value_counts(dropna=False))

# 提取 'EE', 'EA+', 'EA-', 'AA' 模式
# str.extract会为每个匹配项创建一个新的列
df['Verknüpfung_模式'] = df['Nachfolger'].str.extract(r'(EE|EA[+-]|AA)', expand=False)

# 打印提取后的DataFrame，并关注新增的列
print("
提取模式后的DataFrame:")
print(df[['Nachfolger', 'Verknüpfung_模式']].head(40))

# 统计提取到的模式及其频次
print("
提取模式的频次统计:")
print(df['Verknüpfung_模式'].value_counts(dropna=False))

# 将未匹配的NaN值填充为 '无匹配'
df['Verknüpfung_模式_填充'] = df['Verknüpfung_模式'].fillna('无匹配')

print("
填充NaN值后的模式列:")
print(df[['Nachfolger', 'Verknüpfung_模式_填充']].head(40))

# 统计填充后的模式
print("
填充后模式的频次统计:")
print(df['Verknüpfung_模式_填充'].value_counts())

# 计算每种成功匹配的模式的数量
successful_matches_counts = df['Verknüpfung_模式'].dropna().value_counts()
print("
成功匹配模式的计数:")
print(successful_matches_counts)

# 如果需要计算总共有多少行包含至少一个匹配模式
total_rows_with_match = df['Verknüpfung_模式'].notna().sum()
print(f"
总共有 {total_rows_with_match} 行包含至少一个匹配模式。")

import pandas as pd
import numpy as np

# 1. 定义Excel文件路径
excel_file_path = 'F:\Google Drive\Matthias\Arbeit\ISQM\08 - Tool Menü - Skripte DD 19.12.2023\Testskripte\value_cnts_2.xlsx'

# 2. 加载Excel数据到DataFrame
try:
    df = pd.read_excel(excel_file_path, sheet_name=0)
    print("DataFrame加载成功。")
except FileNotFoundError:
    print(f"错误：文件未找到，请检查路径: {excel_file_path}")
    exit() # 如果文件未找到，退出程序
except Exception as e:
    print(f"加载Excel文件时发生错误: {e}")
    exit()

# 3. 定义正则表达式模式
# 匹配 'EE', 'EA+', 'EA-', 'AA'
regex_pattern = r'(EE|EA[+-]|AA)'

# 4. 使用 str.extract() 提取模式
# expand=False 在只有一个捕获组时返回Series
df['Verknüpfung_提取模式'] = df['Nachfolger'].str.extract(regex_pattern, expand=False)

# 5. 处理提取结果：填充NaN值
# 将未匹配的模式填充为 '无匹配'，以便于后续统计
df['Verknüpfung_最终模式'] = df['Verknüpfung_提取模式'].fillna('无匹配')

# 6. 打印部分结果和统计信息
print("
--- 提取和处理后的DataFrame（部分）---")
print(df[['Nachfolger', 'Verknüpfung_提取模式', 'Verknüpfung_最终模式']].head(40))

print("
--- 提取模式的频次统计 ---")
# 统计最终模式列中每种模式的出现次数
print(df['Verknüpfung_最终模式'].value_counts())

print("
--- 成功匹配模式的独立计数 ---")
# 仅统计成功匹配的模式（不包括 '无匹配'）
print(df['Verknüpfung_提取模式'].dropna().value_counts())

print(f"
总行数: {len(df)}")
print(f"包含匹配模式的行数: {df['Verknüpfung_提取模式'].notna().sum()}")
print(f"不包含匹配模式的行数: {df['Verknüpfung_提取模式'].isna().sum()}")