使用Python在Databricks Workspace中删除文件的正确方法

本文详细阐述了在databricks workspace中通过python删除文件的正确方法。许多用户误用`dbutils.fs`，但它仅适用于dbfs。正确的做法是利用python标准库中的`pathlib`或`os`模块进行文件操作，以实现对workspace内文件的批量删除，从而避免常见错误并有效管理文件资源。

在Databricks环境中进行文件管理时，理解不同文件系统路径的区别至关重要。Databricks提供了两种主要的文件存储位置：Databricks File System (DBFS) 和 Workspace 文件。许多用户在尝试删除Workspace中的文件时，可能会错误地使用dbutils.fs工具，导致操作失败。本文将详细解释这一常见误区，并提供使用Python标准库在Databricks Workspace中安全高效删除文件的正确方法。

理解Databricks文件系统与Workspace文件

dbutils.fs是Databricks Notebooks中一个强大的工具，专门设计用于与Databricks File System (DBFS) 进行交互。DBFS是一个分布式文件系统，它将对象存储（如AWS S3、Azure Blob Storage或Google Cloud Storage）抽象为类似本地文件系统的接口。DBFS路径通常以/dbfs/开头，或者在Notebook中直接使用dbutils.fs命令时省略前缀。

然而，Databricks Workspace中的用户文件（例如位于/Workspace/Users/<your.email@example.com>/路径下的文件）并非存储在DBFS中。它们是Notebooks和Workspace其他资产的本地文件，其行为更类似于标准操作系统上的文件。因此，尝试使用dbutils.fs.rm('/Workspace/Users/...', True)来删除这些文件是无效的，因为dbutils.fs无法识别并操作这些路径，通常会返回False表示操作失败。

要正确删除Databricks Workspace中的文件，我们需要将其视为标准文件系统中的文件，并使用Python的内置文件I/O操作。

立即学习“Python免费学习笔记（深入）”；

使用 pathlib 模块删除Workspace文件

pathlib模块是Python 3.4及更高版本中推荐的路径操作库，它提供了面向对象的路径操作方式，使得文件系统路径的处理更加直观和Pythonic。

以下是如何使用pathlib模块批量删除Databricks Workspace中特定类型文件的示例：

人声去除

用强大的AI算法将声音从音乐中分离出来

23

查看详情

from pathlib import Path

# 定义要删除文件的目录路径
# 请将 'your.email@example.com' 替换为您的实际邮箱地址或用户标识符
# 例如：'/Workspace/Users/john.doe@example.com/'
target_directory_path = '/Workspace/Users/your.email@example.com/'

# 创建Path对象
target_directory = Path(target_directory_path)

# 检查目录是否存在
if not target_directory.is_dir():
    print(f"错误：目录 '{target_directory_path}' 不存在或不是一个目录。")
else:
    print(f"正在扫描目录: {target_directory_path}")
    # 使用glob()方法查找所有匹配 '*.json' 模式的文件
    # 您可以根据需要更改 '*.json' 为其他模式，例如 '*.csv', '*' (所有文件)
    json_files_to_delete = target_directory.glob('*.json')

    deleted_count = 0
    # 遍历并删除文件
    for f in json_files_to_delete:
        if f.is_file(): # 确保是文件而不是目录
            try:
                f.unlink() # 删除文件
                print(f"成功删除文件: {f}")
                deleted_count += 1
            except OSError as e:
                print(f"删除文件失败 {f}: {e}")
        else:
            print(f"跳过非文件项: {f}")

    print(f"文件删除操作完成。共删除 {deleted_count} 个文件。")

代码说明：

• Path(target_directory_path): 将字符串路径转换为Path对象。
• target_directory.glob('*.json'): 返回一个迭代器，包含所有匹配*.json模式的文件路径。
• f.is_file(): 检查当前路径是否为文件。
• f.unlink(): 删除文件。

使用 os 和 glob 模块删除Workspace文件

对于旧版本的Python环境或习惯于使用传统文件操作的用户，os和glob模块也是可行的选择。os模块提供了与操作系统交互的功能，而glob模块则用于查找与指定模式匹配的文件路径名。

以下是使用os和glob模块批量删除文件的示例：

import os
import glob

# 定义要删除文件的路径模式
# 请将 'your.email@example.com' 替换为您的实际邮箱地址或用户标识符
# 例如：'/Workspace/Users/john.doe@example.com/*.csv'
file_pattern = '/Workspace/Users/your.email@example.com/*.json'

print(f"正在查找并删除匹配模式 '{file_pattern}' 的文件...")

# 查找所有匹配模式的文件
files_to_delete = glob.glob(file_pattern)

deleted_count = 0
# 遍历并删除文件
for f in files_to_delete:
    if os.path.isfile(f): # 确保是文件而不是目录
        try:
            os.remove(f) # 删除文件
            print(f"成功删除文件: {f}")
            deleted_count += 1
        except OSError as e:
            print(f"删除文件失败 {f}: {e}")
    else:
        print(f"跳过非文件项: {f}")

print(f"文件删除操作完成。共删除 {deleted_count} 个文件。")

代码说明：

• glob.glob(file_pattern): 返回一个列表，包含所有匹配file_pattern的文件路径。
• os.path.isfile(f): 检查当前路径是否为文件。
• os.remove(f): 删除文件。

注意事项与最佳实践

1. 路径准确性： 务必确保提供的Workspace路径是准确的。错误的路径可能导致操作失败或删除非预期的文件。
2. 权限问题： 执行文件删除操作需要有足够的权限。如果遇到PermissionError，请检查您的Databricks用户或服务主体是否具有对该路径的写入权限。
3. 模式匹配： glob模式支持通配符（例如*匹配任意字符序列，?匹配单个字符）。请谨慎使用，以避免意外删除。
4. 备份与测试： 在生产环境中执行批量删除操作前，强烈建议先进行测试，并对重要数据进行备份。
5. DBFS与Workspace文件区分： 再次强调，dbutils.fs用于DBFS，而标准Python文件I/O用于Workspace文件。混淆两者是常见的错误源。

总结

在Databricks Workspace中删除文件时，关键在于理解其文件系统特性并选择正确的Python工具。dbutils.fs专用于DBFS，而对于Workspace中的文件，应使用Python标准库中的pathlib或os模块。pathlib提供了更现代、更简洁的API，是Python 3.4+的推荐选择。通过本文提供的示例代码和注意事项，您可以有效且安全地管理Databricks Workspace中的文件资源。

以上就是使用Python在Databricks Workspace中删除文件的正确方法的详细内容，更多请关注php中文网其它相关文章！