本文旨在解决hdfs数据访问中因网络传输造成的性能瓶颈，即便数据已进行本地复制，仍可能出现高网络流量的问题。我们将深入探讨hdfs的短路本地读取（short-circuit local reads）机制，详细介绍其配置方法、客户端集成考量以及潜在的优化效果，旨在帮助用户最大化数据本地性，显著降低网络i/o并提升数据处理效率。
HDFS通过数据复制来提供容错性和高可用性。当一个文件写入HDFS时，其数据块会被复制到多个DataNode上。理论上，当应用程序在某个DataNode上运行时，如果所需数据块的副本存在于该DataNode的本地磁盘上，客户端应该能够直接从本地读取，从而避免网络传输。然而，在实际操作中，尤其是在使用高级文件系统抽象层（如fsspec结合pyarrow）时，即使客户端与DataNode位于同一物理机器，也可能观察到显著的网络I/O。
这通常是由于客户端的读取请求路径未能充分利用底层的本地性机制。例如，当客户端通过hdfs://namenode_ip:9000/...这样的URI连接时，默认情况下，DataNode会通过网络将数据传输给客户端，即使数据就在本地。这是因为DataNode守护进程作为数据的服务方，需要处理客户端的请求、进行身份验证、权限检查以及数据块的校验和验证，这些操作都需要通过网络栈进行通信。对于需要极致I/O性能的场景，这种通过网络栈的传输会引入不必要的CPU开销和网络延迟。
为了解决上述问题，HDFS引入了“短路本地读取”（Short-Circuit Local Reads, SCLR）机制。SCLR允许HDFS客户端在满足特定条件时，绕过DataNode守护进程，直接从本地磁盘读取数据块。
当一个HDFS客户端尝试读取一个数据块时，如果该数据块的一个副本位于客户端所在的本地机器上，并且HDFS集群已正确配置SCLR，客户端会执行以下步骤：
要启用短路本地读取，需要对HDFS集群的配置文件进行相应的修改，主要涉及hdfs-site.xml和core-site.xml。
在所有DataNode和NameNode的hdfs-site.xml中添加或修改以下属性：
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
<description>
Whether to enable short-circuit local reads.
</description>
</property>
<property>
<name>dfs.client.read.shortcircuit.skip.checksum</name>
<value>true</value>
<description>
If short-circuit local reads are enabled, and this is set to true,
the client will not perform checksum verification for the data.
This can improve performance but should be used with caution.
</description>
</property>
<property>
<name>dfs.datanode.drop.cache.behind.reads</name>
<value>true</value>
<description>
Whether to drop the page cache behind reads.
This can be useful for avoiding cache pollution from one-off reads.
</description>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/lib/hadoop-hdfs/dn_socket</value>
<description>
The path to the Unix domain socket that the DataNode should use
for communicating with clients for short-circuit local reads.
This path must be accessible by both the DataNode and the client.
It's recommended to place this in a directory owned by the HDFS user
and with appropriate permissions.
</description>
</property>重要提示：
如果你的集群使用YARN，可能还需要在core-site.xml中配置hadoop.tmp.dir，确保其权限正确，因为HDFS客户端可能会在该目录下创建临时文件。
修改配置文件后，需要重启HDFS集群（DataNode和NameNode）以使更改生效。
即使HDFS集群已配置SCLR，客户端应用程序也需要满足特定条件才能利用此功能。
对于使用fsspec和pyarrow进行HDFS访问的Python应用程序，关键在于底层是否能调用到配置了SCLR的Hadoop原生客户端库。pyarrow.fs.HadoopFileSystem实际上是libhdfs或libhdfs3的Python绑定，它们是Hadoop原生客户端库。
要使Python客户端能够利用SCLR：
当满足这些条件时，你的Python代码（例如使用fsspec读取Parquet文件）将能够自动利用短路本地读取：
import fsspec
import pandas as pd
import os
# 假设HDFS配置文件位于 /etc/hadoop/conf
# 并且Hadoop原生库路径已添加到LD_LIBRARY_PATH
# os.environ['HADOOP_CONF_DIR'] = '/etc/hadoop/conf' # 确保客户端能找到HDFS配置
# 在DataNode机器上运行此代码
# 确保HDFS集群已启用短路本地读取，且当前机器是目标数据块的DataNode
hdfs_path = 'hdfs://namenode_ip:9000/path/to/data.parquet'
try:
with fsspec.open(hdfs_path, 'rb') as fp:
df = pd.read_parquet(fp)
print(f"成功从HDFS读取数据：{hdfs_path}")
# 在实际场景中，可以通过监控网络流量来验证SCLR是否生效
except Exception as e:
print(f"读取HDFS数据时发生错误: {e}")
验证SCLR是否生效：
正如问题中提到的，Dask在数据本地性优化方面可能存在局限性，尤其是在其默认配置下。Dask和Ray等分布式计算框架，通常会尝试将计算任务调度到数据所在的节点，但这并不直接意味着它们会利用HDFS的短路本地读取。它们的调度器可能会将任务分配到DataNode，但实际的数据读取过程仍然依赖于底层文件系统客户端的实现。因此，即使使用这些框架，也需要确保底层的HDFS客户端（如pyarrow或libhdfs）已正确配置并能够利用SCLR。
短路本地读取（Short-Circuit Local Reads）是HDFS提供的一项强大功能，对于需要高性能数据I/O的应用程序而言，它是优化HDFS数据访问、减少网络瓶颈的关键。通过正确配置HDFS集群和确保客户端环境满足SCLR的要求，可以显著提升数据读取效率，降低系统资源消耗。尽管fsspec和pyarrow等高级库简化了HDFS操作，但要充分利用底层优化，仍需深入理解HDFS的内部机制，并进行细致的系统级配置。在部署和使用SCLR时，务必进行充分的测试和监控，以确保其稳定性和性能收益。
以上就是优化HDFS数据访问：实现短路本地读取以提升性能的详细内容，更多请关注php中文网其它相关文章！
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
993
收藏
