HDFS中的内存存储支持

简介

HDFS支持将数据写入由数据节点管理的堆外内存。数据节点会异步将内存中的数据刷新到磁盘，从而从性能敏感的IO路径中移除昂贵的磁盘IO和校验和计算，因此我们称这种写入为延迟持久化写入。HDFS为延迟持久化写入提供尽力而为的持久性保证。在副本被持久化到磁盘之前若发生节点重启，可能会出现罕见的数据丢失情况。应用程序可以选择使用延迟持久化写入，以牺牲部分持久性保证为代价来换取更低的延迟。

该功能从Apache Hadoop 2.6.0版本开始提供，是在Jira HDFS-6581下开发的。

目标用例是那些可以从低延迟写入相对少量数据（从几GB到几十GB不等，具体取决于可用内存）中受益的应用程序。内存存储适用于在集群内运行并与HDFS数据节点共置的应用程序。我们观察到，网络复制的延迟开销抵消了写入内存的优势。

Applications that use Lazy Persist Writes will continue to work by falling back to DISK storage if memory is insufficient or unconfigured.

管理员配置

本节列举了在集群中应用程序开始使用该功能之前所需的管理步骤。

限制内存中副本使用的RAM

首先确定要分配给内存中存储副本的内存量。在hdfs-site.xml中相应设置dfs.datanode.max.locked.memory。这与集中式缓存管理功能使用的设置相同。数据节点将确保惰性持久化写入和集中式缓存管理使用的总内存不超过dfs.datanode.max.locked.memory中配置的数值。

例如：为内存中的副本预留32 GB

    <property>
      <name>dfs.datanode.max.locked.memory</name>
      <value>34359738368</value>
    </property>

这部分内存并非由Data Node在启动时分配。

在类Unix系统上，还需要增加数据节点用户的"锁定内存大小"ulimit限制(ulimit -l)以匹配此参数(参见OS Limits相关章节)。设置此值时，请记住您还需要为其他内容预留内存空间，例如数据节点和应用程序JVM堆以及操作系统页面缓存。如果YARN节点管理器进程与数据节点运行在同一节点上，您还需要为YARN容器预留内存。

在数据节点上设置RAM磁盘

在每个数据节点上初始化一个RAM磁盘。选择RAM磁盘可以在数据节点进程重启时提供更好的数据持久性。以下设置适用于大多数Linux发行版。目前不支持在其他平台上使用RAM磁盘。

    sudo mount -t tmpfs -o size=32g tmpfs /mnt/dn-tmpfs/

    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/grid/0,/grid/1,/grid/2,[RAM_DISK]/mnt/dn-tmpfs</value>
    </property>

应用使用情况

使用LAZY_PERSIST存储策略

应用程序表明，HDFS可以对具有LAZY_PERSIST存储策略的文件使用延迟持久化写入。设置此策略不需要管理员权限，可以通过以下三种方式之一进行设置。

    hdfs storagepolicies -setStoragePolicy -path <path> -policy LAZY_PERSIST

    fs.setStoragePolicy(path, "LAZY_PERSIST");

    FSDataOutputStream fos =
        fs.create(
            path,
            FsPermission.getFileDefault(),
            EnumSet.of(CreateFlag.CREATE, CreateFlag.LAZY_PERSIST),
            bufferLength,
            replicationFactor,
            blockSize,
            null);