HDFS纠删码

集群与硬件配置

Erasure coding在CPU和网络方面对集群提出了额外要求。

编码和解码工作会消耗HDFS客户端和数据节点上额外的CPU资源。

纠删码要求集群中配置的EC条带宽度至少需要对应数量的DataNodes。对于EC策略RS(6,3)来说，这意味着至少需要9个DataNodes。

纠删码文件也会跨机架分布以实现机架容错。这意味着在读写条带化文件时，大多数操作都是跨机架进行的。因此网络二分带宽至关重要。

为了实现机架容错，拥有足够数量的机架非常重要，这样平均每个机架存储的块数不超过EC校验块的数量。计算公式为（数据块数 + 校验块数）/ 校验块数，向上取整。对于EC策略RS(6,3)，这意味着至少需要3个机架（通过(6 + 3)/3 = 3计算得出），理想情况下需要9个或更多机架以应对计划内和计划外停机。对于机架数量少于校验单元数量的集群，HDFS无法保持机架级容错，但仍会尝试将条带化文件分散到多个节点以保持节点级容错。因此，建议设置具有相似数量DataNode的机架。

配置键

默认情况下，所有内置的擦除编码策略都被禁用，除了在dfs.namenode.ec.system.default.policy中定义的策略默认启用。集群管理员可以根据集群规模和所需的容错特性，通过hdfs ec [-enablePolicy -policy ]命令启用一组策略。例如，对于一个有9个机架的集群，像RS-10-4-1024k这样的策略将无法保持机架级容错，而RS-6-3-1024k或RS-3-2-1024k可能更合适。如果管理员只关心节点级容错，只要集群中至少有14个数据节点，RS-10-4-1024k仍然适用。

可以通过配置‘dfs.namenode.ec.system.default.policy’来设置系统默认的EC策略。当在‘-setPolicy’命令中未传递策略名称参数时，将使用此默认EC策略。

默认情况下，‘dfs.namenode.ec.system.default.policy’设置为“RS-6-3-1024k”。

Reed-Solomon和XOR的编解码器实现可通过以下客户端和数据节点配置键进行配置：io.erasurecode.codec.rs.rawcoders用于默认RS编解码器，io.erasurecode.codec.rs-legacy.rawcoders用于旧版RS编解码器，io.erasurecode.codec.xor.rawcoders用于XOR编解码器。用户还可以通过类似io.erasurecode.codec.self-defined-codec.rawcoders的配置键配置自定义编解码器。这些键的值是具有回退机制的编码器名称列表。编解码器工厂按照配置值指定的顺序加载，直到成功加载编解码器为止。默认RS和XOR编解码器配置优先选择原生实现而非纯Java实现。RS-LEGACY没有原生编解码器实现，因此默认仅提供纯Java实现。所有这些编解码器都有纯Java实现。对于默认RS编解码器，还有一个利用Intel ISA-L库提高编解码器性能的原生实现。对于XOR编解码器，同样支持利用Intel ISA-L库提高性能的原生实现。详情请参阅"启用Intel ISA-L"章节。RS Legacy的默认实现是纯Java，而默认RS和XOR的默认实现是使用Intel ISA-L库的原生实现。

DataNodes上的擦除编码后台恢复工作也可以通过以下配置参数进行调整：

1. dfs.datanode.ec.reconstruction.stripedread.timeout.millis - 条带化读取的超时时间。默认值为5000毫秒。
2. dfs.datanode.ec.reconstruction.stripedread.buffer.size - 读取器服务的缓冲区大小。默认值为64KB。
3. dfs.datanode.ec.reconstruction.threads - DataNode用于后台重建工作的线程数。默认值为8个线程。
4. dfs.datanode.ec.reconstruction.xmits.weight - EC后台恢复任务与副本块恢复相比所使用的传输相对权重。默认值为0.5。设置为0可禁用EC恢复任务的权重计算，即EC任务始终具有1次传输。擦除编码恢复任务的传输次数计算为读取流数量和写入流数量之间的最大值。例如，如果一个EC恢复任务需要从6个节点读取并向2个节点写入，则其传输次数为max(6, 2) * 0.5 = 3。副本文件的恢复任务始终计为1次传输。NameNode利用dfs.namenode.replication.max-streams减去DataNode上来自副本文件和EC文件传输的xmitsInProgress总和，来调度该DataNode的恢复任务。

启用Intel ISA-L

HDFS默认RS编解码器的原生实现利用Intel ISA-L库来提升编码和解码计算性能。要启用并使用Intel ISA-L，需要完成三个步骤。

1. 构建ISA-L库。详情请参考官方网站“https://github.com/01org/isa-l/”。
2. 构建支持ISA-L的Hadoop。请参考源代码中(BUILDING.txt)文件内"构建Hadoop的说明"章节下的"Intel ISA-L构建选项"部分。
3. 使用-Dbundle.isal将isal.lib目录内容复制到最终的tar文件中。使用该tar文件部署Hadoop。确保HDFS客户端和数据节点上已安装ISA-L。

要验证Hadoop是否正确检测到ISA-L，请运行hadoop checknative命令。

管理命令

HDFS提供了一个ec子命令来执行与纠删码相关的管理命令。

   hdfs ec [generic options]
     [-setPolicy -path <path> [-policy <policyName>] [-replicate]]
     [-getPolicy -path <path>]
     [-unsetPolicy -path <path>]
     [-listPolicies]
     [-addPolicies -policyFile <file>]
     [-listCodecs]
     [-enablePolicy -policy <policyName>]
     [-disablePolicy -policy <policyName>]
     [-removePolicy -policy <policyName>]
     [-verifyClusterSetup -policy <policyName>...<policyName>]
     [-help [cmd ...]]

以下是每个命令的详细信息。

• [-setPolicy -path [-policy ] [-replicate]]

  在指定路径的目录上设置擦除编码策略。

  path: HDFS中的一个目录。这是必选参数。设置策略仅影响新创建的文件，不会影响现有文件。

  policyName: 用于该目录下文件的擦除编码策略。如果配置了'dfs.namenode.ec.system.default.policy'，则可以省略此参数。路径的EC策略将设置为配置中的默认值。

  -replicate 在目录上应用默认的REPLICATION方案，强制目录采用3倍复制方案。

  -replicate和-policy 是可选参数。它们不能同时指定。

• [-getPolicy -path ]

  获取指定路径下文件或目录的擦除编码策略详细信息。

• [-unsetPolicy -path ]

  取消之前通过setPolicy调用在目录上设置的擦除编码策略。如果目录从其祖先目录继承了擦除编码策略，则unsetPolicy不会执行任何操作。对未设置显式策略的目录取消策略不会返回错误。

• [-listPolicies]

  列出HDFS中注册的所有（启用、禁用和已删除）擦除编码策略。只有启用的策略适合与setPolicy命令一起使用。

• [-addPolicies -policyFile ]

  添加用户自定义的擦除编码策略列表。请参考etc/hadoop/user_ec_policies.xml.template文件中的示例策略文件。最大单元大小由属性'dfs.namenode.ec.policies.max.cellsize'定义，默认值为4MB。目前HDFS允许用户总共添加64条策略，添加的策略ID范围在64到127之间。如果已添加64条策略，则添加策略将失败。

• [-listCodecs]

  获取系统中支持的擦除编码编解码器及其编码器列表。编码器是编解码器的具体实现。一个编解码器可能有不同的实现方式，因此会有不同的编码器。针对某个编解码器的编码器会按回退顺序列出。

• [-removePolicy -policy ]

  移除用户自定义的擦除编码策略。

• [-enablePolicy -policy ]

  启用一个擦除编码策略。

• [-disablePolicy -policy ]

  禁用某个擦除编码策略。

• [-verifyClusterSetup -policy ...]

  验证集群设置是否支持所有启用的擦除编码策略。如果指定了可选参数-policy，则验证集群设置是否支持给定的一个或多个策略。