HDFS中的透明加密

概述

为了实现透明加密，我们在HDFS中引入了一个新的抽象概念：加密区。加密区是一个特殊目录，其内容在写入时会自动加密，在读取时会自动解密。每个加密区都与一个唯一的加密区密钥相关联，该密钥在创建加密区时指定。加密区内的每个文件都有自己唯一的数据加密密钥(DEK)。HDFS从不直接处理DEK，而是仅处理加密后的数据加密密钥(EDEK)。客户端解密EDEK后，使用解密得到的DEK进行数据读写。HDFS数据节点仅能看到加密的字节流。

加密的一个非常重要的应用场景是“启用加密”并确保整个文件系统中的所有文件都被加密。为了在不失去在文件系统不同部分使用不同加密区域密钥的灵活性的同时支持这一强有力的保证，HDFS允许嵌套加密区域。在创建加密区域后（例如在根目录/上），用户可以在其子目录（例如/home/alice）上使用不同的密钥创建更多加密区域。文件的EDEK将使用来自最近祖先加密区域的加密区域密钥生成。

需要一个新的集群服务来管理加密密钥：Hadoop密钥管理服务器(KMS)。在HDFS加密的上下文中，KMS承担三个基本职责：

1. 提供对存储的加密区域密钥的访问

2. 为存储在NameNode上的数据生成新的加密密钥

3. 解密加密的数据加密密钥供HDFS客户端使用

KMS将在下文进行更详细的描述。

访问加密区域内的数据

在加密区域中创建新文件时，NameNode会请求KMS生成一个用该加密区域密钥加密的新EDEK。随后，EDEK将作为文件元数据的一部分持久化存储在NameNode上。

在加密区域内读取文件时，NameNode会向客户端提供文件的EDEK以及用于加密该EDEK的加密区域密钥版本。客户端随后请求KMS解密EDEK，这一过程会验证客户端是否有权访问该加密区域密钥版本。若验证成功，客户端将使用DEK解密文件内容。

上述读写路径中的所有步骤都是通过DFSClient、NameNode和KMS之间的交互自动完成的。

对加密文件数据和元数据的访问由常规HDFS文件系统权限控制。这意味着如果HDFS遭到入侵（例如，通过未经授权访问HDFS超级用户账户），恶意用户只能获取密文和加密密钥。然而，由于加密区域密钥的访问权限由KMS和密钥存储库上的另一组独立权限控制，因此这不会构成安全威胁。

密钥管理服务器、密钥提供者、加密数据加密密钥

KMS是一个代理，代表HDFS守护进程和客户端与后端密钥存储进行交互。后端密钥存储和KMS都实现了Hadoop KeyProvider API。更多信息请参阅KMS文档。

在KeyProvider API中，每个加密密钥都有一个唯一的密钥名称。由于密钥可以轮换，一个密钥可能包含多个密钥版本，其中每个密钥版本都有其对应的密钥材料（实际用于加密和解密的秘密字节串）。可以通过密钥名称获取加密密钥（此时返回该密钥的最新版本），也可以通过指定密钥版本来获取特定版本的密钥。

KMS实现了额外功能，支持创建和解密加密密钥(EEKs)。EEK的创建和解密完全在KMS上完成。重要的是，请求创建或解密EEK的客户端永远不会处理EEK的加密密钥。要创建新的EEK，KMS会生成一个新的随机密钥，用指定密钥对其进行加密，然后将EEK返回给客户端。要解密EEK，KMS会检查用户是否有权访问加密密钥，使用该密钥解密EEK，并返回解密后的加密密钥。

在HDFS加密的上下文中，EEKs是加密的数据加密密钥(EDEKs)，其中数据加密密钥(DEK)用于加密和解密文件数据。通常，密钥库被配置为仅允许终端用户访问用于加密DEKs的密钥。这意味着EDEKs可以被HDFS安全地存储和处理，因为HDFS用户将无法访问未加密的加密密钥。

配置集群密钥提供程序

选择加密算法与编解码器

Namenode配置

createZone

用法：[-createZone -keyName -path ]

创建一个新的加密区域。

listZones

用法：[-listZones]

列出所有加密区域。需要超级用户权限。

provisionTrash

用法：[-provisionTrash -path ]

为加密区域配置一个回收站目录。

getFileEncryptionInfo

用法：[-getFileEncryptionInfo -path ]

从文件中获取加密信息。这可用于查明文件是否正在加密，以及用于加密的密钥名称/密钥版本。

reencryptZone

用法：[-reencryptZone -path ]

通过遍历加密区域并调用KeyProvider的reencryptEncryptedKeys接口，使用密钥提供器中最新的加密区域密钥批量重新加密所有文件的EDEK，从而对加密区域进行重新加密。需要超级用户权限。

请注意，由于快照的不可变性，重新加密不适用于快照。

重新加密是HDFS中仅由NameNode执行的操作，因此可能会对NameNode造成较大负载。根据集群可接受的吞吐量影响，可以修改以下配置来控制NameNode的压力。

listReencryptionStatus

用法：[-listReencryptionStatus]

列出所有加密区域的重新加密信息。需要超级用户权限。

以超级用户身份运行

distcp的一个常见用例是在集群之间复制数据，用于备份和灾难恢复目的。这通常由集群管理员（HDFS超级用户）执行。

为了在使用HDFS加密时启用相同的工作流程，我们引入了一个新的虚拟路径前缀/.reserved/raw/，该前缀允许超级用户直接访问文件系统中的底层块数据。这使得超级用户无需访问加密密钥即可使用distcp复制数据，同时避免了数据解密和重新加密的开销。这也意味着源数据和目标数据将保持字节级完全一致，而如果使用新的EDEK重新加密数据则无法保证这一点。

当使用/.reserved/raw来distcp加密数据时，必须使用-px标志保留扩展属性。这是因为加密文件属性（如EDEK）是通过/.reserved/raw中的扩展属性暴露的，必须保留这些属性才能解密文件。这意味着如果distcp操作是从加密区域根目录或更高层级启动的，它会在目标位置自动创建一个加密区域（如果该区域尚不存在）。不过仍建议管理员先在目标集群上创建相同的加密区域，以避免任何潜在问题。

复制到加密位置

默认情况下，distcp会通过文件系统提供的校验和来验证数据是否成功复制到目标位置。当从非加密或加密位置复制数据到加密位置时，由于底层块数据不同（目标位置会使用新的EDEK进行加密），文件系统校验和将不匹配。在这种情况下，请指定-skipcrccheck和-update distcp标志以避免校验和验证。

硬件访问漏洞利用

这些攻击手段假设攻击者已物理接触到集群机器（如数据节点和名称节点）的硬盘驱动器。

1. 访问包含数据加密密钥的进程交换文件。

   • 仅凭这一点并不会暴露明文，因为还需要访问加密的区块文件。

   • 可以通过禁用交换空间、使用加密交换空间或使用mlock防止密钥被交换出来，来缓解这一问题。

2. 访问加密的块文件。

   • 仅凭这一点并不会暴露明文，因为它还需要访问DEKs。

Root权限利用漏洞

这些攻击手段假设攻击者已获得对集群机器（即数据节点和名称节点）的root shell访问权限。由于恶意root用户可以访问持有加密密钥和明文数据的进程内存状态，其中许多攻击手段无法在HDFS中解决。对于这些攻击手段，唯一的缓解技术是严格限制和监控root shell访问权限。

1. 访问加密的块文件。

   • 仅凭这一点，它不会暴露明文，因为还需要访问加密密钥。

2. 转储客户端进程的内存以获取DEK（数据加密密钥）、委托令牌和明文数据。

   • 无缓解措施。

3. 记录网络流量以嗅探传输中的加密密钥和加密数据。

   • 仅凭自身，没有EDEK加密密钥无法读取明文。

4. 转储数据节点进程的内存以获取加密的块数据。

   • 仅凭自身，没有DEK无法读取明文。

5. 转存namenode进程的内存以获取加密的数据加密密钥。

   • 仅凭自身，没有EDEK的加密密钥和加密块文件，无法读取明文。

HDFS 管理员漏洞利用

这些攻击手段假设攻击者已经入侵了HDFS，但尚未获得root或hdfs用户的shell访问权限。

1. 访问加密的块文件。

   • 仅凭自身，没有EDEK和EDEK加密密钥无法读取明文。

2. 通过-fetchImage访问加密区域和加密文件元数据（包括加密的数据加密密钥）。

   • 仅凭自身，没有EDEK加密密钥无法读取明文。

恶意用户利用

恶意用户可以收集他们有权访问的文件密钥，并随后使用这些密钥解密这些文件的加密数据。由于用户已经拥有这些文件的访问权限，他们实际上已经能够查看文件内容。这一问题可以通过定期密钥轮换策略来缓解。通常在密钥轮换后需要执行reencryptZone命令，以确保现有文件上的EDEK使用新版本的密钥。

以下是完整密钥轮换和重新加密的手动步骤。这些说明假设您正在以密钥管理员或HDFS超级用户身份运行（视情况而定）。

# As the key admin, roll the key to a new version
hadoop key roll exposedKey

# As the super user, re-encrypt the encryption zone. Possibly list zones first.
hdfs crypto -listZones
hdfs crypto -reencryptZone -start -path /zone

# As the super user, periodically check the status of re-encryption
hdfs crypto -listReencryptionStatus

# As the super user, get encryption information from the file and double check it's encryption key version
hdfs crypto -getFileEncryptionInfo -path /zone/helloWorld
# console output: {cipherSuite: {name: AES/CTR/NoPadding, algorithmBlockSize: 16}, cryptoProtocolVersion: CryptoProtocolVersion{description='Encryption zones', version=2, unknownValue=null}, edek: 2010d301afbd43b58f10737ce4e93b39, iv: ade2293db2bab1a2e337f91361304cb3, keyName: exposedKey, ezKeyVersionName: exposedKey@1}