使用Cloudera Manager parcels#

Anaconda Enterprise 4 仓库提供了一种与Cloudera Manager集成的方式,以便将您的Anaconda数据科学工件分发到您的Hadoop集群。

创建包裹、管理包和安装程序#

您可以创建包含您所需软件包的自定义Cloudera Manager parcels,包括您自己的软件包。

注意:创建自定义包裹需要Anaconda包的本地镜像。

在创建包裹时,Repository 会生成一个包含指定包的 64 位 Linux 安装程序和一个名为 construct.yaml 的文件,该文件可以与 conda constructor 一起使用。

要创建自定义包裹、管理包或安装程序:

  1. 从视图按钮中,选择安装程序。

  2. 点击创建新安装程序按钮。

    注意:在安装程序名称中仅使用字母、数字、破折号和下划线。

    在创建包裹时,Anaconda Enterprise 4 仓库会生成一个包含指定包的64位Linux安装程序,以及一个名为construct.yaml的文件,该文件可以与conda constructor一起使用。

要仅创建安装程序脚本,请点击创建安装程序;要创建一个包裹,请点击创建包裹

通过选择包裹创建包裹#

  1. 点击从包创建标签。

  2. 在“搜索频道”框中添加从中获取包的频道。通过点击“搜索频道”框旁边的绿色+(加号)按钮来添加每个频道。

    注意:默认情况下会添加anaconda用户。

  3. 将包名称添加到搜索包框中。通过点击搜索包框旁边的绿色+(加号)按钮来添加每个包。

  4. 使用包名称旁边的列表为每个包设置版本要求。

通过选择环境创建包裹#

  1. 点击从环境创建标签。

  2. 输入环境名称并点击绿色的复选框按钮。

  3. 从环境名称旁边的列表中选择环境版本。

  4. 点击创建管理包按钮、创建包裹按钮或创建安装程序按钮。

注意:默认情况下,自定义包中不包含conda。要向您的环境中添加其他包,您可以使用Repository Web UI添加它们。

一个包裹生成时带有前缀 /opt/cloudera/parcels/PARCEL_NAME。这是默认的 激活包裹加载的位置。如果您在 不同的目录中部署包裹,您可以使用 PARCELS_ROOT 配置 设置 更改此前缀。

查看自定义包裹中的包列表#

要查看自定义包裹中包含的软件包列表,请参阅:

/opt/cloudera/parcels/PARCEL_NAME/meta/parcel.json

注意:将 PARCEL_NAME 替换为所需包裹的名称。

分发自定义包裹#

在创建自定义包裹后,您可以通过添加 http:// ip>:/USERNAME/installers/parcels/ 作为 远程包裹仓库URL 将其分发到您的集群。

注意:将 ip> 替换为仓库的IP地址, 替换为端口地址,并将 USERNAME 替换为您的用户名。

Cloudera Manager 检测到存储在仓库中的 parcels,并提供下载和分发 parcels 的选项。

默认情况下,Repository 会为每个 兼容的发行版生成一个 parcel 文件。

您可以通过配置PARCEL_DISTRO_SUFFIXES 配置设置来自定义创建哪些包裹分发。

注意:如果您已通过服务器上的~/.condarc配置了conda以使用代理——例如,在代理后面进行镜像——您必须为Repository禁用代理。有关更多信息,请参阅conda文档

示例:

proxy_servers:
    https: http://proxy.corp.example.com
    http: http://proxy.corp.example.com
    'http://<repository ip>': false

从先前版本创建#

一旦你创建了一个安装程序,你可以返回到这个页面并从特定版本创建一个管理包或包裹。使用从先前版本创建选项来选择你想要使用的版本。由于你已经创建了一个安装程序,创建安装程序按钮将被禁用。如果你已经为这些版本创建了管理包或包裹,其他按钮也将被禁用。

下拉列表中列出的版本是成功创建安装程序的版本。创建管理包或包裹需要安装程序,因此失败的版本将不会列出。