Logo
kedro
0.19

了解Kedro

  • Kedro 简介
  • 入门指南
    • 设置Kedro
      • 安装前提条件
      • Python版本支持政策
      • 为你的Kedro项目创建虚拟环境
        • 如何使用venv创建新的虚拟环境
        • 如何使用conda创建新的虚拟环境
        • 可选:通过官方扩展在VS Code中集成Kedro
      • 如何使用pip安装Kedro
      • 如何验证您的Kedro安装
      • 如何升级Kedro
      • 概述
    • 创建新的Kedro项目
      • 介绍 kedro new
        • 项目名称
        • 项目工具
        • 项目示例
        • 快速入门示例
        • Telemetry consent
      • 运行新项目
      • 可视化Kedro项目
      • 下一步去哪里?
      • 工具选择的通用流程图
    • Kedro概念
      • 概述
      • 节点
      • Pipeline
      • 数据目录
      • Kedro项目目录结构
        • 默认Kedro项目结构(已选择所有工具)
        • Kedro项目示例结构(未选择任何工具)
        • 工具选择与最终结构
        • conf
        • src
        • 自定义项目结构
    • 创建一个最小化的Kedro项目
      • Kedro项目的核心组件
        • 1. 推荐结构
        • 2. 必需文件
      • 逐步创建一个最小化的Kedro项目
        • 步骤1:安装Kedro
        • 步骤2:创建新的Kedro项目
        • 步骤3:创建 pyproject.toml
        • 步骤4:创建settings.py和pipeline_registry.py
        • 步骤5:创建简单管道
        • 步骤6:定义项目设置
      • 结论
  • 通过实践视频学习Kedro
    • 这门课程适合谁?
    • 你将学习的内容
    • 视频索引
      • 第0部分:简介
      • 第一部分:Kedro入门指南
      • 第二部分:构建复杂的Kedro流水线
      • 第三部分:将您的Kedro项目部署到生产环境
      • 第四部分:下一步该做什么?

教程与基础Kedro使用

  • 下一步:教程
    • 设置spaceflights项目
      • 创建新项目
      • 安装项目依赖
        • 安装依赖项
      • 可选:日志记录与配置
        • 避免泄露机密数据的配置最佳实践
    • 设置数据
      • 项目数据集
      • 数据集注册
        • 测试Kedro能否加载数据
      • 更多信息
        • 观看视频
        • 自定义数据
        • 支持的数据位置
    • 创建数据处理流水线
      • 简介
        • 观看视频
      • 数据预处理节点函数
      • 数据处理流水线
      • 测试示例
      • 预处理数据注册
      • 为模型输入创建表格
      • 模型输入表注册
      • 再次测试示例
      • 可视化项目
        • 观看视频
      • 检查点
    • 创建数据科学流水线
      • 数据科学节点
      • 输入参数配置
      • 模型注册
      • 数据科学流水线
      • 测试管道
        • 切片管道
      • 模块化流水线
        • 可选:通过命名空间和模块化流水线扩展项目
        • 工作原理:模块化的pipeline()包装器
      • 可选:Kedro runners
    • 测试一个Kedro项目
      • 为Kedro节点编写测试:单元测试
      • 为Kedro流水线编写测试:集成测试
      • 测试最佳实践
        • 在哪里编写测试
        • 使用测试夹具
        • 管道切片
      • 运行你的测试
    • 打包整个Kedro项目
      • 如果未选择docs工具,请向Kedro项目添加文档
        • 设置Sphinx项目文件
        • Build HTML documentation
        • 文档字符串中的文档
      • 打包Kedro项目
        • 运行一个打包项目
        • Docker、Airflow及其他部署目标
    • Spaceflights 教程常见问题
      • 如何解决这些常见错误?
        • 数据集错误
        • Pipeline run
    • 观看视频
    • 获取帮助
    • 术语表
      • 项目根目录
      • 依赖项
      • 标准开发工作流程
  • 使用Kedro-Viz进行可视化
  • 面向笔记本用户的Kedro
    • 为笔记本添加Kedro功能
      • Kedro spaceflights
        • Notebook示例
      • 使用Kedro进行数据处理
      • 使用YAML配置文件
        • 使用配置文件管理“魔法数字”
        • 对所有“魔法值”使用配置文件
      • 使用Kedro配置
        • 使用Kedro的配置加载器加载"魔法值"
        • 使用Kedro的配置加载器加载数据目录
      • 下一步去哪里?
      • 将代码重构为函数
    • 使用Jupyter笔记本进行Kedro项目实验
      • 示例项目
      • 使用kedro jupyter notebook加载项目
        • kedro jupyter notebook 是做什么的?
      • 使用kedro.ipython扩展加载项目
      • 在笔记本中探索Kedro项目
        • catalog
        • context
        • pipelines
        • session
      • Kedro line magics
        • %reload_kedro 行魔法
        • %load_node 行魔法命令
        • %run_viz 行魔法命令
      • 在笔记本中调试Kedro项目
      • 高级用户须知
        • IPython、JupyterLab 和其他 Jupyter 客户端
  • 常见问题与资源
    • 常见问题
      • 安装Kedro
      • Kedro文档
      • 使用Notebooks工作
      • Kedro项目开发
      • 配置
        • 高级主题
      • 节点与流水线
      • 什么是数据工程规范?
    • Kedro术语表
      • 数据目录
      • 数据工程 vs 数据科学
      • Kedro
      • KedroContext
      • KedroSession
      • Kedro-Viz
      • 层级(数据工程规范)
      • 模块化流水线
      • 节点
      • 节点执行顺序
      • Pipeline
      • Pipeline slicing
      • Runner
      • 入门模板
      • Tags
      • 工作流依赖关系
    • 迁移指南
      • 将使用Kedro 0.18.*的现有项目迁移至0.19.*版本
        • 移除了--params的自定义语法
        • create_default_data_set() 已从 Runner 中移除
        • project_version 已被移除
        • 0.19版本中的数据集变更
        • 0.19版本中的配置变更
        • 日志记录

Kedro项目

  • 自定义新项目
    • 用于定制新Kedro项目的工具
      • 将工具指定为kedro new的输入
        • 项目名称
        • 工具
        • 快捷方式
        • 示例代码
        • 快捷方式
      • 使用YAML配置指定工具
      • Kedro工具
        • 代码检查
        • 测试
        • 自定义日志记录
        • 文档
        • 数据结构
        • PySpark
        • Kedro Viz
      • 流程图示例
    • Kedro 入门模板
      • 如何使用starter
      • Starter 别名
      • 官方Kedro启动模板
        • 已归档的启动模板
      • Starter versioning
      • 使用带有配置文件的启动器
      • 创建自定义启动器
  • 配置
    • 配置
      • OmegaConfigLoader
        • OmegaConf 对比 Kedro 的 OmegaConfigLoader
      • 配置源
      • 配置环境
        • Base
        • 本地
      • 配置加载
        • 配置文件名称
        • 配置模式
      • 如何使用Kedro配置
        • 如何更改配置源文件夹的设置
        • 如何在运行时更改配置源文件夹
        • 如何从压缩文件中读取配置
        • 如何从远程存储读取配置
        • 如何在代码中访问配置
        • 如何在代码中加载带有凭证的数据目录?
        • 如何指定额外的配置环境
        • 如何更改默认覆盖环境
        • 如何仅使用一个配置环境
        • 如何在不使用丰富库的情况下使用Kedro
    • Credentials
      • 如何在代码中加载凭证
      • 如何配置AWS凭证
    • 参数
      • 如何使用参数
      • 如何在代码中加载参数
      • 如何在运行时指定参数
    • 配置加载器迁移指南
      • ConfigLoader 升级为 OmegaConfigLoader
        • 1. 安装所需库
        • 2. 使用 OmegaConfigLoader
        • 3. 导入语句
        • 4. 文件格式支持
        • 5. 加载配置
        • 6. 异常处理
      • TemplatedConfigLoader 迁移至 OmegaConfigLoader
        • 1. 安装所需库
        • 2. 使用 OmegaConfigLoader
        • 3. 导入语句
        • 4. 文件格式支持
        • 5. 加载配置
        • 6. 值模板化
        • 7. 全局变量
        • 8. 弃用Jinja2
        • 9. 异常处理
    • 高级配置
      • Kedro项目的高级配置
        • 如何使用自定义配置加载器
        • 如何更改加载的配置文件
        • 如何确保加载非默认配置文件
        • 如何绕过配置加载规则
        • 如何使用OmegaConfigLoader进行模板化
        • 如何在代码中使用模板加载数据目录?
        • 如何与OmegaConfigLoader一起使用全局变量
        • 如何使用运行时参数通过OmegaConfigLoader覆盖配置
        • 如何在OmegaConfigLoader中使用解析器
        • 如何通过环境变量加载凭证
        • 如何更改OmegaConfigLoader使用的合并策略
      • 无需完整Kedro项目的高级配置
        • 读取配置
        • 如何将自定义解析器与OmegaConfigLoader一起使用
  • 数据目录
    • 数据目录简介
      • catalog.yml基础
        • 在catalog.yml中配置数据集参数
        • 数据集 type
        • 数据集 filepath
      • 在catalog.yml中的其他设置
        • 加载、保存及文件系统参数
        • 数据集访问凭证
        • 数据集版本控制
      • 在Kedro配置中使用数据目录
    • Data Catalog YAML 示例
      • 使用utf-8编码从本地二进制文件加载数据
      • 使用utf-8编码将数据保存为不带行名(索引)的CSV文件
      • 从本地文件系统加载/保存CSV文件
      • 在本地文件系统上加载/保存CSV文件,使用指定的加载/保存参数
      • 在本地文件系统上加载/保存压缩的CSV文件
      • 从指定的S3存储桶加载CSV文件,使用凭证和加载参数
      • 从本地文件系统加载/保存 pickle 文件
      • 从Google云存储加载Excel文件
      • 从本地文件系统加载多工作表Excel文件
      • 在Google云存储上保存使用Matplotlib创建的图像
      • 在本地文件系统存储上加载/保存HDF文件,使用指定的加载/保存参数
      • 在本地文件系统存储上加载/保存parquet文件,使用指定的加载/保存参数
      • 在S3上加载/保存Spark表,使用指定的加载/保存参数
      • 使用凭据、数据库连接和指定的加载/保存参数来加载/保存SQL表
      • 使用凭据和数据库连接加载SQL表,并对该表应用SQL查询
      • 从API端点加载数据
      • 从MinIO(兼容S3的存储)加载数据
      • 从Azure Blob Storage加载保存为pickle的模型
      • 通过SSH加载存储在远程位置的CSV文件
      • 使用YAML锚点加载具有相似配置的多个数据集
      • 使用不同数据集通过转码读取同一文件
        • 如何使用转码功能
        • 如何不使用转码
      • 通过CLI创建数据目录YAML配置文件
    • Kedro数据集工厂
      • 如何泛化同一类型的数据集
      • 如何使用命名空间泛化数据集
      • 如何在不同层级中泛化同一类型的数据集
      • 如何使用多个数据集工厂泛化数据集
      • 如何使用数据集工厂覆盖默认数据集创建
      • 数据集工厂的CLI命令
        • 如何使用 kedro catalog rank
        • 如何使用 kedro catalog resolve
    • 高级:在代码中访问数据目录
      • 如何配置数据目录
      • 如何查看可用的数据源
      • 如何以编程方式加载数据集
      • 如何以编程方式保存数据
        • 如何将数据保存到内存
        • 如何将数据保存到SQL数据库以便查询
        • 如何以Parquet格式保存数据
      • 如何通过凭证访问数据集
      • 如何使用Code API对数据集进行版本控制
    • 高级:分区和增量数据集
      • 分区数据集
        • 如何使用 PartitionedDataset
        • 数据集定义
        • 分区数据集凭据
        • 分区数据集加载
        • 分区数据集保存
        • 分区数据集的延迟保存
      • 增量数据集
        • 增量数据集加载
        • 增量数据集保存
        • 增量数据集确认
        • 检查点配置
        • 特殊检查点配置键
    • 进阶教程:创建自定义数据集
      • AbstractDataset
      • Scenario
      • 项目设置
      • 数据集的结构解析
      • 使用fsspec实现load方法
      • 使用fsspec实现save方法
      • 实现_describe方法
      • 完整示例
      • 与 PartitionedDataset 集成
      • 版本控制
        • 如何在数据集中实现版本控制
      • 线程安全
      • 如何处理凭证和不同的文件系统
      • 如何贡献自定义数据集实现
    • KedroDataCatalog (实验性功能)
      • Kedro 数据目录
        • 如何将KedroDataCatalog设为Kedro run的默认目录
        • 如何访问目录中的数据集
        • 如何将数据集添加到目录
        • 如何遍历目录中的数据集
        • 如何获取目录中的数据集数量
        • 如何打印完整目录及单个数据集
        • 如何访问数据集模式
  • 节点与流水线
    • 节点
      • 如何创建节点
        • 节点定义语法
        • 输入变量的语法
        • 输出变量的语法
      • *args 节点函数
      • **kwargs-仅限节点函数
      • 如何标记节点
      • 如何运行一个节点
      • 如何在节点中使用生成器函数
        • 设置项目
        • 使用生成器加载数据
        • 使用生成器保存数据
    • Pipeline 对象
      • 如何构建管道
      • 如何使用describe来发现管道中包含哪些节点
      • 如何合并多个流水线
      • 如何获取管道中节点的相关信息
      • 如何获取关于管道输入和输出的信息
      • 如何标记一个管道
      • 如何避免创建不良流水线
        • 包含问题节点的Pipeline
        • 具有循环依赖的Pipeline
        • 使用点符号命名的Pipeline节点
      • 如何在kedro项目中存储流水线代码
    • 模块化流水线
      • 如何使用kedro pipeline create命令创建新的空白流水线
      • 如何构建您的流水线创建
      • 如何使用自定义的新管道模板
        • 创建自定义流水线模板
      • 提供管道特定依赖项
      • 如何共享您的流水线
    • 利用命名空间复用流水线并分组节点
      • 如何复用你的管道
      • 什么是命名空间
        • 如何为项目中的所有流水线设置命名空间
      • 使用命名空间对节点进行分组
    • 管道注册表
      • Pipeline自动发现
    • 微打包
      • 打包微包
      • 打包多个微包
      • 拉取微包
        • 提供 fsspec 参数
      • 拉取多个微包
    • 运行管道
      • Runners
        • SequentialRunner
        • ParallelRunner
      • 自定义运行器
      • 异步加载和保存
      • 按名称运行管道
      • 使用IO运行管道
      • 配置 kedro run 参数
    • 切片管道
      • 通过提供输入来切片管道
      • 通过指定节点对管道进行切片
      • 通过指定最终节点来切片管道
      • 按标记节点对管道进行切片
      • 通过运行指定节点来切片管道
      • 如何重新创建缺失的输出
  • 匿名遥测
    • 收集的数据字段:
    • 如何撤回同意?

集成

  • PySpark集成
    • 将Spark配置集中到conf/base/spark.yml
    • 使用钩子初始化一个SparkSession
    • 使用Kedro内置的Spark数据集来加载和保存原始数据
    • Spark与Delta Lake交互
    • 对中间数据使用MemoryDataset处理DataFrame
    • 对非DataFrame的Spark对象使用MemoryDataset并设置copy_mode="assign"
    • 使用ThreadRunner最大化并发性的技巧
  • 如何在Kedro工作流中添加MLflow
    • 先决条件
    • 简单用例
      • 使用kedro-mlflow轻松追踪Kedro在MLflow中的运行记录
      • 在MLflow中使用kedro-mlflow进行工件追踪
      • 在MLflow中使用kedro-mlflow的模型注册表
    • 高级使用场景
      • 使用Hooks在MLflow中追踪Kedro运行的额外元数据
      • 使用Python API在MLflow中追踪Kedro
  • 如何在Marimo和非Jupyter环境中使用Kedro
    • 概述
    • 动态加载Kedro配置
  • 使用Kedro和DVC实现数据和管道版本控制
    • 使用.dvc文件进行数据版本控制
      • 初始化代码仓库
      • 使用DVC跟踪您的数据
      • 回退到数据的先前版本
    • 高级使用场景
      • 如何远程存储数据
      • 如何回退到远程存储的数据的先前版本
      • 如何使用DVC对数据管道进行版本控制
      • 如何将Kedro流水线定义为DVC阶段
      • 如何更新数据集
      • 如何跟踪代码变更
      • 如何跟踪参数
      • 如何使用不同参数运行实验
  • 使用Delta Lake进行数据版本控制
    • 先决条件
    • 在目录中使用Delta表
      • 将数据集保存为Delta表
      • 加载特定数据集版本
    • 以交互模式检查数据集
    • 在Spark中使用Delta表
  • 使用Iceberg进行数据版本控制
    • 先决条件
      • 设置Iceberg目录
    • 定义自定义数据集以使用Iceberg表
    • 在目录中使用Iceberg表
      • 将数据集保存为Iceberg表
      • 加载特定数据集版本
    • 以交互模式检查数据集

开发

  • 设置Visual Studio Code
    • Kedro VS Code 扩展
    • 在VS Code中设置venv / virtualenv
    • 设置任务
    • 设置自定义Kedro项目路径
      • 使用命令面板设置自定义路径
      • 通过VSCode设置界面自定义路径
      • 多根工作区集成
      • 示例目录结构
      • 在多个项目之间切换
      • 故障排除
    • 使用Kedro LSP实现实时目录验证
      • 工作原理
      • 在问题面板中查看错误
    • 使用Kedro-Viz可视化管道
    • 调试
      • 高级:远程解释器调试
  • 设置PyCharm
    • 设置运行配置
    • 调试
    • 高级:远程SSH解释器
    • 高级:Docker解释器
    • 配置Python控制台
    • 配置Kedro目录验证模式
  • 调试
  • 自动化测试
    • 简介
    • 使用pytest设置自动化测试
      • 安装测试依赖项
      • 创建一个 /tests 目录
      • 测试目录结构
      • 创建示例测试
      • 运行你的测试
    • 使用pytest-cov添加测试覆盖率报告
      • 安装 pytest-cov
      • 配置 pytest 以使用 pytest-cov
      • 使用 pytest-cov 运行 pytest
  • 代码格式化与静态检查
    • 简介
    • 设置Python工具
      • 安装工具
        • 配置 ruff
      • 运行工具
    • 使用pre-commit钩子实现自动化格式化和代码检查
      • 安装 pre-commit
      • 添加 pre-commit 配置文件
      • 安装git钩子脚本

高级用法

  • 项目设置
    • 依赖项
      • 声明项目特定的依赖项
      • 安装项目特定依赖项
        • 安装与数据目录相关的依赖项
      • 可复现的环境
    • 使用KedroSession进行生命周期管理
      • 概述
      • 创建会话
      • bootstrap_project 和 configure_project
        • bootstrap_project
        • configure_project
    • 项目设置
      • 应用设置
      • 项目元数据
        • 使用Kedro而不需要src文件夹
  • 扩展Kedro
    • 常见用例
      • 用例1:如何为Kedro的执行时间线添加额外行为
      • 用例2:如何将Kedro与其他数据源集成
      • Use Case 3: 如何添加或修改CLI命令
      • 用例4:如何自定义项目的初始模板
    • Kedro插件
      • 概述
      • 简单插件示例
      • 使用 click 工作
      • 项目上下文
      • 初始化
      • global 和 project 命令
      • 建议的命令约定
      • 高级:插件命令的延迟加载
      • 钩子(Hooks)
      • CLI 钩子
      • 贡献流程
      • 支持的Kedro插件
      • 社区开发的插件
    • Kedro架构概览
      • Kedro项目
      • Kedro框架
      • Kedro starter
      • Kedro库
      • Kedro扩展
    • 创建Kedro启动项目
      • 安装 cookiecutter 包
      • 自定义项目创建变量
      • Kedro 入门示例
        • project_name
        • repo_name
        • python_package
      • 扩展起始别名
  • 钩子
    • 钩子函数简介
      • 概念
      • 钩子规范
        • CLI 钩子
      • 钩子实现
        • 定义钩子实现
        • 向Kedro注册钩子实现
      • 钩子执行顺序
      • 底层原理
        • 插件钩子
    • 常见用例
      • 使用Hooks扩展节点的行为
      • 使用Hooks自定义数据集的加载和保存方法
      • 使用Hooks加载外部凭证
      • 使用Hooks从DataCatalog读取metadata
      • 使用Hooks调试你的pipeline
        • 调试节点
        • 调试管道
    • Hooks示例
      • 添加内存消耗跟踪
      • 添加数据验证
        • V2 API
        • V3 API
      • 为你的流水线添加可观测性
      • 为您的模型添加指标追踪
      • 使用before_node_run钩子修改节点输入
  • 日志记录
    • 默认日志配置
    • 如何在你的Kedro项目中执行日志记录
    • 如何自定义Kedro日志记录
      • 调整Kedro特定部分的日志详细程度
    • 自定义带日志记录的CONF_SOURCE
      • 如何显示DEBUG级别的消息
    • 高级日志记录
    • 如何自定义rich处理器
    • 如何启用基于文件的日志记录
    • 如何使用普通控制台日志记录
    • 如何在简易终端中启用丰富日志记录
    • 如何在Jupyter中启用丰富日志记录
      • 如何在不使用rich库的情况下使用日志记录
  • 部署
    • 单机部署
      • 基于容器的
        • 如何使用容器注册表
      • 基于包
      • 基于CLI的
        • 使用GitHub工作流复制您的项目
        • 安装并运行Kedro项目
    • 分布式部署
      • 1. 容器化流水线
      • 2. 将您的Kedro流水线转换为目标平台原语
      • 3. 参数化运行
      • 4. (可选) 创建启动器
    • Apache Airflow
      • 简介与策略
      • 如何在Apache Airflow上使用Astronomer运行Kedro管道
        • 先决条件
        • 创建、准备并打包示例Kedro项目
        • 使用Astro CLI的部署流程
        • 部署到Astro云平台
      • 如何在亚马逊AWS托管的Apache Airflow工作流(MWAA)上运行Kedro管道
        • Kedro项目准备
        • 在MWAA上部署
      • 如何在Apache Airflow上使用Kubernetes集群运行Kedro管道
        • 在单个容器中运行多个节点
    • Amazon SageMaker
      • kedro-sagemaker插件
    • Amazon EMR Serverless
      • 上下文
      • 方法概述
        • 资源
      • 设置
        • 先决条件
        • 基础设施
        • IAM
      • (可选) 验证自定义镜像
      • 运行作业
      • 常见问题
        • 这里定义的方法与Kedro博客上《在Amazon EMR上部署Kedro管道的七个步骤》中的方法有何不同?
        • EMR Serverless 已经安装了 Python。为什么我们还需要自定义 Python 版本?
        • 为什么我们需要创建一个自定义镜像来提供自定义的Python版本?
        • 为什么我们需要打包Kedro项目并使用入口点脚本来调用?为什么不能在自定义镜像中直接使用[CMD]或[ENTRYPOINT]配合kedro run命令?
        • 考虑使用KedroSession生命周期管理中提到的方法来以编程方式运行Kedro如何?
    • AWS Step Functions
      • 为什么要在AWS Step Functions上运行Kedro管道?
      • Strategy
      • 先决条件
      • 部署流程
        • 步骤1. 创建新的配置环境以准备兼容的DataCatalog
        • 步骤2. 将Kedro流水线打包为符合AWS Lambda规范的Docker镜像
        • 步骤3. 编写部署脚本
        • 步骤4. 部署流水线
      • 限制
    • Azure ML 管道
      • kedro-azureml 插件
    • Dask
      • 为什么要使用Dask?
      • 先决条件
      • 如何使用Dask分发您的Kedro管道
        • 创建自定义运行器
        • 更新CLI实现
        • 部署
    • 数据砖块
      • 使用Databricks工作区开发Kedro项目
        • 本页内容概述
        • 先决条件
        • 设置您的项目
        • 修改您的项目并测试变更
        • 概述
      • 使用IDE和Databricks Asset Bundles部署Kedro项目
        • 本地开发的优势
        • 本页内容概述
        • 先决条件
        • 设置您的项目
        • 使用kedro-databricks创建Databricks Asset Bundles
        • 使用Databricks Asset Bundles部署Databricks作业
        • 如何运行已部署的作业?
      • 使用Databricks作业部署Kedro项目
        • 将Kedro项目打包在Databricks上运行有哪些优势?
        • 本页内容概述
        • 先决条件
        • 为部署到Databricks设置您的项目
        • 使用工作区UI部署和运行您的Kedro项目
        • 自动部署到Databricks的资源
        • 概述
      • 在Databricks笔记本中可视化Kedro项目
      • 使用IDE、dbx和Databricks Repos开发Kedro项目
        • 本页内容概述
        • 先决条件
        • 设置您的项目
        • 修改您的项目并测试变更
        • 概述
    • Kubeflow Pipelines
      • 为什么选择使用Kubeflow Pipelines?
      • kedro-kubeflow 插件
    • Prefect
      • 先决条件
      • 设置
      • 如何使用Prefect 2.0运行你的Kedro管道
        • 将您的Kedro管道转换为Prefect 2.0工作流
        • 运行Prefect流程
    • VertexAI
      • kedro-vertexai插件
    • Argo Workflows (需审核的过时文档)
      • 为什么选择使用Argo Workflows?
      • 先决条件
      • 如何使用Argo Workflows运行你的Kedro流水线
        • 将您的Kedro项目容器化
        • 创建Argo工作流规范
        • 向Kubernetes提交Argo工作流规范
        • Kedro-Argo插件
    • AWS Batch(需审核的过时文档)
      • 为什么你会使用AWS Batch?
      • 先决条件
      • 如何使用AWS Batch运行Kedro管道
        • 容器化你的Kedro项目
        • 配置资源
        • 配置凭据
        • 提交AWS Batch作业
        • 部署
    • Kedro中的节点分组:管道、标签与命名空间
      • 按流水线分组
      • 按标签分组
      • 按命名空间分组

为Kedro贡献

  • 为Kedro贡献
    • Kedro技术指导委员会
      • 维护者的职责
        • 产品开发
        • 社区管理
      • 成为维护者的要求
      • 当前维护者
      • Past maintainers
      • 应用流程
      • 投票流程
        • 其他问题或建议
        • 添加或移除维护者

命令行界面参考

  • Kedro的命令行界面
    • 自动补全(可选)
    • 从Python调用Kedro CLI(可选)
    • Kedro命令
    • 全局Kedro命令
      • 获取Kedro命令的帮助
      • 确认Kedro版本
      • 确认Kedro信息
      • 创建新的Kedro项目
    • 自定义或覆盖项目特定的Kedro命令
      • 项目设置
        • 安装所有软件包依赖项
      • 运行项目
        • 修改kedro run
      • 部署项目
      • 拉取微包
      • 项目质量
      • 项目开发
        • 模块化流水线
        • 已注册的流水线
        • 数据集
        • 数据目录
        • Notebooks

API文档

  • kedro
    • kedro.load_ipython_extension
      • load_ipython_extension()
    • kedro.KedroDeprecationWarning
      • KedroDeprecationWarning
        • KedroDeprecationWarning.args
        • KedroDeprecationWarning.with_traceback()
    • kedro.KedroPythonVersionWarning
      • KedroPythonVersionWarning
        • KedroPythonVersionWarning.args
        • KedroPythonVersionWarning.with_traceback()
    • kedro.config
      • kedro.config.AbstractConfigLoader
        • AbstractConfigLoader
      • kedro.config.OmegaConfigLoader
        • OmegaConfigLoader
      • kedro.config.MissingConfigException
        • MissingConfigException
    • kedro.framework
      • kedro.framework.cli
        • kedro.framework.cli.catalog
        • kedro.framework.cli.cli
        • kedro.framework.cli.hooks
        • kedro.framework.cli.jupyter
        • kedro.framework.cli.micropkg
        • kedro.framework.cli.pipeline
        • kedro.framework.cli.project
        • kedro.framework.cli.registry
        • kedro.framework.cli.starters
        • kedro.framework.cli.utils
      • kedro.framework.context
        • kedro.framework.context.KedroContext
        • kedro.framework.context.KedroContextError
      • kedro.framework.hooks
        • kedro.framework.hooks.manager
        • kedro.framework.hooks.markers
        • kedro.framework.hooks.specs
      • kedro.framework.project
        • kedro.framework.project.configure_logging
        • kedro.framework.project.configure_project
        • kedro.framework.project.find_pipelines
        • kedro.framework.project.validate_settings
      • kedro.framework.session
        • kedro.framework.session.session
        • kedro.framework.session.store
      • kedro.framework.startup
        • kedro.framework.startup.bootstrap_project
        • kedro.framework.startup.ProjectMetadata
    • kedro.io
      • kedro.io.AbstractDataset
        • AbstractDataset
      • kedro.io.AbstractVersionedDataset
        • AbstractVersionedDataset
      • kedro.io.CachedDataset
        • CachedDataset
      • kedro.io.DataCatalog
        • DataCatalog
      • kedro.io.LambdaDataset
        • LambdaDataset
      • kedro.io.MemoryDataset
        • MemoryDataset
      • kedro.io.Version
        • 版本
      • kedro.io.DatasetAlreadyExistsError
        • DatasetAlreadyExistsError
      • kedro.io.DatasetError
        • DatasetError
      • kedro.io.DatasetNotFoundError
        • DatasetNotFoundError
    • kedro.ipython
      • kedro.ipython.load_ipython_extension
        • load_ipython_extension()
      • kedro.ipython.magic_load_node
        • magic_load_node()
      • kedro.ipython.magic_reload_kedro
        • magic_reload_kedro()
      • kedro.ipython.reload_kedro
        • reload_kedro()
    • kedro.logging
      • kedro.logging.RichHandler
        • RichHandler
    • kedro.pipeline
      • kedro.pipeline.node
        • node()
      • kedro.pipeline.pipeline
        • pipeline()
      • kedro.pipeline.Pipeline
        • Pipeline
      • kedro.pipeline.node.Node
        • Node
      • kedro.pipeline.pipeline.ModularPipelineError
        • ModularPipelineError
    • kedro.runner
      • kedro.runner.run_node
        • run_node()
      • kedro.runner.AbstractRunner
        • AbstractRunner
      • kedro.runner.ParallelRunner
        • ParallelRunner
      • kedro.runner.SequentialRunner
        • SequentialRunner
      • kedro.runner.ThreadRunner
        • ThreadRunner
    • kedro.utils
      • kedro.utils.load_obj
        • load_obj()
kedro
  • 文档 »
  • Python 模块索引

Python 模块索引

k
 
k
- kedro
    kedro.config
    kedro.framework
    kedro.framework.cli
    kedro.framework.cli.catalog
    kedro.framework.cli.cli
    kedro.framework.cli.hooks
    kedro.framework.cli.hooks.manager
    kedro.framework.cli.hooks.markers
    kedro.framework.cli.hooks.specs
    kedro.framework.cli.jupyter
    kedro.framework.cli.micropkg
    kedro.framework.cli.pipeline
    kedro.framework.cli.project
    kedro.framework.cli.registry
    kedro.framework.cli.starters
    kedro.framework.cli.utils
    kedro.framework.context
    kedro.framework.hooks
    kedro.framework.hooks.manager
    kedro.framework.hooks.markers
    kedro.framework.hooks.specs
    kedro.framework.project
    kedro.framework.session
    kedro.framework.session.session
    kedro.framework.session.store
    kedro.framework.startup
    kedro.io
    kedro.ipython
    kedro.logging
    kedro.pipeline
    kedro.runner
    kedro.utils

Built with Sphinx using a theme provided by Read the Docs.