Logo
kedro
0.19

了解Kedro

  • Kedro 简介
  • 入门指南
    • 设置Kedro
      • 安装前提条件
      • Python版本支持政策
      • 为你的Kedro项目创建虚拟环境
        • 如何使用venv创建新的虚拟环境
        • 如何使用conda创建新的虚拟环境
        • 可选：通过官方扩展在VS Code中集成Kedro
      • 如何使用pip安装Kedro
      • 如何验证您的Kedro安装
      • 如何升级Kedro
      • 概述
    • 创建新的Kedro项目
      • 介绍 kedro new
        • 项目名称
        • 项目工具
        • 项目示例
        • 快速入门示例
        • Telemetry consent 遥测数据同意
      • 运行新项目
      • 可视化Kedro项目
      • 下一步去哪里？
      • 工具选择的通用流程图
    • Kedro概念
      • 概述
      • 节点
      • Pipeline
      • 数据目录
      • Kedro项目目录结构
        • 默认Kedro项目结构（已选择所有工具）
        • Kedro项目示例结构（未选择任何工具）
        • 工具选择与最终结构
        • conf
        • src
        • 自定义项目结构
    • 创建一个最小化的Kedro项目
      • Kedro项目的核心组件
        • 1. 推荐结构
        • 2. 必需文件
      • 逐步创建一个最小化的Kedro项目
        • 步骤1：安装Kedro
        • 步骤2：创建新的Kedro项目
        • 步骤3：创建 pyproject.toml
        • 步骤4：创建settings.py和pipeline_registry.py
        • 步骤5：创建简单管道
        • 步骤6：定义项目设置
      • 结论
  • 通过实践视频学习Kedro
    • 这门课程适合谁？
    • 你将学习的内容
    • 视频索引
      • 第0部分：简介
      • 第一部分：Kedro入门指南
      • 第二部分：构建复杂的Kedro流水线
      • 第三部分：将您的Kedro项目部署到生产环境
      • 第四部分：下一步该做什么？

教程与基础Kedro使用

  • 下一步：教程
    • 设置spaceflights项目
      • 创建新项目
      • 安装项目依赖
        • 安装依赖项
      • 可选：日志记录与配置
        • 避免泄露机密数据的配置最佳实践
    • 设置数据
      • 项目数据集
      • 数据集注册
        • 测试Kedro能否加载数据
      • 更多信息
        • 观看视频
        • 自定义数据
        • 支持的数据位置
    • 创建数据处理流水线
      • 简介
        • 观看视频
      • 数据预处理节点函数
      • 数据处理流水线
      • 测试示例
      • 预处理数据注册
      • 为模型输入创建表格
      • 模型输入表注册
      • 再次测试示例
      • 可视化项目
        • 观看视频
      • 检查点
    • 创建数据科学流水线
      • 数据科学节点
      • 输入参数配置
      • 模型注册
      • 数据科学流水线
      • 测试管道
        • 切片管道
      • 模块化流水线
        • 可选：通过命名空间和模块化流水线扩展项目
        • 工作原理：模块化的pipeline()包装器
      • 可选：Kedro runners
    • 测试一个Kedro项目
      • 为Kedro节点编写测试：单元测试
      • 为Kedro流水线编写测试：集成测试
      • 测试最佳实践
        • 在哪里编写测试
        • 使用测试夹具
        • 管道切片
      • 运行你的测试
    • 打包整个Kedro项目
      • 如果未选择docs工具，请为Kedro项目添加文档
        • 设置Sphinx项目文件
        • Build HTML documentation
        • 文档字符串中的文档
      • 打包一个Kedro项目
        • 运行一个打包项目
        • Docker、Airflow及其他部署目标
    • Spaceflights 教程常见问题
      • 如何解决这些常见错误？
        • 数据集错误
        • Pipeline run
    • 观看视频
    • 获取帮助
    • 术语
      • 项目根目录
      • 依赖项
      • 标准开发工作流程
  • 使用Kedro-Viz进行可视化
  • 面向笔记本用户的Kedro
    • 为笔记本添加Kedro功能
      • Kedro spaceflights
        • Notebook示例
      • 使用Kedro进行数据处理
      • 使用YAML配置文件
        • 使用配置文件管理“魔法数字”
        • 对所有“魔法值”使用配置文件
      • 使用Kedro配置
        • 使用Kedro的配置加载器加载"魔法值"
        • 使用Kedro的配置加载器加载数据目录
      • 下一步去哪里？
      • 将代码重构为函数
    • 使用Jupyter笔记本进行Kedro项目实验
      • 示例项目
      • 使用kedro jupyter notebook加载项目
        • kedro jupyter notebook 是做什么的？
      • 使用kedro.ipython扩展加载项目
      • 在笔记本中探索Kedro项目
        • catalog
        • context
        • pipelines
        • session
      • Kedro line magics
        • %reload_kedro 行魔法
        • %load_node 行魔法命令
        • %run_viz 行魔法命令
      • 在笔记本中调试Kedro项目
      • 高级用户须知
        • IPython、JupyterLab 和其他 Jupyter 客户端
  • 常见问题与资源
    • 常见问题
      • 安装Kedro
      • Kedro文档
      • 使用Notebooks工作
      • Kedro项目开发
      • 配置
        • 高级主题
      • 节点与流水线
      • 什么是数据工程规范？
    • Kedro术语表
      • 数据目录
      • 数据工程 vs 数据科学
      • Kedro
      • KedroContext
      • KedroSession
      • Kedro-Viz
      • 层级（数据工程规范）
      • 模块化流水线
      • 节点
      • 节点执行顺序
      • Pipeline
      • 管道切片
      • Runner
      • Starters
      • 标签
      • 工作流依赖关系
    • 迁移指南
      • 将使用Kedro 0.18.*的现有项目迁移至0.19.*版本
        • 移除了--params的自定义语法
        • create_default_data_set() 已从 Runner 中移除
        • project_version 已被移除
        • 0.19版本中的数据集变更
        • 0.19版本中的配置变更
        • 日志记录

Kedro项目

  • 自定义新项目
    • 定制新Kedro项目的工具
      • 将工具指定为kedro new的输入
        • 项目名称
        • 工具
        • 快捷方式
        • 示例代码
        • 快捷方式
      • 使用YAML配置指定工具
      • Kedro工具
        • 代码检查
        • 测试
        • 自定义日志记录
        • 文档
        • 数据结构
        • PySpark
        • Kedro Viz
      • 流程图示例
    • Kedro 项目模板
      • 如何使用starter
      • Starter aliases
      • 官方Kedro启动模板
        • 已归档的入门项目
      • Starter versioning
      • 使用带有配置文件的启动器
      • 创建自定义启动器
  • 配置
    • 配置
      • OmegaConfigLoader
        • OmegaConf 对比 Kedro 的 OmegaConfigLoader
      • 配置源
      • 配置环境
        • Base
        • 本地
      • 配置加载
        • 配置文件名称
        • 配置模式
      • 如何使用Kedro配置
        • 如何更改配置源文件夹的设置
        • 如何在运行时更改配置源文件夹
        • 如何从压缩文件中读取配置
        • 如何从远程存储读取配置
        • 如何在代码中访问配置
        • 如何在代码中加载带有凭证的数据目录？
        • 如何指定额外的配置环境
        • 如何更改默认覆盖环境
        • 如何仅使用一个配置环境
        • 如何在不使用丰富库的情况下使用Kedro
    • Credentials
      • 如何在代码中加载凭证
      • 如何配置AWS凭证
    • 参数
      • 如何使用参数
      • 如何在代码中加载参数
      • 如何在运行时指定参数
    • 配置加载器迁移指南
      • ConfigLoader 升级为 OmegaConfigLoader
        • 1. 安装所需库
        • 2. 使用 OmegaConfigLoader
        • 3. 导入语句
        • 4. 文件格式支持
        • 5. 加载配置
        • 6. 异常处理
      • TemplatedConfigLoader 迁移至 OmegaConfigLoader
        • 1. 安装所需库
        • 2. 使用 OmegaConfigLoader
        • 3. 导入语句
        • 4. 文件格式支持
        • 5. 加载配置
        • 6. 值模板化
        • 7. 全局变量
        • 8. 弃用Jinja2
        • 9. 异常处理
    • 高级配置
      • Kedro项目的高级配置
        • 如何使用自定义配置加载器
        • 如何更改加载的配置文件
        • 如何确保加载非默认配置文件
        • 如何绕过配置加载规则
        • 如何使用OmegaConfigLoader进行模板化
        • 如何在代码中使用模板加载数据目录？
        • 如何与OmegaConfigLoader一起使用全局变量
        • 如何使用运行时参数通过OmegaConfigLoader覆盖配置
        • 如何在OmegaConfigLoader中使用解析器
        • 如何通过环境变量加载凭证
        • 如何更改OmegaConfigLoader使用的合并策略
      • 无需完整Kedro项目的高级配置
        • 读取配置
        • 如何将自定义解析器与OmegaConfigLoader一起使用
  • 数据目录
    • 数据目录简介
      • catalog.yml基础
        • 在catalog.yml中配置数据集参数
        • 数据集 type
        • 数据集 filepath
      • 在catalog.yml中的其他设置
        • 加载、保存及文件系统参数
        • 数据集访问凭证
        • 数据集版本控制
      • 在Kedro配置中使用数据目录
    • Data Catalog YAML 示例
      • 使用utf-8编码从本地二进制文件加载数据
      • 使用utf-8编码将数据保存为不带行名(索引)的CSV文件
      • 从本地文件系统加载/保存CSV文件
      • 在本地文件系统上加载/保存CSV文件，使用指定的加载/保存参数
      • 在本地文件系统上加载/保存压缩的CSV文件
      • 从指定的S3存储桶加载CSV文件，使用凭证和加载参数
      • 从本地文件系统加载/保存pickle文件
      • 从Google云存储加载Excel文件
      • 从本地文件系统加载多工作表Excel文件
      • 在Google云存储上保存使用Matplotlib创建的图像
      • 在本地文件系统存储上加载/保存HDF文件，使用指定的加载/保存参数
      • 在本地文件系统存储上加载/保存parquet文件，使用指定的加载/保存参数
      • 在S3上加载/保存Spark表，使用指定的加载/保存参数
      • 使用凭据、数据库连接和指定的加载/保存参数来加载/保存SQL表
      • 使用凭据和数据库连接加载SQL表，并对该表应用SQL查询
      • 从API端点加载数据
      • 从MinIO（兼容S3的存储）加载数据
      • 从Azure Blob Storage加载保存为pickle的模型
      • 通过SSH加载存储在远程位置的CSV文件
      • 使用YAML锚点加载具有相似配置的多个数据集
      • 使用不同的数据集和转码读取同一文件
        • 如何使用转码功能
        • 如何不使用转码
      • 通过CLI创建数据目录YAML配置文件
    • Kedro数据集工厂
      • 如何泛化同一类型的数据集
      • 如何使用命名空间泛化数据集
      • 如何在不同层级中泛化同一类型的数据集
      • 如何使用多个数据集工厂泛化数据集
      • 如何使用数据集工厂覆盖默认数据集创建
      • 数据集工厂的CLI命令
        • 如何使用 kedro catalog rank
        • 如何使用 kedro catalog resolve
    • 高级：在代码中访问数据目录
      • 如何配置数据目录
      • 如何查看可用的数据源
      • 如何以编程方式加载数据集
      • 如何以编程方式保存数据
        • 如何将数据保存到内存
        • 如何将数据保存到SQL数据库以供查询
        • 如何以Parquet格式保存数据
      • 如何通过凭证访问数据集
      • 如何使用Code API对数据集进行版本控制
    • 高级：分区和增量数据集
      • 分区数据集
        • 如何使用 PartitionedDataset
        • 数据集定义
        • 分区数据集凭据
        • 分区数据集加载
        • 分区数据集保存
        • 分区数据集延迟保存
      • 增量数据集
        • 增量数据集加载
        • 增量数据集保存
        • 增量数据集确认
        • 检查点配置
        • 特殊检查点配置键
    • 进阶教程：创建自定义数据集
      • AbstractDataset
      • Scenario
      • 项目设置
      • 数据集的结构解析
      • 使用fsspec实现load方法
      • 使用fsspec实现save方法
      • 实现_describe方法
      • 完整示例
      • 与 PartitionedDataset 集成
      • 版本控制
        • 如何在数据集中实现版本控制
      • 线程安全
      • 如何处理凭证和不同的文件系统
      • 如何贡献自定义数据集实现
    • KedroDataCatalog (实验性功能)
      • Kedro 数据目录
        • 如何将KedroDataCatalog设为Kedro run的默认目录
        • 如何访问目录中的数据集
        • 如何将数据集添加到目录
        • 如何遍历目录中的数据集
        • 如何获取目录中的数据集数量
        • 如何打印完整目录及单个数据集
        • 如何访问数据集模式
  • 节点与流水线
    • 节点
      • 如何创建节点
        • 节点定义语法
        • 输入变量的语法
        • 输出变量的语法
      • *args 节点函数
      • **kwargs-仅限节点函数
      • 如何标记节点
      • 如何运行一个节点
      • 如何在节点中使用生成器函数
        • 设置项目
        • 使用生成器加载数据
        • 使用生成器保存数据
    • Pipeline 对象
      • 如何构建管道
      • 如何使用describe来发现管道中包含哪些节点
      • 如何合并多个流水线
      • 如何获取管道中节点的相关信息
      • 如何获取关于管道输入和输出的信息
      • 如何标记一个管道
      • 如何避免创建不良流水线
        • 包含问题节点的Pipeline
        • 具有循环依赖的Pipeline
        • 使用点符号命名的Pipeline节点
      • 如何在kedro项目中存储流水线代码
    • 模块化流水线
      • 如何使用kedro pipeline create命令创建新的空白管道
      • 如何构建您的流水线创建
      • 如何使用自定义的新管道模板
        • 创建自定义流水线模板
      • 提供管道特定依赖项
      • 如何共享您的流水线
    • 利用命名空间复用流水线并分组节点
      • 如何复用你的管道
      • 什么是命名空间
        • 如何为项目中的所有流水线设置命名空间
      • 使用命名空间对节点进行分组
    • 管道注册表
      • Pipeline 自动发现
    • 微打包
      • 打包微包
      • 打包多个微包
      • 拉取微包
        • 提供 fsspec 参数
      • 拉取多个微包
    • 运行管道
      • Runners
        • SequentialRunner
        • ParallelRunner
      • 自定义运行器
      • 异步加载和保存
      • 按名称运行管道
      • 使用IO运行管道
      • 配置 kedro run 参数
    • 切片管道
      • 通过提供输入来切片管道
      • 通过指定节点对管道进行切片
      • 通过指定最终节点来切片管道
      • 按标记节点切片管道
      • 通过运行指定节点来切片管道
      • 如何重新创建缺失的输出
  • 匿名遥测
    • 收集的数据字段：
    • 如何撤回同意？

集成

  • PySpark集成
    • 在conf/base/spark.yml中集中Spark配置
    • 使用钩子初始化一个SparkSession
    • 使用Kedro内置的Spark数据集来加载和保存原始数据
    • Spark与Delta Lake交互
    • 对中间数据使用MemoryDataset处理DataFrame
    • 对非DataFrame的Spark对象使用MemoryDataset并设置copy_mode="assign"
    • 使用ThreadRunner最大化并发性的技巧
  • 如何在Kedro工作流中添加MLflow
    • 先决条件
    • 简单用例
      • 使用kedro-mlflow轻松追踪Kedro在MLflow中的运行记录
      • 在MLflow中使用kedro-mlflow进行工件追踪
      • 在MLflow中使用kedro-mlflow的模型注册表
    • 高级使用场景
      • 使用Hooks在MLflow中追踪Kedro运行的额外元数据
      • 使用Python API在MLflow中追踪Kedro
  • 如何在Marimo和非Jupyter环境中使用Kedro
    • 概述
    • 动态加载Kedro配置
  • 使用Kedro和DVC实现数据和管道版本控制
    • 使用.dvc文件进行数据版本控制
      • 初始化代码仓库
      • 使用DVC跟踪您的数据
      • 回退到数据的先前版本
    • 高级使用场景
      • 如何远程存储数据
      • 如何回退到远程存储的数据的先前版本
      • 如何使用DVC对数据管道进行版本控制
      • 如何将Kedro流水线定义为DVC阶段
      • 如何更新数据集
      • 如何追踪代码变更
      • 如何跟踪参数
      • 如何使用不同参数运行实验
  • 使用Delta Lake进行数据版本控制
    • 先决条件
    • 在目录中使用Delta表
      • 将数据集保存为Delta表
      • 加载特定数据集版本
    • 以交互模式检查数据集
    • 在Spark中使用Delta表
  • 使用Iceberg进行数据版本控制
    • 先决条件
      • 设置Iceberg目录
    • 定义自定义数据集以使用Iceberg表
    • 在目录中使用Iceberg表
      • 将数据集保存为Iceberg表
      • 加载特定数据集版本
    • 以交互模式检查数据集

开发

  • 设置Visual Studio Code
    • Kedro VS Code 扩展
    • 在VS Code中设置venv / virtualenv
    • 设置任务
    • 设置自定义Kedro项目路径
      • 使用命令面板设置自定义路径
      • 通过VSCode设置界面自定义路径
      • 多根工作区集成
      • 示例目录结构
      • 在多个项目之间切换
      • 故障排除
    • 使用Kedro LSP实现实时目录验证
      • 工作原理
      • 在问题面板中查看错误
    • 使用Kedro-Viz可视化管道
    • 调试
      • 高级：远程解释器调试
  • 设置PyCharm
    • 设置运行配置
    • 调试
    • 高级：远程SSH解释器
    • 高级：Docker解释器
    • 配置Python控制台
    • 配置Kedro目录验证模式
  • 调试
  • 自动化测试
    • 简介
    • 使用pytest设置自动化测试
      • 安装测试依赖项
      • 创建一个 /tests 目录
      • 测试目录结构
      • 创建示例测试
      • 运行你的测试
    • 使用pytest-cov添加测试覆盖率报告
      • 安装 pytest-cov
      • 配置 pytest 以使用 pytest-cov
      • 使用 pytest-cov 运行 pytest
  • 代码格式化与静态检查
    • 简介
    • 设置Python工具
      • 安装工具
        • 配置 ruff
      • 运行工具
    • 使用pre-commit钩子实现自动化格式化和代码检查
      • 安装 pre-commit
      • 添加 pre-commit 配置文件
      • 安装git钩子脚本

高级用法

  • 项目设置
    • 依赖项
      • 声明项目特定的依赖项
      • 安装项目特定依赖项
        • 安装与数据目录相关的依赖项
      • 可复现的环境
    • 使用KedroSession进行生命周期管理
      • 概述
      • 创建会话
      • bootstrap_project 和 configure_project
        • bootstrap_project
        • configure_project
    • 项目设置
      • 应用设置
      • 项目元数据
        • 使用Kedro而不需要src文件夹
  • 扩展Kedro
    • 常见用例
      • 用例1：如何为Kedro的执行时间线添加额外行为
      • 用例2：如何将Kedro与其他数据源集成
      • 用例3：如何添加或修改CLI命令
      • 用例4：如何自定义项目的初始模板
    • Kedro插件
      • 概述
      • 简单插件示例
      • 使用 click 工作
      • 项目上下文
      • 初始化
      • global 和 project 命令
      • 建议的命令约定
      • 高级：插件命令的延迟加载
      • 钩子(Hooks)
      • CLI Hooks
      • 贡献流程
      • 支持的Kedro插件
      • 社区开发的插件
    • Kedro架构概览
      • Kedro项目
      • Kedro框架
      • Kedro 入门模板
      • Kedro库
      • Kedro扩展
    • 创建Kedro启动项目
      • 安装 cookiecutter 包
      • 自定义项目创建变量
      • Kedro 入门示例
        • project_name
        • repo_name
        • python_package
      • 扩展起始别名
  • 钩子
    • 钩子功能简介
      • 概念
      • 钩子规范
        • CLI Hooks
      • 钩子实现
        • 定义钩子实现
        • 向Kedro注册钩子实现
      • 钩子执行顺序
      • 底层原理
        • 插件钩子
    • 常见用例
      • 使用Hooks扩展节点的行为
      • 使用Hooks自定义数据集的加载和保存方法
      • 使用Hooks加载外部凭证
      • 使用Hooks从DataCatalog读取metadata
      • 使用Hooks调试你的pipeline
        • 调试节点
        • 调试管道
    • Hooks示例
      • 添加内存消耗跟踪
      • 添加数据验证
        • V2 API
        • V3 API
      • 为你的流水线添加可观测性
      • 为您的模型添加指标追踪
      • 使用before_node_run钩子修改节点输入
  • 日志记录
    • 默认日志配置
    • 如何在你的Kedro项目中执行日志记录
    • 如何自定义Kedro日志记录
      • 调整Kedro特定部分的日志详细程度
    • 自定义带日志记录的CONF_SOURCE
      • 如何显示DEBUG级别的消息
    • 高级日志记录
    • 如何自定义rich处理器
    • 如何启用基于文件的日志记录
    • 如何使用普通控制台日志记录
    • 如何在简易终端中启用丰富日志记录
    • 如何在Jupyter中启用丰富日志记录
      • 如何在不使用rich库的情况下使用日志记录
  • 部署
    • 单机部署
      • 基于容器的
        • 如何使用容器注册表
      • 基于包
      • 基于CLI的
        • 使用GitHub工作流复制您的项目
        • 安装并运行Kedro项目
    • 分布式部署
      • 1. 容器化流水线
      • 2. 将您的Kedro流水线转换为目标平台原语
      • 3. 参数化运行
      • 4. (可选) 创建启动器
    • Apache Airflow
      • 简介与策略
      • 如何在Apache Airflow上使用Astronomer运行Kedro管道
        • 先决条件
        • 创建、准备并打包示例Kedro项目
        • 使用Astro CLI的部署流程
        • 部署到Astro云平台
      • 如何在亚马逊AWS托管的Apache Airflow工作流(MWAA)上运行Kedro管道
        • Kedro项目准备
        • 在MWAA上部署
      • 如何在Apache Airflow上使用Kubernetes集群运行Kedro管道
        • 在单个容器中运行多个节点
    • Amazon SageMaker
      • kedro-sagemaker插件
    • Amazon EMR Serverless
      • 上下文
      • 方法概述
        • 资源
      • 设置
        • 先决条件
        • 基础设施
        • IAM
      • (可选) 验证自定义镜像
      • 运行作业
      • 常见问题
        • 这里定义的方法与Kedro博客上《在Amazon EMR上部署Kedro管道的七个步骤》中的方法有何不同？
        • EMR Serverless 已经安装了 Python。为什么我们还需要自定义 Python 版本？
        • 为什么我们需要创建一个自定义镜像来提供自定义的Python版本？
        • 为什么我们需要打包Kedro项目并使用入口点脚本来调用？为什么不能在自定义镜像中直接使用[CMD]或[ENTRYPOINT]配合kedro run命令？
        • 考虑使用KedroSession生命周期管理中提到的方法来以编程方式运行Kedro如何？
    • AWS Step Functions
      • 为什么要在AWS Step Functions上运行Kedro管道？
      • 策略
      • 先决条件
      • 部署流程
        • 步骤1. 创建新的配置环境以准备兼容的DataCatalog
        • 步骤2. 将Kedro流水线打包为符合AWS Lambda规范的Docker镜像
        • 步骤3. 编写部署脚本
        • 步骤4. 部署流水线
      • 限制
    • Azure ML 管道
      • kedro-azureml 插件
    • Dask
      • 为什么要使用Dask？
      • 先决条件
      • 如何使用Dask分发您的Kedro管道
        • 创建自定义运行器
        • 更新CLI实现
        • 部署
    • 数据砖块
      • 使用Databricks工作区开发Kedro项目
        • 本页内容概述
        • 先决条件
        • 设置您的项目
        • 修改您的项目并测试变更
        • 概述
      • 使用IDE和Databricks Asset Bundles部署Kedro项目
        • 本地开发的优势
        • 本页内容概述
        • 先决条件
        • 设置您的项目
        • 使用kedro-databricks创建Databricks Asset Bundles
        • 使用Databricks Asset Bundles部署Databricks作业
        • 如何运行已部署的作业？
      • 使用Databricks作业部署Kedro项目
        • 将Kedro项目打包在Databricks上运行有哪些优势？
        • 本页内容概述
        • 先决条件
        • 为部署到Databricks设置您的项目
        • 使用工作区UI部署和运行您的Kedro项目
        • 自动部署到Databricks的资源
        • 概述
      • 在Databricks笔记本中可视化Kedro项目
      • 使用IDE、dbx和Databricks Repos开发Kedro项目
        • 本页内容概述
        • 先决条件
        • 设置您的项目
        • 修改您的项目并测试变更
        • 概述
    • Kubeflow Pipelines
      • 为什么使用Kubeflow Pipelines？
      • kedro-kubeflow插件
    • Prefect
      • 先决条件
      • 设置
      • 如何使用Prefect 2.0运行你的Kedro管道
        • 将您的Kedro管道转换为Prefect 2.0工作流
        • 运行Prefect流程
    • VertexAI
      • kedro-vertexai插件
    • Argo Workflows (需审核的过时文档)
      • 为什么使用Argo Workflows？
      • 先决条件
      • 如何使用Argo Workflows运行你的Kedro流水线
        • 容器化你的Kedro项目
        • 创建Argo工作流规范
        • 向Kubernetes提交Argo工作流规范
        • Kedro-Argo插件
    • AWS Batch（需审核的过时文档）
      • 为什么你会使用AWS Batch？
      • 先决条件
      • 如何使用AWS Batch运行Kedro管道
        • 容器化你的Kedro项目
        • 配置资源
        • 配置凭据
        • 提交AWS Batch作业
        • 部署
    • Kedro中的节点分组：管道、标签与命名空间
      • 按流水线分组
      • 按标签分组
      • 按命名空间分组

为Kedro贡献

  • 为Kedro贡献
    • Kedro技术指导委员会
      • 维护者的职责
        • 产品开发
        • 社区管理
      • 成为维护者的要求
      • 当前维护者
      • Past maintainers
      • 应用流程
      • 投票流程
        • 其他问题或建议
        • 添加或移除维护者

命令行界面参考

  • Kedro的命令行界面
    • 自动补全（可选）
    • 从Python调用Kedro CLI（可选）
    • Kedro命令
    • 全局Kedro命令
      • 获取Kedro命令的帮助
      • 确认Kedro版本
      • 确认Kedro信息
      • 创建新的Kedro项目
    • 自定义或覆盖项目特定的Kedro命令
      • 项目设置
        • 安装所有软件包依赖项
      • 运行项目
        • 修改kedro run
      • 部署项目
      • 拉取微包
      • 项目质量
      • 项目开发
        • 模块化流水线
        • 已注册的流水线
        • 数据集
        • 数据目录
        • Notebooks

API文档

  • kedro
    • kedro.load_ipython_extension
      • load_ipython_extension()
    • kedro.KedroDeprecationWarning
      • KedroDeprecationWarning
        • KedroDeprecationWarning.args
        • KedroDeprecationWarning.with_traceback()
    • kedro.KedroPythonVersionWarning
      • KedroPythonVersionWarning
        • KedroPythonVersionWarning.args
        • KedroPythonVersionWarning.with_traceback()
    • kedro.config
      • kedro.config.AbstractConfigLoader
        • AbstractConfigLoader
      • kedro.config.OmegaConfigLoader
        • OmegaConfigLoader
      • kedro.config.MissingConfigException
        • MissingConfigException
    • kedro.framework
      • kedro.framework.cli
        • kedro.framework.cli.catalog
        • kedro.framework.cli.cli
        • kedro.framework.cli.hooks
        • kedro.framework.cli.jupyter
        • kedro.framework.cli.micropkg
        • kedro.framework.cli.pipeline
        • kedro.framework.cli.project
        • kedro.framework.cli.registry
        • kedro.framework.cli.starters
        • kedro.framework.cli.utils
      • kedro.framework.context
        • kedro.framework.context.KedroContext
        • kedro.framework.context.KedroContextError
      • kedro.framework.hooks
        • kedro.framework.hooks.manager
        • kedro.framework.hooks.markers
        • kedro.framework.hooks.specs
      • kedro.framework.project
        • kedro.framework.project.configure_logging
        • kedro.framework.project.configure_project
        • kedro.framework.project.find_pipelines
        • kedro.framework.project.validate_settings
      • kedro.framework.session
        • kedro.framework.session.session
        • kedro.framework.session.store
      • kedro.framework.startup
        • kedro.framework.startup.bootstrap_project
        • kedro.framework.startup.ProjectMetadata
    • kedro.io
      • kedro.io.AbstractDataset
        • AbstractDataset
      • kedro.io.AbstractVersionedDataset
        • AbstractVersionedDataset
      • kedro.io.CachedDataset
        • CachedDataset
      • kedro.io.DataCatalog
        • DataCatalog
      • kedro.io.LambdaDataset
        • LambdaDataset
      • kedro.io.MemoryDataset
        • MemoryDataset
      • kedro.io.Version
        • 版本
      • kedro.io.DatasetAlreadyExistsError
        • DatasetAlreadyExistsError
      • kedro.io.DatasetError
        • DatasetError
      • kedro.io.DatasetNotFoundError
        • DatasetNotFoundError
    • kedro.ipython
      • kedro.ipython.load_ipython_extension
        • load_ipython_extension()
      • kedro.ipython.magic_load_node
        • magic_load_node()
      • kedro.ipython.magic_reload_kedro
        • magic_reload_kedro()
      • kedro.ipython.reload_kedro
        • reload_kedro()
    • kedro.logging
      • kedro.logging.RichHandler
        • RichHandler
    • kedro.pipeline
      • kedro.pipeline.node
        • node()
      • kedro.pipeline.pipeline
        • pipeline()
      • kedro.pipeline.Pipeline
        • Pipeline
      • kedro.pipeline.node.Node
        • Node
      • kedro.pipeline.pipeline.ModularPipelineError
        • ModularPipelineError
    • kedro.runner
      • kedro.runner.run_node
        • run_node()
      • kedro.runner.AbstractRunner
        • AbstractRunner
      • kedro.runner.ParallelRunner
        • ParallelRunner
      • kedro.runner.SequentialRunner
        • SequentialRunner
      • kedro.runner.ThreadRunner
        • ThreadRunner
    • kedro.utils
      • kedro.utils.load_obj
        • load_obj()
kedro
  • 文档 »
  • 常见问题与资源
  • Edit on GitHub

常见问题与资源¶

  • 常见问题
  • Kedro术语表
  • 迁移指南
上一页 下一步

最后更新于2024年2月1日。

Built with Sphinx using a theme provided by Read the Docs.