欢迎来到Kedro屡获殊荣的文档！

了解Kedro

• Kedro 简介
• 入门指南
  • 设置Kedro
  • 创建新的Kedro项目
  • Kedro 核心概念
  • 创建最小化Kedro项目
• 通过实践视频学习Kedro
  • 这门课程适合谁？
  • 你将学习的内容
  • 视频索引

教程与基础Kedro使用

• 下一步：教程
  • 设置spaceflights项目
  • 设置数据
  • 创建数据处理流水线
  • 创建数据科学流水线
  • 测试Kedro项目
  • 打包整个Kedro项目
  • Spaceflights 教程常见问题解答
  • 观看视频
  • 获取帮助
  • 术语表
• 使用Kedro-Viz进行可视化
• 面向笔记本用户的Kedro
• 常见问题与资源
  • 常见问题
  • Kedro术语表
  • 迁移指南

Kedro项目

• 自定义新项目
• 配置
  • 配置
  • 凭证
  • 参数
  • 配置加载器迁移指南
  • 高级配置
• 数据目录
  • 数据目录简介
  • 数据目录YAML示例
  • Kedro数据集工厂
  • 高级：在代码中访问数据目录
  • 高级：分区和增量数据集
  • 高级：创建自定义数据集的教程
  • KedroDataCatalog (实验性功能)
• 节点与流水线
  • 节点
  • Pipeline 对象
  • 模块化流水线
  • 利用命名空间复用流水线和分组节点
  • 流水线注册表
  • 微打包
  • 运行管道
  • 切片管道
• 匿名遥测
  • 收集的数据字段：
  • 如何撤回同意？

集成

• PySpark集成
  • 在conf/base/spark.yml中集中Spark配置
  • 使用钩子初始化一个SparkSession
  • 使用Kedro内置的Spark数据集来加载和保存原始数据
  • Spark与Delta Lake交互
  • 对中间数据使用MemoryDataset处理DataFrame
  • 对非DataFrame的Spark对象使用MemoryDataset并设置copy_mode="assign"
  • 使用ThreadRunner最大化并发性的技巧
• 如何在Kedro工作流中添加MLflow
  • 先决条件
  • 简单用例
  • 高级使用案例
• 如何在Marimo和非Jupyter环境中使用Kedro
  • 概述
  • 动态加载Kedro配置
• 使用Kedro和DVC实现数据和管道版本控制
  • 使用.dvc文件进行数据版本控制
  • 高级使用案例
• 使用Delta Lake进行数据版本控制
  • 先决条件
  • 在目录中使用Delta表
  • 以交互模式检查数据集
  • 在Spark中使用Delta表
• 使用Iceberg进行数据版本控制
  • 先决条件
  • 定义自定义数据集以使用Iceberg表
  • 在目录中使用Iceberg表
  • 以交互模式检查数据集

开发

• 设置Visual Studio Code
  • Kedro VS Code 扩展
  • 在VS Code中设置venv / virtualenv
  • 设置任务
  • 设置自定义Kedro项目路径
  • 使用Kedro LSP实现实时目录验证
  • 使用Kedro-Viz可视化管道
  • 调试
• 设置PyCharm
  • 设置运行配置
  • 调试
  • 高级：远程SSH解释器
  • 高级：Docker解释器
  • 配置Python控制台
  • 配置Kedro目录验证模式
• 调试
• 自动化测试
  • 简介
  • 使用pytest设置自动化测试
  • 使用pytest-cov添加测试覆盖率报告
• 代码格式化与静态检查
  • 简介
  • 设置Python工具
  • 使用pre-commit钩子实现自动化格式化和代码检查

高级用法

• 项目设置
  • 依赖项
  • 使用KedroSession进行生命周期管理
  • 项目设置
• 扩展Kedro
  • 常见使用场景
  • Kedro插件
  • Kedro架构概览
  • 创建Kedro启动项目
• 钩子
  • 钩子(Hooks)简介
  • 常见使用场景
  • 钩子示例
• 日志记录
  • 默认日志配置
  • 如何在你的Kedro项目中执行日志记录
  • 如何自定义Kedro日志记录
  • 自定义带日志记录的CONF_SOURCE
  • 高级日志记录
  • 如何自定义rich处理器
  • 如何启用基于文件的日志记录
  • 如何使用普通控制台日志记录
  • 如何在简易终端中启用丰富日志记录
  • 如何在Jupyter中启用丰富的日志记录
• 部署

为Kedro贡献

• 为Kedro贡献

命令行界面参考

• Kedro的命令行界面
  • 自动补全（可选）
  • 从Python调用Kedro CLI（可选）
  • Kedro命令
  • 全局Kedro命令
  • 自定义或覆盖项目特定的Kedro命令

API文档

kedro

Kedro是一个框架，通过提供统一的项目模板、数据抽象、配置和管道组装，使得构建健壮且可扩展的数据管道变得简单。

索引和表格

• 索引

• 模块索引