数据库迁移参考指南

以下是运行airflow db migrate时执行的所有数据库迁移列表。

警告

这些迁移详情主要用于让用户了解在特定Airflow版本间迁移时,何时会执行何种类型的迁移。这里的意图是让"具备数据库意识"的用户可以对迁移进行分析,并得出这些迁移对其Airflow数据库影响的结论。这些用户可能还想查看数据库ERD结构图文档,以了解Airflow内部数据库结构的样貌。但您应该注意该结构是内部实现的,您不应直接访问数据库来检索或修改任何数据 - 您应该改用REST API来完成这些操作。

修订ID

修订版本ID

Airflow版本

描述

5f2621c13b39 (头节点)

22ed7efa9da2

2.10.3

重命名 dag_schedule_dataset_alias_reference 约束名称。

22ed7efa9da2

8684e37832e6

2.10.0

添加dag_schedule_dataset_alias_reference表。

8684e37832e6

41b3bc7c0272

2.10.0

添加数据集别名关联表。

41b3bc7c0272

ec3471c1e067

2.10.0

在审计日志中添加try_number。

ec3471c1e067

05e19f3176be

2.10.0

添加数据集别名数据集事件。

05e19f3176be

d482b7261ff9

2.10.0

添加数据集别名。

d482b7261ff9

c4602ba06b4b

2.10.0

添加task_instance_history。

c4602ba06b4b

677fdbb7fc54

2.10.0

新增了DagPriorityParsingRequest表。

677fdbb7fc54

0fd0c178cbe8

2.10.0

向数据库添加新的执行器字段。

0fd0c178cbe8

686269002441

2.10.0

在引用表的dag_id列上添加索引。

686269002441

bff083ad727d

2.9.2

修复ORM与迁移文件之间的不一致问题。

bff083ad727d

1949afb29106

2.9.2

移除dag_run表中last_scheduling_decision字段上的idx_last_scheduling_decision索引。

1949afb29106

ee1467d4aa35

2.9.0

更新触发器的kwargs类型并进行加密。

ee1467d4aa35

b4078ac230a1

2.9.0

为DAG和任务实例添加显示名称。

b4078ac230a1

8e1c784a4fc7

2.9.0

将xcom表中value列的类型更改为mysql的longblob类型。

8e1c784a4fc7

ab34f260b71c

2.9.0

向dag_model表添加max_consecutive_failed_dag_runs列。

ab34f260b71c

d75389605139

2.9.0

在DagModel中添加dataset_expression。

d75389605139

1fd565369930

2.9.0

将run_id添加到(审计)日志表并增加事件名称长度。

1fd565369930

88344c1d9134

2.9.0

向TaskInstance添加rendered_map_index。

88344c1d9134

10b52ebd31f7

2.8.1

删除未使用的TI索引。

10b52ebd31f7

bd5dfbe21f88

2.8.0

将processor_subdir添加到ImportError中。

bd5dfbe21f88

f7bf2a57d0a6

2.8.0

将连接登录/密码设为文本类型。

f7bf2a57d0a6

375a816bbbf4

2.8.0

将owner_display_name添加到(Audit)日志表中。

375a816bbbf4

405de8318b3a

2.8.0

向dagrun添加新字段'clear_number'。

405de8318b3a

788397e78828

2.7.0

向池中添加include_deferred列。

788397e78828

937cbd173ca1

2.7.0

添加 custom_operator_name 列。

937cbd173ca1

c804e5c76e3e

2.7.0

为task_instance表添加索引。

c804e5c76e3e

98ae134e6fff

2.6.2

task_map表添加onupdate级联操作。

98ae134e6fff

6abdffdd4815

2.6.0

增加ab_userab_register_user表中用户标识字段的长度。

6abdffdd4815

290244fb8b83

2.6.0

在日志表上添加dttm索引。

290244fb8b83

1986afd32c1b

2.5.0

将is_orphaned添加到DatasetModel。

1986afd32c1b

ee8d93fcc81e

2.5.0

添加DagRunNote和TaskInstanceNote。

ee8d93fcc81e

e07f49787c9d

2.5.0

向DagRun和TaskInstance添加updated_at列。

e07f49787c9d

b0d31815b5a6

2.4.3

为用户名添加不区分大小写的唯一约束。

b0d31815b5a6

ecb43d2a1842

2.4.2

为FAB表的列添加缺失的自增属性。

ecb43d2a1842

1486deb605b4

2.4.0

向DagModel、SerializedDagModel和CallbackRequest表添加processor_subdir列。

1486deb605b4

f4ff391becb5

2.4.0

添加dag_owner_attributes表。

f4ff391becb5

0038cd0c28b4

2.4.0

移除智能传感器。

0038cd0c28b4

44b7034f6bdc

2.4.0

添加数据集模型。

44b7034f6bdc

424117c37d18

2.4.0

比较ORM和数据库之间的类型。

424117c37d18

f5fcbda3e651

2.4.0

添加DagWarning模型。

f5fcbda3e651

3c94c427fdf6

2.3.3

为task_instance上的CASCADE删除添加索引。

3c94c427fdf6

1de7bc13c950

2.3.2

为dag_tag外键添加级联操作。

1de7bc13c950

b1b348e02d07

2.3.1

log表中的event列添加索引。

b1b348e02d07

75d5ed6c2b43

2.3.0

将dag.default_view更新为网格视图。

75d5ed6c2b43

909884dea523

2.3.0

将map_index添加到日志中。

909884dea523

48925b2719cb

2.3.0

更新FAB表的迁移以添加缺失的约束。

48925b2719cb

4eaab2fe6582

2.3.0

在TaskFail中添加map_index。

4eaab2fe6582

c97c2ab6aa23

2.3.0

将RTIF迁移至使用run_id和map_index。

c97c2ab6aa23

c306b5b5ae4a

2.3.0

添加回调请求表。

c306b5b5ae4a

a3bcd0914482

2.3.0

将XCom表切换为使用run_id并添加map_index

a3bcd0914482

e655c0453f75

2.3.0

将data_compressed添加到serialized_dag中。

e655c0453f75

f9da662e7089

2.3.0

在TaskInstance上添加TaskMap和map_index。

f9da662e7089

786e3737b18f

2.3.0

添加LogTemplate表以追踪配置值log_filename_template的变更。

786e3737b18f

5e3ec427fdd3

2.3.0

为DagModel添加timetable_description列以用于UI界面。

5e3ec427fdd3

587bdf053233

2.3.0

ab_userab_register_user表中的邮箱和用户名长度增加至256个字符。

587bdf053233

c381b21cb7e4

2.2.4

job表中的dag_id列添加索引。

c381b21cb7e4

be2bfac3da23

2.2.4

创建一个session表来存储网络会话数据。

be2bfac3da23

7b2661a43ba3

2.2.3

向DagModel添加has_import_errors列。

7b2661a43ba3

142555e44c17

2.2.0

TaskInstanceTaskReschedule表中的execution_date字段改为run_id。

142555e44c17

54bebd308c5f

2.2.0

将data_interval_[start|end]添加到DagModel和DagRun中。

54bebd308c5f

30867afad44a

2.2.0

向任务实例添加trigger表和可延迟操作符列。

30867afad44a

e9304a3141f0

2.2.0

dag表中的concurrency列重命名为`` max_active_tasks``。

e9304a3141f0

83f031fd9f1c

2.2.0

将XCom主键列设为非空。

83f031fd9f1c

ccde3e26fe78

2.2.0

提升MSSQL兼容性。

ccde3e26fe78

092435bf5d12

2.1.4

为队列中的dagrun添加state和dag_id索引。

092435bf5d12

97cdd93827b8

2.1.4

dag_model表添加max_active_runs列。

97cdd93827b8

a13f7613ad25

2.1.3

dag_run表中添加queued_at列。

a13f7613ad25

e165e7455d70

2.1.0

基于资源的权限管理,适用于默认的Flask-AppBuilder视图。

e165e7455d70

90d1635d7b86

2.1.0

Variable模型添加描述字段。

90d1635d7b86

2e42bb497a22

2.1.0

task_instance表中池名称的最大长度增加到256个字符。

2e42bb497a22

8646922c8a04

2.0.2

DAG表中的last_scheduler_run列重命名为 last_parsed_time

8646922c8a04

449b4072c2da

2.0.2

将默认的 pool_slots 更改为 1

449b4072c2da

82b7c48c147f

2.0.2

增大connection.extra字段的容量以处理多个RSA密钥。

82b7c48c147f

e959f08ac86c

2.0.1

移除UserViewer角色对config资源的can_read权限。

e959f08ac86c

64a7d6477aae

2.0.0

DagCode中的字段更改为MEDIUMTEXT以适配MySql。

64a7d6477aae

61ec73d9401f

2.0.0

connection中的描述字段修复为text类型。

61ec73d9401f

2c6edca13270

2.0.0

connection表添加描述字段。

2c6edca13270

849da589634d

2.0.0

基于资源的权限。

849da589634d

45ba3f1493b9

2.0.0

前缀DAG权限。

45ba3f1493b9

364159666cbd

2.0.0

将k8s yaml添加到渲染模板中。

364159666cbd

52d53670a240

2.0.0

creating_job_id添加到DagRun表中。

52d53670a240

98271e7606e2

2.0.0

修复MSSQL中exec_date渲染任务实例字段的问题。

98271e7606e2

bef4f3d11e8b

2.0.0

scheduling_decision添加到DagRunDAG中。

bef4f3d11e8b

e1a11ece99cc

2.0.0

删除 KubeResourceVersionKubeWorkerId

e1a11ece99cc

b247b1e3d1ed

2.0.0

将外部执行器ID添加到TI。

b247b1e3d1ed

e38be357a868

2.0.0

将按作业ID排队的任务添加到TI。

e38be357a868

8d48763f6d53

2.0.0

添加sensor_instance表。

8d48763f6d53

8f966b9c467a

2.0.0

conn_id添加唯一约束。

8f966b9c467a

3c20cacc0044

2.0.0

conn_type设置为非可空。

3c20cacc0044

b25a55525161

2.0.0

dag_run表中添加run_type列。

b25a55525161

bbf4a7ad0465

2.0.0

增加池名称的长度。

bbf4a7ad0465

cf5dc11e79ad

2.0.0

从xcom中移除id列。

cf5dc11e79ad

03afc6b6f902

2.0.0

删除 userchart 表。

03afc6b6f902

92c57b58940d

1.10.13

增加Flask-AppBuilder ab_view_menu.name列的长度。

92c57b58940d

da3f683c3a5a

1.10.13

创建FAB表。

da3f683c3a5a

a66efa278eea

1.10.12

dag_hash列添加到serialized_dag表中。

a66efa278eea

952da73b5eff

1.10.11

RenderedTaskInstanceFields表中为execution_date添加精度。

952da73b5eff

852ae6c715af

1.10.10

添加 dag_code 表。

852ae6c715af

a4c2fd67d16b

1.10.10

添加RenderedTaskInstanceFields表。

a4c2fd67d16b

7939bcff74ba

1.10.10

pool_slots字段添加到task_instance中。

7939bcff74ba

fe461863935f

1.10.8

添加DagTags表。

fe461863935f

08364691d074

1.10.7

增加连接密码的长度。

08364691d074 (合并点)

a56c9515abdc, 004c1210f153, 74effc47d867, b3b105409875

1.10.7

理顺迁移过程。

a56c9515abdc

c8ffec048a3b

1.10.3

移除 dag_stat 表。

004c1210f153

939bb1e647c8

1.10.4

增加队列名称长度限制。

74effc47d867

6e96a59344a4

1.10.5

将MSSQL表中的datetime类型更改为datetime2(6)类型。

b3b105409875

d38e04c12aa2

1.10.7

root_dag_id添加到DAG中。

d38e04c12aa2

6e96a59344a4

1.10.7

添加 serialized_dag 表。

6e96a59344a4 (分支点)

939bb1e647c8

1.10.4

TaskInstance.pool设为非空。

939bb1e647c8 (分支点)

dd4ecb8fbee3

1.10.3

任务重新调度外键级联删除。

dd4ecb8fbee3

c8ffec048a3b

1.10.3

为DAG添加调度间隔。

c8ffec048a3b (分支点)

41f5f12752f8

1.10.3

dag表添加descriptiondefault_view列。

41f5f12752f8

03bc53e68815

1.10.2

添加超级用户字段。

03bc53e68815 (合并点)

0a2a5b66e19d, bf00311e1990

1.10.2

合并迁移头部。

0a2a5b66e19d

9635ae0956e7

1.10.2

添加task_reschedule表。

bf00311e1990

dd25f486b8ea

1.10.2

task_instance表添加索引。

dd25f486b8ea

9635ae0956e7

1.10.2

log表上添加索引。

9635ae0956e7 (分支点)

856955da8476

1.10.0

task_fail表上创建索引。

856955da8476

f23433877c24

1.10.0

修复Sqlite外键。

f23433877c24

05f30312d566

1.10.0

修复MySQL非空约束问题。

05f30312d566 (合并点)

86770d1215c0, 0e2a74e0fc9f

1.10.0

合并迁移头部。

86770d1215c0

27c6a30d7c24

1.10.0

添加Kubernetes调度器唯一性。

27c6a30d7c24

33ae817a1ff4

1.10.0

executor_config列添加到task_instance表中。

33ae817a1ff4

d2ae31099d61

1.10.0

添加Kubernetes资源检查点。

0e2a74e0fc9f

d2ae31099d61

1.10.0

增加时区感知能力。

d2ae31099d61 (分支点)

947454bf1dff

1.8.2

增大MySQL文本大小(不适用于其他数据库的文本类型)。

947454bf1dff

bdaa763e6c56

1.8.2

task_instance表的job_id列上创建索引。

bdaa763e6c56

cc1e65623dc7

1.8.2

将xcom值列设为大型二进制。

cc1e65623dc7

127d2bf2dfa7

1.8.2

task_instance添加max_tries列。

127d2bf2dfa7

5e7d17757c7a

1.7.1.3

dag_run表上添加dag_id/state索引。

5e7d17757c7a

8504051e801b

1.7.1.3

pid字段添加到TaskInstance中。

8504051e801b

4addfa1236f1

1.7.1.3

xcom表上添加索引。

4addfa1236f1

f2ca10b85618

1.7.1.3

为MySQL表添加毫秒级时间精度。

f2ca10b85618

64de9cddf6c9

1.7.1.3

添加 dag_stats 表。

64de9cddf6c9

211e584da130

1.7.1.3

添加task_fail表。

211e584da130

2e82aab8ef20

1.7.1.3

添加任务实例状态索引。

2e82aab8ef20

1968acfc09e3

1.7.1

重命名用户表。

1968acfc09e3

bba5a7cfc896

1.7.0

向变量表添加is_encrypted列。

bba5a7cfc896

bbc73705a13e

1.7.0

添加一列以跟踪连接中“Extra”字段的加密状态。

bbc73705a13e

4446e08588

1.7.0

sla_miss表添加notification_sent列。

4446e08588

561833c1c74b

1.6.2

dag_run表中添加start_dateend_date

561833c1c74b

40e67319e3a9

1.6.2

user表添加password列。

40e67319e3a9

2e541a1dcfed

1.6.0

dag_run表中添加conf列。

2e541a1dcfed

1b38cef5b76e

1.6.0

task_instance.task_duration 类型更改为 FLOAT

1b38cef5b76e

502898887f84

1.6.0

添加dag_run表。

502898887f84

52d714495f0

1.6.0

Log表添加extra列。

52d714495f0

338e90f54d61

1.5.2

job表中添加索引。

338e90f54d61

13eb55f81627

1.5.0

task_instance表添加operatorqueued_dttm字段。

13eb55f81627

1507a7289a2f

1.5.0

保留历史记录以保持与早期迁移的兼容性。

1507a7289a2f

e3a246e0dc1

1.5.0

connection表中添加is_encrypted列。

e3a246e0dc1 (基础)

None

1.5.0

当前模式。

这篇内容对您有帮助吗?