更新日志
内容
更新日志¶
备注
分布式的变更日志现在包含在 Dask 变更日志 中。
2023年9月3日¶
发布于2023年9月29日
亮点¶
在合并和洗牌图优化期间减少内存消耗¶
之前,在优化用于洗牌和合并操作的任务图时,会出现一个大的内存峰值(参见 GH#8196 的例子)。此版本消除了该内存峰值。
更多详情请参见 Patrick Hoefler 的 GH#8197。
安静的 JupyterLab 关闭¶
以前在使用调度器运行 Jupyter 时(例如 --jupyter CLI 标志),当从 Web 应用程序关闭笔记本服务器时,会引发错误。此版本确保不会引发错误,并且关闭过程是干净的。
详情请参见 Thomas Grainger 的 GH#8220。
其他更改
解压缩腌制消息 (GH#8216) Mads R. B. Kristensen
修复
pytest-xdist中的回归问题 (GH#8221) crusaderky隐藏代码片段中的 pytest (GH#8198) crusaderky
Python 3.9 风格的 with 语句多行写法 (GH#8211) crusaderky
将
actions/checkout从 4.0.0 升级到 4.1.0 (GH#8209)将 gpuCI 的
RAPIDS_VER更新为23.12(GH#8206)在UCX测试后不要重置CUDA上下文 (GH#8201) Peter Andreas Entschev
集中并输入
no_default(GH#8171) crusaderky在
KilledWorker中的重试次数存在偏差 (GH#8203) crusaderky在
distributed.utils中移除已弃用的别名 (GH#8193) crusaderky在
wait_for_workers中移除未指定的n_workers弃用 (GH#8192) crusaderky审查日志长度配置 (GH#8173) crusaderky
2023年9月2日¶
发布于2023年9月15日
亮点¶
减少P2P混洗的内存占用¶
显著减少了P2P洗牌使用的峰值和平均内存(最多减少2倍)。此更改还将P2P支持的``pyarrow``最低版本提高到``pyarrow=12``。
详情请参见 Hendrik Makait 的 GH#8157。
改进的插件API¶
为了提供更一致和便捷的插件用户体验,引入了两个插件变更:
插件现在必须继承自
WorkerPlugin、SchedulerPlugin或NannyPlugin基类。不继承自基类的旧式插件仍将工作,但会有弃用警告。新引入了一个
Client.register_plugin()方法,以替代之前的Client.register_worker_plugin()和Client.register_scheduler_plugin()方法。现在所有插件都应该使用集中的Client.register_plugin()方法进行注册。
from dask.distributed import WorkerPlugin, SchedulerPlugin
class MySchedulerPlugin(SchedulerPlugin): # Inherits from SchedulerPlugin
def start(self, scheduler):
print("Hello from the scheduler!")
class MyWorkerPlugin(WorkerPlugin): # Inherits from WorkerPlugin
def setup(self, worker):
print(f"Hello from Worker {worker}!")
client.register_plugin(MySchedulerPlugin()) # Single method to register both types of plugins
client.register_plugin(MyWorkerPlugin())
详情请参见 Hendrik Makait 的 GH#8169 和 GH#8150。
为配置选项的重命名发出弃用警告¶
当使用已被重命名的 Dask 配置选项时,用户现在会收到一个指向新名称的弃用警告。
详情请参见 crusaderky 的 GH#8179。
其他更改
在代码示例中跳过
rechunker(GH#8178) Matthew Rocklin确保
ShuffleRun.close期间的错误不会阻塞工作进程关闭 (GH#8184) Florian Jetter修复
MemorySampler和调度器关闭之间的竞争条件 (GH#8172) crusaderky修复字符串化后的信息页面 (GH#8161) Florian Jetter
修复P2P洗牌解包阶段的验证 (GH#8160) Hendrik Makait
在同步夹具中使用
config_for_cluster_tests(GH#8180) crusaderky简化P2P洗牌的样板代码 (GH#8174) Hendrik Makait
2023年9月1日¶
发布于2023年9月6日
增强功能¶
如果
columndtype错误,则在 P2P 中提出 (GH#8167) Hendrik Makait自动失败依赖项大于工作内存的任务(GH#8135) crusaderky
使工人表可排序 (GH#8153) Jacob Tomlinson
支持取消设置环境变量 (GH#8144) crusaderky
弃用¶
弃用异步
Listener.stop()(GH#8151) Hendrik Makait
维护¶
Dask 键类型更改后的初始调整 (GH#8162) crusaderky
将
actions/checkout从 3.6.0 升级到 4.0.0 (GH#8159)修复不稳定的
test_worker_metrics(GH#8154) crusaderky
2023.9.0¶
发布于2023年9月1日
增强功能¶
不要在代码中捕获
functools帧 (GH#8146) crusaderky忽略
asyncio当抓取代码时 (GH#8122) Matthew Rocklin移除字符串化 (GH#8083) Florian Jetter
Bug 修复¶
确保
NannyPlugin始终安装 (GH#8107) Florian Jetter不要使用异常钩子来缩短回溯 (GH#8127) crusaderky
修复使用
LocalCluster(..., processes=False)时的 P2P 洗牌 (GH#8125) Hendrik Makait如果
left_index或right_index为True,则与 P2P 混洗合并失败 (GH#8121) Patrick Hoefler
文档¶
不要宣传
@span装饰器 (GH#8120) crusaderky
维护¶
在P2P测试中断言DF相等 (GH#8117) Hendrik Makait
修复
pandas=2.1.0的警告 (GH#8145) Patrick Hoefler在P2P洗牌中尽早强制执行
dtypes(GH#8131) Hendrik Makait将
actions/checkout从 3.5.3 升级到 3.6.0 (GH#8139)修复
test_spans中的不稳定性 (GH#8132) crusaderky在
Server.close、Nanny.close和Server.stop中移除重复的拆卸逻辑 (GH#8129) David Gold修复不稳定的
test_task_counter(GH#8134) crusaderky在
ConnectionPool中使用asyncio.timeout()(如果有)(GH#8109) Thomas Grainger
2023年8月1日¶
发布于2023年8月18日
新功能¶
添加
memray集成 (GH#8044) Florian Jetter
增强功能¶
在
Worker.close中等待asynclistener.stop(GH#8118) Hendrik Makait在
memray中进行了小修复 (GH#8113) Florian Jetter为
dask-cudf启用基本的p2p洗牌 (GH#7743) Richard (Rick) Zamora不要在
gather()时关闭无响应的工作者 (GH#8101) crusaderky在
gather_from_workers中传播CancelledError(GH#8089) crusaderky异常任务终止的更好日志记录 (GH#8082) crusaderky
Bug 修复¶
在P2P洗牌中处理空分区 (GH#8116) Hendrik Makait
在
ConnectionPool中正确处理CancelledError(GH#8110) Florian Jetter修复可能导致P2P重启死锁的额外竞争条件 (GH#8094) Hendrik Makait
在绘图时确保x轴一致 (GH#8093) Florian Jetter
修复P2P重启中的死锁 (GH#8091) Hendrik Makait
文档¶
将
memray集成到 API 文档中 (GH#8115) James Bourbeau
维护¶
现在
types_mapper参数已经在from_pyarrow_table_dispatch中捕获,因此移除它 (GH#8114) Richard (Rick) Zamora使P2P洗牌可扩展 (GH#8096) Hendrik Makait
将
PreloadManager设为Sequence(GH#8112) Hendrik Makait引入
PreloadManager以处理预加载设置/拆卸中的失败 (GH#8078) Hendrik Makait重构P2P代码 (GH#8098) Hendrik Makait
将
ToPickle设为Generic(GH#8097) Hendrik Makait专为
memray测试的作业 (GH#8104) Florian Jetter修复
test_task_groups_update_start_stop,再次 (GH#8102) crusaderky移除
dumps_task(GH#8067) Florian Jetter简化保姆中队列的使用 (GH#6655) Florian Jetter
修复由
WindowsTime引起的测试不稳定性 (GH#8087) crusaderky重构
gather()(GH#7997) crusaderky修复不稳定的
test_asyncprocess.py::test_simple(GH#8085) crusaderky在 Mac OS 上跳过
test_client.py::test_file_descriptors_dont_leak(GH#8080) Hendrik Makait在
Worker.close中重新排序操作 (GH#8076) Hendrik Makait
2023.8.0¶
发布于2023年8月4日
增强功能¶
将更新图中的CPU密集型部分卸载以解除事件循环的阻塞 (GH#8049) Florian Jetter
在事件中记录工作器关闭原因 (GH#8042) Florian Jetter
从连接超时中排除通信握手 (GH#7698) Florian Jetter
当输出工作器离开时自动重启P2P洗牌 (GH#7970) Hendrik Makait
添加
Client.unregister_scheduler_plugin方法 (GH#7968) Brian Phillips修复日志消息 (GH#8029) Hendrik Makait
在P2P重新分块中按输入块分组发送碎片 (GH#8010) Hendrik Makait
Bug 修复¶
首先在
Worker.close中关闭状态机和插件 (GH#8066) Hendrik Makait修复
decide_worker选择关闭的 worker (GH#8032) crusaderky在
get_stream_address中引发CommClosedError(GH#8020) jochenott在自适应中尊重平均
nthreads(GH#8041) Matthew Rocklin在自适应目标中使用排队任务 (GH#8037) Matthew Rocklin
恢复对不安全的
Client上下文管理器的 yield 支持并弃用该支持 (GH#7987) Thomas Grainger
文档¶
将文档中的
worker_saturation默认值更改为 1.1 (GH#8040) minhnguyenxuan60
维护¶
修复不稳定的
test_worker_metrics(GH#8069) crusaderky重新平衡
ci1标记 (GH#8061) Florian Jetter确保流消息始终有序 (GH#8059) Florian Jetter
简化更新图 (GH#8047) Florian Jetter
捕获信号时提供关闭原因 (GH#8045) Florian Jetter
在测试中允许未关闭的通信 (GH#8057) Florian Jetter
对
adaptive_target的外观调整 (GH#8052) crusaderky修复代码风格问题 (GH#8046) Florian Jetter
将 gpuCI 的
RAPIDS_VER更新为23.10(GH#8033)测试更新的
pyarrow版本 (GH#8021) James Bourbeau为
GraphLayout添加scatter的测试 (GH#8025) Irina Truong修复兼容性变量命名 (GH#8030) Hendrik Makait
2023年7月1日¶
发布于2023年7月20日
增强功能¶
gather_dep应处理CancelledError(GH#8013) crusaderky将
stimulus_id传递给SchedulerPlugin.remove_worker和SchedulerPlugin.transition(GH#7974) Hendrik Makait在
retire_worker中记录stimulus_id(GH#8003) crusaderky在P2P中使用
BufferOutputStream(GH#7991) Florian Jetter将 Coiled 添加到代码嗅探的忽略模块中 (GH#7986) Matthew Rocklin
进度条可以通过跨度对任务进行分组 (GH#7952) Irina Truong
改进了P2P洗牌的错误信息 (GH#7979) Hendrik Makait
将删除通信日志的级别降低到调试级别 (GH#7972) Florian Jetter
Bug 修复¶
修复图表仪表板中的
TypeError: '<' 不支持问题 (GH#8017) Irina Truong修复shuffle代码以兼容
pyarrow13 (GH#8009) Joris Van den Bossche
文档¶
为 p2p 重新分块代码添加一些顶级说明 (GH#7978) Lawrence Mitchell
维护¶
在
set_index中为p2p添加测试,当不进行repartitioning时 (GH#8016) Patrick Hoefler将
JamesIves/github-pages-deploy-action从 4.4.2 升级到 4.4.3 (GH#8008)使用
loop_factory关键字参数配置 asyncio 循环,而不是使用set_event_loop_policy(GH#7969) Thomas Grainger修复P2P工作线程清理 (GH#7981) Hendrik Makait
在 mypy
pre-commit钩子中跳过clickv8.1.4 (GH#7989) Thomas Grainger移除
pyarrowTable到 pandas 的意外重复转换 (GH#7983) Joris Van den Bossche
2023.7.0¶
发布于2023年7月7日
增强功能¶
将跨度传播到任务 (GH#7898) crusaderky
制作精细性能指标条形图水平 (GH#7966) crusaderky
不要堆积
context_meter回调 (GH#7961) crusaderky波兰精细性能指标图表 (GH#7963) crusaderky
使用
run_id标记task-erred并拒绝过时的响应 (GH#7933) Hendrik Makait在进入 ctx 时设置
Client.as_current(GH#6527) Florian Jetter在
ComputeTaskEvent上重新运行出错的任务 (GH#7967) Hendrik Makait
Bug 修复¶
修复当
time()不是单调时在跨度中的崩溃 (GH#7960) crusaderky
文档¶
Fine Performance Metrics 和 Spans 的文档 (GH#7945) crusaderky
更新
client.py以与文档字符串保持一致 (GH#7705) Sultan Orazbayev
维护¶
在
test_close_async_task_handles_cancellation中使用distributed.wait_for(GH#7955) Thomas Grainger修复UCX测试的不稳定性 (GH#7950) Peter Andreas Entschev
2023.6.1¶
发布于2023年6月26日
增强功能¶
添加空闲时间以细化性能指标 (GH#7938) crusaderky
跨度:捕获代码片段 (GH#7930) crusaderky
改进P2P重新分块的内存占用 (GH#7897) Hendrik Makait
在
_handle_remove_replicas中改进无效状态的错误信息 (GH#7920) Hendrik Makait使
ShuffleSchedulerExtension.remove_worker更加健壮 (GH#7921) Hendrik Makait如果占用率降至零以下,请提供更多信息 (GH#7924) Hendrik Makait
在P2P洗牌中改进了
pyarrow和pandas之间的转换 (GH#7896) Hendrik Makait
Bug 修复¶
添加
Cluster.called_from_running_loop并修复Cluster.asynchronous(GH#7941) Jacob Tomlinson修复线程间注释和跨度泄漏的问题 (GH#7935) Irina Truong
在P2P混洗中处理空分区 (GH#7922) Jonathan De Troye
修复细粒度性能指标同步中的竞争条件 (GH#7927) crusaderky
通过将
run_id从 1 开始,避免 (GH#7923) (GH#7925) Hendrik Makait修复精细性能指标堆叠图中的故障 (GH#7919) crusaderky
维护¶
在(GH#7935)(GH#7946)之后清除缓存 crusaderky
在
gen_cluster中移除未关闭通信的宽限期 (GH#7937) Thomas Graingerraise pytest.skip是多余的 (GH#7939) crusaderky修复 CI 上的
test_rechunk_with_{fully|partially}_unknown_dimension(GH#7934) Hendrik Makait修复与
numpy1.25 的兼容性 (GH#7932) crusaderky跨度:重构映射的总和 (GH#7918) crusaderky
修复不稳定的
test_send_metrics_to_scheduler(GH#7931) crusaderky通过在
LoopRunner中使用asyncio.run来避免调用make_current()和make_clear()(GH#7467) Thomas Grainger从调度器上的全局指标中移除
span_id(GH#7917) crusaderky在Fine Performance Metrics bokeh仪表盘中添加跨度 (GH#7911) crusaderky
FinePerformanceMetrics 仪表板改造 (GH#7910) crusaderky
修复来自 (GH#7902) (GH#7905) Hendrik Makait 的 CI 变更
将
get_default_shuffle_algorithm重命名为get_default_shuffle_method(GH#7902) Hendrik Makait将 actions/checkout 从 3.5.2 升级到 3.5.3 (GH#7904)
重构P2P重新分块验证 (GH#7890) Hendrik Makait
2023.6.0¶
发布于2023年6月9日
增强功能¶
将细粒度的性能指标发布到跨度 (GH#7885) crusaderky
唯一跨度 (GH#7882) crusaderky
为
client.as_completed添加一个timeout,使其与concurrent.futures.as_completed的timeout一致 (GH#7811) Thomas Grainger在P2P洗牌中强制执行dtypes (GH#7879) Hendrik Makait
为
Client.upload_file方法添加load=关键字支持 (GH#7873) James Bourbeau在异步任务中支持
get_worker()和worker_client()(GH#7844) Thomas Grainger
Bug 修复¶
避免P2P洗牌中的元往返 (GH#7895) Hendrik Makait
修复 Fine Performance Metrics 中未对齐的
ColumnData长度 (GH#7893) Miles修复当
scatter或client_desires_new_key创建任务时的跨度错误 (GH#7886) crusaderkyTaskGroup.start可以向后移动 (GH#7867) crusaderky使用正确导入的
MatDescriptor进行cupy调度注册 (GH#7868) Charles Blackmon-Luca确保
retire_workers在未加载 AMM 扩展时也能工作 (GH#7863) crusaderky
维护¶
审查用户定义的精细性能指标 (GH#7894) crusaderky
修复禁用shuffle扩展的测试 (GH#7883) crusaderky
重构
Scheduler.is_idle(GH#7881) crusaderky将任务组链接到跨度 (GH#7869) crusaderky
Spans 骨架 (GH#7862) crusaderky
将 gpuCI 的
RAPIDS_VER更新为23.08(GH#7855)将
JamesIves/github-pages-deploy-action从 4.4.1 升级到 4.4.2 (GH#7865)
2023年5月1日¶
发布于2023年5月26日
备注
此版本放弃了对 Python 3.8 的支持。自此版本起,Dask 支持 Python 3.9、3.10 和 3.11。更多详情请参见 此社区问题。
增强功能¶
放弃对 Python 3.8 的支持 (GH#7840) Thomas Grainger
将
storage_options添加到performance_report(GH#7636) ypogorelova不要对不匹配的
msgpack发出警告 (GH#7839) Irina Truong在
Server关闭时清理sys.path(GH#7838) James Bourbeau
Bug 修复¶
在P2P重新分块中正确处理未知的块大小 (GH#7856) Hendrik Makait
最小更改以解决 (GH#7726) / 对 UCX 的支持 (GH#7851) Benjamin Zaitlen
不要在集群真正空闲之前结束计算 (GH#7790) crusaderky
维护¶
在上传conda nightly版本时,从conda-forge显式安装
anaconda-client(GH#7861) Charles Blackmon-Luca修复
is_idle文档构建 (GH#7854) James Bourbeau为P2P屏障融合添加测试 (GH#7845) Hendrik Makait
避免在
cupy调度注册中出现DeprecationWarning(GH#7836) Lawrence Mitchell
2023.5.0¶
发布于2023年5月12日
增强功能¶
Client.upload_file发送给 Workers 和 Scheduler 并重命名临时目录 (GH#7802) Miles允许仪表板与 bokeh 预发布版本一起使用 (GH#7814) James Bourbeau
Bug 修复¶
确保非msgpack可序列化对象的log_event不会导致服务器崩溃 (GH#7472) Florian Jetter
修复
test_nanny.py中重复的pytestmark定义 (GH#7819) Thomas Grainger修复不稳定的
test_dask_worker.py::test_single_executable_deprecated(GH#7817) Thomas Grainger
维护¶
无注解的P2P洗牌 (GH#7801) Hendrik Makait
修复
client.map中batch_size的文档字符串 (GH#7833) David Chudzicki重构
test_protocol.py(GH#7829) crusaderkyLint #6496 (GH#7828) crusaderky
移除硬编码的60秒超时 (GH#6496) Florian Jetter
在模板和静态目录中添加
__init__.py文件 (GH#7809) Thomas Grainger禁用压缩以实现快速通信 (GH#7768) crusaderky
避免使用已弃用的
pd.api.types.is_sparse(GH#7813) James Bourbeau将 gpuCI 的
PYTHON_VER从 3.8 升级到 3.9 (GH#7812) Charles Blackmon-Luca
2023年4月1日¶
发布于2023年4月28日
增强功能¶
默认情况下,只有在没有其他处理程序设置时才设置日志处理程序,以避免重复日志记录 (GH#7750) Thomas Grainger
集群等待 (GH#6700) Iain Dorrington
Bug 修复¶
部分恢复 defaultclient 配置设置 (GH#7803) Florian Jetter
延迟等待异步
SchedulerPlugin.{add|remove}_worker钩子,以便立即执行所有同步钩子 (GH#7799) Hendrik Makait修复
check_idle在没有改变空闲状态时未返回正确值的问题 (GH#7781) Jacob Tomlinson
维护¶
当未安装
gilknocker时避免警告 (GH#7808) James Bourbeau只有在处于
Status.init状态时,才将 worker/nanny 设置为Status.running(GH#7773) Thomas Grainger添加
--cov-config=pyproject.toml以便pytest-cov始终正确加载配置 (GH#7793) Thomas Graingergilknocker来自 conda-forge (GH#7791) James Bourbeau小幅度
zict清理 (GH#7783) crusaderky将
actions/checkout从 3.5.0 升级到 3.5.2 (GH#7784)修复类型,因为代码现在是帧的元组 (GH#7778) Nat Tabris
2023.4.0¶
发布于2023年4月14日
备注
通过此次发布,我们进行了一项更改,这将要求 Dask 调度器与客户端和工作节点具有一致的软件和硬件能力。
一直建议您的客户端和工作程序具有一致的软件和硬件环境,以便数据结构和依赖项可以在它们之间进行序列化和传递。然而,Dask调度程序最近的更改意味着我们现在还要求您的调度程序具有与其他所有内容相同的一致环境。
增强功能¶
测量卸载执行器的队列时间 (GH#7758) crusaderky
添加方法
Client.forward_logging()和Client.unforward_logging()。(GH#7276) Max Bane在计算中可选地捕获更多帧 (GH#7656) Gabe Joseph
考虑在空闲超时中的Jupyter活动 (GH#7687) Gabe Joseph
添加一个显示RMM内存的仪表盘组件(GH#7718)`Peter Andreas Entschev`_
如果
shuffle/rechunk丢失了注释,改进错误信息 (GH#7707) Hendrik MakaitP2P 洗牌中的异常链 (GH#7706) Hendrik Makait
使用 pickle 从客户端向调度器提交图表 (GH#7564) Florian Jetter
Bug 修复¶
修复 Python 3.8 上的
randbytes()(GH#7771) crusaderky在子进程中运行
SubprocessCluster的调度器 (GH#7727) Hendrik Makait从RMM仪表板组件中删除id (GH#7739) James Bourbeau
维护¶
将
peter-evans/create-pull-request从 4 升级到 5 (GH#7766)修复CI中的不稳定测试
test_malloc_trim_threshold(GH#7764) crusaderky在
spill和worker_memory_manager中进行了小幅度优化 (GH#7752) crusaderky合并相同的
tool.mypy.overrides部分 (GH#7749) Thomas Grainger添加2023.3.2.1版本的更新日志部分 (GH#7755) Charles Blackmon-Luca
在
test_processing_chain中明确指定ts分辨率 (GH#7744) Patrick Hoefler取消忽略 Sphinx
ref.python(GH#7713) Thomas Graingertest_merge_by_multiple_columns的临时修复,适用于 pandas 2.0 (GH#7747) James Bourbeau从 gpuCI 更新审核者中移除
dask/gpu(GH#7741) Charles Blackmon-Luca将 gpuCI 的
RAPIDS_VER更新为23.06(GH#7728)移除
DataFrame.to_hdf的测试 (GH#7735) Hendrik Makait使用
DataFrame.to_hdf测试 P2P 洗牌 (GH#7720) Hendrik Makaitscheduler.py类型检查 - 移除allow_incomplete_defs(GH#7721) Florian Jetter移除
bokeh的上限 (GH#7413) James Bourbeau使用声明式的
setuptools(GH#7629) Thomas Grainger将 readthedocs 配置升级到 ubuntu 22.04 和 Python 3.11 (GH#7722) Thomas Grainger
清理工作器重新连接时的遗留问题 (GH#7712) crusaderky
将
actions/checkout从 3.4.0 升级到 3.5.0 (GH#7711)放弃对 zict 2.1.0 的支持 (GH#7709) crusaderky
修复
test_client.py中的mypy警告 (GH#7710) crusaderky使用
DataFrame.categorize测试 P2P 洗牌 (GH#7708) Hendrik Makait
2023年3月2日¶
发布于2023年3月24日
增强功能¶
在
zict.File中增强了线程安全性 (GH#7691) crusaderky未来在没有可用客户端的情况下的反序列化 (GH#7580) Florian Jetter
execute、gather_dep等的优秀性能指标 (GH#7586) crusaderky通过RPC和HTTP API暴露调度器空闲状态 (GH#7642) Jacob Tomlinson
Bug 修复¶
告知工人他们的同事已经离开(这样他们就不会挂起从他们那里获取数据)(GH#7574) Thomas Grainger
修复了在 (GH#7586) 之后仪表板中的回归问题 (GH#7683) crusaderky
修复
Cluster._sync_cluster_info()中的OverflowError(GH#7648) Hendrik Makait确保序列化数据被正确测量 (GH#7593) Florian Jetter
文档¶
修复
Client.cancel文档字符串中的意外缩进 (GH#7694) Thomas Grainger改进插件API文档 (GH#7653) Florian Jetter
维护¶
将sphinx警告配置为错误 (GH#7697) Thomas Grainger
暂时限制
ipywidgets<8.0.5(GH#7693) crusaderky将
actions/checkout从 3.3.0 升级到 3.4.0 (GH#7685)暂时限制
ipykernel<6.22.0(GH#7689) James Bourbeau修复
CODEOWNERS中的拼写错误 (GH#7670) Hendrik Makait避免
@gen_cluster中bool对象没有close属性 (GH#7657) Thomas Grainger修复失败的
test_server_close_stops_gil_monitoring(GH#7659) James Bourbeau添加
CODEOWNERS文件 (GH#7645) Jacob Tomlinson移除
weakref对于 Offload Executor 的终结器 (GH#7644) Florian Jetter
2023年3月1日¶
发布于2023年3月10日
增强功能¶
如果设置了
--jupyter标志,则在仪表板菜单中添加 Jupyter 链接 (GH#7638) Jacob Tomlinson扩展
dask元包依赖 (GH#7630) James BourbeauP2P 卸载
get_output_partition(GH#7587) Florian Jetter将 shuffle/rechunk 配置选项/关键字参数重命名为 method (GH#7623) Hendrik Makait
确保客户端密钥取消使用有序消息 (GH#7583) Florian Jetter
Bug 修复¶
在没有
scheduler_comm的情况下不要发送客户端心跳 (GH#7612) James Bourbeau不要在自由键上解开 (GH#7607) crusaderky
文档¶
在
Client.submit、Client.map和Client.scatter中添加注释,描述当前任务图解析算法的限制 (GH#7588) Eugene Druzhynin
维护¶
在P2P shuffle运行中共享线程池 (GH#7621) Hendrik Makait
在
test_failing_worker_with_additional_replicas_on_cluster中用BlockedGatherDep替换psutil暂停 (GH#7633) Thomas Grainger忽略
pkg_resources的DeprecationWarning以适应最低依赖 (GH#7626) Miles在3.11版本中使用
asyncio.timeout()实现wait_for(GH#7571) Thomas Grainger使用
tmp_path夹具代替过时的tmpdir夹具 (GH#7582) ypogorelova只有一个
crick回调 (GH#7614) crusaderky不要因为 (GH#6705) (GH#7611) crusaderky 而
xfail整个测试。
2023.3.0¶
发布于2023年3月1日
Bug 修复¶
移除用于重新分块的
pyarrow依赖 (GH#7604) Florian Jetter更新
rechunk_transfer和rechunk_unpack错误 (GH#7600) James Bourbeau
维护¶
移除无用代码并记录
ShardBuffer构造函数的参数 (GH#7590) Lawrence Mitchell修复默认的p2p测试 (GH#7595) Florian Jetter
移除过时的类型转换 (GH#7596) Florian Jetter
2023年2月1日¶
发布于2023年2月24日
增强功能¶
数组重新分块的P2P(GH#7534) Hendrik Makait
P2P HashJoin (GH#7514) Florian Jetter
在没有客户端上下文的情况下安全地解封事件、变量、队列和信号量 (GH#7579) Florian Jetter
允许 pickle 回退到 dask_serialize (GH#7567) Florian Jetter
使
ConnectionPool.remove取消连接尝试 (GH#7547) Thomas Grainger测量每个任务前缀在每个状态中停留的时间 (GH#7560) crusaderky
Bug 修复¶
在启动
jupyter服务器时避免解析sys.argv(GH#7573) Brett Naulstr/bytes兼容性为 PyNVML 设备名称 (GH#7563) James Bourbeaumetrics.monotonic()在 Windows 上不是单调的 (GH#7558) crusaderky修复 PyNVML 更新后的
bytes/str差异 (GH#7544) Peter Andreas Entschev
维护¶
尝试进行P2P操作时,当启用了活动融合优化时引发 (GH#7585) Hendrik Makait
修复
test_shuffling(GH#7581) Hendrik MakaitP2P: 如果 pyarrow 版本不足,则引发 RuntimeError (GH#7578) Florian Jetter
检查 p2p 中的 dtype 支持 (GH#7425) Hendrik Makait
更新 FULL_RAPIDS_VER/FULL_UCX_PY_VER 的解析 (GH#7568) Charles Blackmon-Luca
将重试操作从 get_data_from_worker 移动到 gather_from_workers (GH#7546) Thomas Grainger
增加
numpy和pandas的版本固定用于夜间构建 (GH#7562) James Bourbeau在所有测试中设置 validate=True (GH#7557) crusaderky
从 _get_task_finished_msg 中移除无效代码 (GH#7561) crusaderky
将耗时超过2秒的测试标记为慢 (GH#7556) crusaderky
修复在慢速CI上的test_scatter_no_workers (GH#7559) crusaderky
取消跳过
test_delete_some_results(GH#7508) Hendrik Makaitscatter() 不应绕过工作进程转换机制 (GH#7545) crusaderky
预提交更新 (GH#7541) crusaderky
在 Worker.validate_state() 中更好的断言 (GH#7549) crusaderky
将 jacobtomlinson/gha-find-replace 从 2 升级到 3 (GH#7540) James Bourbeau
将
black更新到 23.1.0 (GH#7542) crusaderky在 Python 3.8 和 3.10 上运行 GPU 测试 (GH#7537) Charles Blackmon-Luca
2023.2.0¶
发布于2023年2月10日
增强功能¶
限制工作内存日志的速率 (GH#7529) Florian Jetter
将P2P屏障逻辑移至调度器扩展 (GH#7519) Hendrik Makait
维护¶
使用 PEP 673
Self类型 (GH#7530) Thomas Grainger暂时修复
test_pause_while_spilling(GH#7517) crusaderky注释
asyncio_tcp.py(GH#7522) crusaderky使用 dask git tip 进行
mypy(GH#7516) crusaderky升级到
mypyv1 (GH#7525) Thomas Grainger清理对
captured_logger的调用 (GH#7521) crusaderky将
isort版本更新至 5.12.0 (GH#7513) Lawrence Mitchell
2023年1月1日¶
发布于2023年1月27日
增强功能¶
P2P 洗牌去重数据并且可以运行多次 (GH#7486) Hendrik Makait
反转
get_logs()和get_worker_logs()的顺序 (GH#7475) Nicholas R. Knezek为每个任务前缀添加 Prometheus 指标用于时间和内存使用 (GH#7406) Thomas Grainger
在Prometheus中添加工作计数 (GH#7468) crusaderky
为 taskstream 添加帮助工具 (GH#7478) Florian Jetter
Bug 修复¶
不允许工作者拒绝一个放置副本的请求 (GH#7490) Hendrik Makait
修复带有自定义构造函数的命名元组的解包/打包 (GH#7465) antonymayi
文档¶
从
worker_client的文档字符串示例中移除timeout=(GH#7497) Florian Jetter
维护¶
忽略 get_default_shuffle_algorithm 的 linting 问题 (GH#7506) Florian Jetter
使用默认客户端时移除 set_config (GH#7482) Florian Jetter
将 gpuCI 的
RAPIDS_VER更新为23.04(GH#7501)修复
test_balance_expensive_tasks并在test_steal.py中改进辅助函数 (GH#7253) Hendrik Makait使用运行ID为每个计算任务签名以关联响应 (GH#7463) Hendrik Makait
2023.1.0¶
发布于2023年1月13日
新功能¶
添加本地
SubprocessCluster,在单独的进程中运行工作线程 (GH#7431) Hendrik Makait
增强功能¶
确保在
cluster.close()或client.shutdown()之后客户端会话是安静的 (GH#7429) James Bourbeau将
lifetime-stagger的默认值设置为None(GH#7445) bstadlbauer内存阈值永远不应为
0.0(GH#7458) Stuart Berg移除不正确的Sizeof警告 (GH#7450) Mads R. B. Kristensen
在P2P shuffle任务中记录异常 (GH#7442) Hendrik Makait
避免在
lz4解压时进行深度复制 (GH#7437) crusaderky避免在unspill时对``numpy``缓冲区进行深度复制(GH#7435) crusaderky
点击空任务流图时不要出错 (GH#7432) James Bourbeau
在比较与进程内存时,不要计算泄漏的内存(GH#7430)`crusaderky`_
在
shutdown()期间停止Client的周期性回调 (GH#7428) James Bourbeau添加
dask specCLI (GH#7427) Matthew Rocklin为每次压缩调用创建新的
zstd(解)压缩器 (GH#7404) Dylan Wragge将
managed_in_memory等重命名为与GUI匹配 (GH#7418) crusaderky当
sizeof()返回膨胀的输出时警告用户 (GH#7419) crusaderky
Bug 修复¶
确保字典被正确识别为
msgpack可序列化的 (GH#7473) Florian Jetter在重启时重置
ShuffleSchedulerExtension的状态 (GH#7446) Hendrik Makait在P2P shuffle中拒绝非字符串列名 (GH#7447) Hendrik Makait
避免在仪表板中使用
int32(GH#7443) Matthew Rocklin修复分类数据的
P2PShuffle序列化 (GH#7410) Hendrik MakaitWorkerPorcess如果在启动中被终止则会阻塞 (GH#7424) Matthew Rocklin
文档¶
将 Prometheus 文档从
dask/dask(GH#7405) crusaderky 移动
维护¶
在信号量中进行了各种清理 (GH#5885) Florian Jetter
test_rlimit在 MacOSX 上失败 (GH#7457) crusaderky将
actions/checkout从 3.2.0 升级到 3.3.0 (GH#7464)移除
psutil的条件导入 (GH#7462) crusaderky放弃对
zict < 2.1.0的支持 (GH#7456) crusaderky修复不稳定的
test_digests(GH#7454) crusaderky将最小依赖测试添加到CI (GH#7285) Charles Blackmon-Luca
避免
statitics.mean中的溢出 (GH#7426) Matthew Rocklin忽略
numpybool8弃用 (GH#7423) Matthew Rocklin为 pyarrow 添加缺失的跳过 (GH#7416) Elliott Sales de Andrade
在测试中对预期的密码更加宽容 (GH#7417) Elliott Sales de Andrade
还原“TST: 从构建根目录获取可执行文件 (GH#2551)” (GH#7415) Elliott Sales de Andrade
2022.12.1¶
发布于2022年12月16日
增强功能¶
SpillBuffer指标 (GH#7368) crusaderkyPrometheus: 测量事件循环被溢出块阻塞的程度 (GH#7370) crusaderky
添加
transfer_outgoing_bytes_total指标 (GH#7388) Gabe Joseph在工作者失败时优雅地失败
P2PShuffle(GH#7326) Hendrik Makait
Bug 修复¶
在刺激中选择排队任务,而不是过渡 (GH#7402) Gabe Joseph
在
default_client中检查ContextVar(GH#7369) Matthew Rocklin修复向非订阅者发送事件消息 (GH#7014) Laurence Watts
在
Tabs上设置尺寸模式以避免布局崩溃 (GH#7365) Mateusz Paprocki
维护¶
重构
P2PShuffle扩展 (GH#7390) Hendrik Makait添加 Python 3.11 分类器 (GH#7408) James Bourbeau
添加对 Python 3.11 的支持 (GH#7249) Thomas Grainger
为使用
client.submit和client.map的注解添加测试 (GH#7399) James Bourbeau将
actions/checkout从 3.1.0 升级到 3.2.0 (GH#7393)移除多余的
ShuffleSchedulerExtension.barriers(GH#7389) Hendrik Makait移除忽略未检查的注解 (GH#7379) crusaderky
从夜间配方中移除
tornado的最大版本 (GH#7376) Charles Blackmon-Luca移除
Semaphore的实验性功能警告 (GH#7373) Florian Jetter
2022.12.0¶
于2022年12月2日发布
增强功能¶
在 Prometheus 中公开事件循环健康指标 (GH#7360) Hendrik Makait
默认允许日志传播 (GH#5669) Florian Jetter
清理
unpack_remotedata()(GH#7322) Mads R. B. Kristensen升级到
tornado6.2 (GH#7286) Thomas Grainger介绍
Server级别的comm计数器 (GH#7332) Florian JetterPrometheus 调试日志 (GH#7302) Florian Jetter
Bug 修复¶
从用户任务中捕获
BaseException(GH#5997) Gabe Joseph在转换到等待状态时,错误的依赖项的不可能使用情况 (GH#7354) crusaderky
修复了当队列任务被快速连续重新提交时出现的死锁问题 (GH#7348) Florian Jetter
文档¶
对 Prometheus 文档的编辑更改 (GH#7350) Hendrik Makait
维护¶
获取所有工件 (GH#7355) Enrico Minack
延迟
fsspec和urllib3的导入时间 (GH#6659) Florian Jetter升级
mypy(GH#7349) crusaderky升级
mypy并移除特定于Windows的运行 (GH#7344) Florian Jetter完成
SchedulerState注解的全面修订 (GH#7333) crusaderky修复不稳定的
test_pause_while_spilling(GH#7334) Gabe Joseph将 gpuCI 的
RAPIDS_VER更新为23.02(GH#7337)
2022.11.1¶
发布于2022年11月18日
增强功能¶
限制
bokeh=3支持 (GH#7329) Gabe Joseph在等待调度器文件时尊重死亡超时 (GH#7296) Florian Jetter
如果
P2PShuffle发送失败,始终引发异常 (GH#7317) Hendrik Makait
文档¶
修复
client.run()文档字符串中的拼写错误 (GH#7315) Richard Pelgrim注意变更日志中的默认队列更改 (GH#7314) Gabe Joseph
维护¶
在gpuCI更新工作流中更新
ga-yaml-parser步骤 (GH#7335) Charles Blackmon-Luca从转换中移除异常处理 (GH#7316) crusaderky
将私有函数转换为私有
SchedulerState方法 (GH#7260) Hendrik Makait将
toolz最低版本提升至0.10.0(GH#7309) Sam Grayson
2022.11.0¶
发布于2022年11月15日
备注
此版本将默认调度模式更改为使用 排队 。这将在大多数情况下显著减少集群内存使用,并通常提高稳定性和性能。了解更多请点击这里 ,并请在 此讨论 中提供任何反馈。
在极少数情况下,这可能会使某些工作负载变慢。有关更多信息以及如何切换回旧模式,请参阅 文档。
新功能¶
添加
ForwardOutput工作插件以将stdout和stderr转发给客户端。 (GH#7297) Hendrik Makait前缀级别的持续时间计数器 (GH#7288) Florian Jetter
增强功能¶
在UCX初始化期间支持CUDA上下文创建时的MIG解析 (GH#6720) Peter Andreas Entschev
在没有安装
prometheus-client的情况下处理/metrics端点 (GH#7234) Hendrik Makait默认启用队列 (GH#7279) Florian Jetter
修复调度器错误消息中的
exists->``exist`` 拼写错误 (GH#7281) Matthew Plough如果在
Client异步上下文管理器主体中发生异常,则快速关闭 (GH#6920) Thomas Grainger
文档¶
校对拼写错误 + 文档的
codespellpre-commit钩子 (GH#7294) Matthew Plough排队文档 (GH#7203) Gabe Joseph
Bug 修复¶
在记录
"warn"事件时确保类别是可选的 (GH#7169) James Bourbeau边缘和不可能的内存转换 (GH#7205) crusaderky
维护¶
使用
conda-incubator/setup-miniconda@v2.2.0(GH#7310) jakirkham允许
bokeh=3(GH#5648) James Bourbeau修复P2P shuffle代码中的拼写错误 (GH#7304) Hendrik Makait
重新启用
test_bad_disk(GH#7300) Florian Jetter减少测试报告中的最大运行次数 (GH#7299) Florian Jetter
当
worker-saturation设置时恢复空闲分类 (GH#7278) Florian Jetter修复不稳定的
deadline_expiration(GH#7287) Florian JetterP2P 控制流的重新编写 (GH#7268) Florian Jetter
添加 codecov 令牌 (GH#7277) Florian Jetter
将最小
bokeh版本提升至 2.4.2 (GH#7271) James Bourbeau移除对
IOLoop.make_current()的已弃用代码调用 (GH#7240) Thomas Grainger改进了平衡昂贵任务的测试 (GH#7272) Hendrik Makait
将
semaphore._Watch重构为通用Deadline工具 (GH#7238) Hendrik Makait删除测试 (GH#7269) Hendrik Makait
将
test_(do_not_)steal_communication_heavy_tasks测试替换为更健壮的版本 (GH#7243) Hendrik Makaitxfailtest_bad_disk(GH#7265) crusaderky将
transition_log从Scheduler移动到SchedulerState(GH#7254) crusaderky移除
Scheduler.log(GH#7258) crusaderky从配置中解析
worker-saturation的改进 (GH#7255) crusaderky在未使用时避免昂贵的占用计算(GH#7257) Gabe Joseph
取消跳过
test_nested_compute(GH#7247) Gabe Joseph审查
test_do_not_steal_communication_heavy_tasks(GH#7250) crusaderky修复
test_stress_creation_and_deletion(GH#7215) crusaderky在
Server.handle_stream中引发异常,而不是吞咽/记录 (GH#7162) Hendrik Makait升级到
mypyv0.982 (GH#7241) Thomas Grainger修复
_update_scheduler_info挂起的失败测试 (GH#7225) Gabe Joseph将
xarray-contrib/ci-trigger从 1.1 升级到 1.2 (GH#7232)
2022.10.2¶
发布于2022年10月31日
修复了一个错误,其中 Bokeh 被意外设置为非可选 (GH#7230) Oliver Holworthy
当任务让出时安排一个排队任务 (GH#7224) Gabe Joseph
这是一个热修复版本
2022.10.1¶
发布于2022年10月28日
新功能¶
添加
Client.restart_workers方法 (GH#7154) James Bourbeau为
pip和conda实现PackageInstall插件 (GH#7126) Hendrik Makait
增强功能¶
为工作窃取添加 Prometheus 收集器 (GH#7206) Hendrik Makait
跟踪工作者关闭和重启的原因 (GH#7166) Hendrik Makait
在任务进度条上显示无工作者 (GH#7171) Florian Jetter
默认设置
OPENBLAS_NUM_THREADS(GH#7177) James Bourbeau可选地提供数据构造函数的本地目录 (GH#7153) Lawrence Mitchell
介绍
distributed.comm.ucx.environment配置槽 (GH#7164) Lawrence Mitchell记录内存限制的日志信息 (GH#7160) Florian Jetter
改进调度器重启时的日志信息 (GH#7150) Florian Jetter
更全面的
WorkerState任务计数器 (GH#7167) crusaderky
文档¶
在变更日志中添加关于新CLI的注释 (GH#7178) James Bourbeau
更新AMM文档 (GH#7158) Benjamin Zaitlen
将
CondaInstall添加到插件文档 (GH#7149) James Bourbeau
Bug 修复¶
更新最小
bokeh版本信息 (GH#7172) James Bourbeau
维护¶
暂时限制
bokeh<3(GH#7219) James Bourbeau将
Scheduler.reschedule设为私有 (GH#7216) crusaderky修复
decide_worker_rootish_queuing_disabled断言 (GH#7065) Gabe Joseph修复不稳定的
test_include_communication_in_occupancy(GH#7212) Gabe Joseph不要在泄露的 websockets 上引发异常 (GH#7199) Florian Jetter
使用CLI测试和依赖项更改更新夜间配方(GH#7201) Charles Blackmon-Luca
将
p2p洗牌子模块设为私有 (GH#7186) Florian Jetter回迁 tornado
PeriodicCallback(GH#7165) Florian Jetter修复 CI 上的
mypy失败 (GH#7198) Florian Jetter为
p2p洗牌使用一个层 (GH#7180) Florian Jettershuffle 的类型注解 (GH#7185) Florian Jetter
在心跳中不要在通信错误时关闭工作进程 (GH#7163) Hendrik Makait
设置TCP超时错误时记录为错误 (GH#7161) Florian Jetter
从
pre-commit配置中移除不正确的建议 (GH#7159) crusaderky将
the-coding-turtle/ga-yaml-parser从 0.1.1 升级到 0.1.2 (GH#7146)将
JamesIves/github-pages-deploy-action从 4.1.7 升级到 4.4.1 (GH#7145)使用功能网络进行 codecov 上传器 (GH#7148) Florian Jetter
在适当的情况下使用计数器指标类型,
incoming_count报告的是字节数 (GH#7125) Nat Tabris
2022.10.0¶
发布于2022年10月14日
备注
此版本弃用了 dask-scheduler、dask-worker 和 dask-ssh 命令行接口,取而代之的是 dask scheduler、dask worker 和 dask ssh。旧风格的命令行接口将继续工作一段时间,但在未来的版本中将被移除。
作为此次迁移的一部分,旧式和新式CLI的``–reconnect``、--nprocs、--bokeh、--bokeh-port CLI选项也已被移除。这些选项之前已经被弃用。
增强功能¶
使用新的 dask CLI (GH#6735) Doug Davis
重构占用率 (GH#7075) Hendrik Makait
向 Prometheus 暴露托管/非托管/溢出内存 (GH#7112) crusaderky
汇总
saturation-factor(GH#7116) Gabe Joseph在
get_metadata的任何级别上返回默认值以处理KeyError(GH#7109) Hendrik Makait按任务前缀统计任务状态并暴露给Prometheus (GH#7088) Nat Tabris
为 dask workers 添加
scheduler-sni选项 (GH#6290) Burt Holzman
Bug 修复¶
改进UCX通信中的异常捕获 (GH#7132) Peter Andreas Entschev
改进
PipInstall插件的鲁棒性 (GH#7111) Hendrik Makait
维护¶
修复应指向
dask/dask的依赖项 (GH#7138) James Bourbeau在测试完成之前保持
z.sum()不变 (GH#7136) Lawrence Mitchell将
peter-evans/create-pull-request从 3 升级到 4 (GH#7120)在
python/typeshed#8829(GH#7131) 之后更新system_monitor的类型注解 Lawrence Mitchell修复两个可能不稳定的排队测试 (GH#7124) Gabe Joseph
将
EnricoMi/publish-unit-test-result-action从 1 升级到 2 (GH#7121)将
actions/checkout从 2 升级到 3.1.0 (GH#7119)重构
SystemMonitor(GH#7097) crusaderky将
actions/cache从 2 升级到 3 (GH#7118)将
actions/upload-artifact从 2 升级到 3 (GH#7117)移动 dependabot 配置文件 (GH#7115) James Bourbeau
为GitHub Actions启用dependabot (GH#7101) Florian Jetter
更新覆盖率上传操作 (GH#7100) Florian Jetter
调整硬件基准测试 bokeh 测试 (GH#7096) Florian Jetter
多平台 mypy 检查 (GH#7094) crusaderky
将 gpuCI
RAPIDS_VER更新为22.12(GH#7084)
2022年9月2日¶
发布于2022年9月30日
增强功能¶
更智能的依赖偷窃 (GH#7024) Hendrik Makait
默认启用活动内存管理器 (GH#7042) crusaderky
在
distributed.wait中允许超时字符串 (GH#7081) James Bourbeau使AMM内存测量可配置 (GH#7062) crusaderky
演员的AMM支持 (GH#7072) crusaderky
在配置中公开
message-bytes-limit(GH#7074) Hendrik Makait检测调度器中的Python版本不匹配 (GH#7018) Hendrik Makait
改进用户看到的
KilledWorker消息 (GH#7043) James Bourbeau支持 cgroups v2 并尊重软限制 (GH#7051) Samantha Hughes
Bug 修复¶
在UCX读取错误时捕获
BaseException(GH#6996) Peter Andreas Entschev修复
_select_keys_for_gather中的传输限制 (GH#7071) Hendrik Makait解析
worker-saturation如果是一个字符串 (GH#7064) Gabe JosephNanny(config=...)参数覆盖全局 dask 配置 (GH#7069) crusaderky确保默认客户端不会传播到子进程 (GH#7028) Florian Jetter
文档¶
改进
message-bytes-limit的文档 (GH#7077) Hendrik Makait对Sphinx文档的小调整 (GH#7041) crusaderky
改进
upload_fileAPI 文档 (GH#7040) Florian Jetter
维护¶
test_serialize_numba: 在NP 1.23中解决``np.empty_like``的问题 (GH#7089) Graham Markalldask-worker-space(GH#7054) crusaderky移除失败的测试用例 (GH#7087) Hendrik Makait
test_default_client(GH#7058) crusaderky修复
pre-commit在使用最新版本的mypy和pandas时失败的问题 (GH#7068) crusaderky添加因式分解工具 (GH#7048) James Bourbeau
2022.9.1¶
发布于2022年9月16日
增强功能¶
为开放数据传输的大小添加仪表板组件 (GH#6982) Hendrik Makait
允许非常快的键和非常昂贵的传输作为盗窃候选者 (GH#7022) Florian Jetter
Bug 修复¶
不再在盗窃中重复计算转移成本 (GH#7036) Hendrik Makait
维护¶
使
test_wait_first_completed更健壮 (GH#7039) Florian JetterSchedulerState的部分注释 (GH#7023) crusaderky为
stealing.py添加更多类型注解 (GH#7009) Florian Jetter更新 codecov 设置 (GH#7015) Florian Jetter
加速
test_balance(GH#7008) Florian Jetter在添加排队作业后修复测试报告 (GH#7012) Gabe Joseph
在 Gihub Actions 中清理环境变量 (GH#7001) crusaderky
使
test_steal_reschedule_reset_in_flight_occupancy不受时间依赖 (GH#7010) Florian Jetter将
distributed.utils.key_split替换为dask.utils.key_split(GH#7005) Luke Conibear还原“还原‘按数据量限制传入数据传输’ (GH#6994)” (:pr:`7007) Florian Jetter
CI 作业在排队运行测试 (GH#6989) Gabe Joseph
修复
distributed/tests/test_client_executor.py::test_wait(GH#6990) Florian Jetter
2022.9.0¶
发布于2022年9月2日
增强功能¶
通过数据量限制传入数据传输 (GH#6975) Hendrik Makait
在
Worker.get_metrics和WorkerMetricCollector中公开与传输相关的指标 (GH#6936) Hendrik Makait保留根任务(无共同分配)(GH#6614) Gabe Joseph
改进传入/传出连接和传输的区分 (GH#6933) Hendrik Makait
在溢出/暂停状态下更改内存条颜色 (GH#6959) crusaderky
确保重启清除任务组等 (GH#6944) Florian Jetter
优化
scheduler.get_comm_cost集合差异 (GH#6931) Lawrence Mitchell通过
dask-schedulerCLI 设置多个协议和端口 (GH#6898) Jacob Tomlinson使
TextProgressBar在完成时清除行 (GH#5968) Vincenzo Eduardo Padulano
Bug 修复¶
恢复 Python 3.8 的
getaddrinfo快速路径 (GH#6978) Florian Jetter取消/恢复->长时间运行的转换 (GH#6916) crusaderky
弃用¶
弃用
Client.wait_for_workers的默认值 (GH#6942) Florian Jetter
文档¶
文档
Scheduler和Worker状态机 (GH#6948) crusaderky在
LocalCluster文档字符串中插入memory_limit参数 (GH#6839) Crislana Rafael
维护¶
恢复“按数据量限制传入数据传输” (GH#6994) Florian Jetter
在CI测试运行之间缓存conda环境 (GH#6855) Charles Blackmon-Luca
还原“修复二元操作的共同赋值” (GH#6985) Gabe Joseph
在CI中缓存
test_report货架 (GH#6937) Florian Jetter清理
ipywidgets模拟 (GH#6918) Thomas Grainger改进
{Scheduler|Worker}MetricCollector的测试 (GH#6945) Hendrik Makait清理保姆
WorkerProcess.kill(GH#6972) Gabe Joseph重写
test_reconnect以使用 subprocess 可靠地终止调度器 (GH#6967) Florian Jetter调度器端的任务状态域 (GH#6929) crusaderky
从
test_steal中移除@avoid_ci(GH#6872) crusaderky在测试中使用
async with Worker(GH#6958) crusaderky忽略
test_quiet_close_process中的虚假警告 (GH#6955) crusaderky修复Windows上的测试 (GH#6954) Hendrik Makait
防止
HeapSet.sorted()中的重复项 (GH#6952) crusaderky传播工作者地址并改进
_remove_from_processing行为 (GH#6946) Hendrik Makait添加
HeapSet._sorted内部标志 (GH#6949) Gabe Joseph添加
HeapSet.peekn(GH#6947) Gabe Joseph修复从
distributed导入时的pyright错误 (GH#6904) Ian Liu Rodrigues始终从
_remove_from_processing返回ws.address(GH#6884) Hendrik Makait在测试中使用
async with Client:(GH#6921) Thomas Grainger确保相对内存限制作为系统内存的百分比工作 (GH#6923) Florian Jetter
2022年8月1日¶
发布于2022年8月19日
新功能¶
增强功能¶
删除与所有客户端的版本比较(GH#6861)`Hendrik Makait`_
如果设置了,记录工作者的名称 (GH#6866) Johannes Lange
如果主机已经解析,跳过
getaddrinfo线程,使用socket.AI_NUMERIC*(GH#6847) Thomas Grainger在
Worker.execute验证中显示意外状态 (GH#6856) James Bourbeaupre-spawn-environ(GH#6841) crusaderky转储
has_what,missing_dep_flight(GH#6830) Gabe Joseph
Bug 修复¶
cancelled/resumed->rescheduled转换 (GH#6913) crusaderky修复恢复任务的资源释放 (GH#6914) crusaderky
只有在
SpecCluster中存在调度器时才关闭它 (GH#6888) Matthew Rocklin修复
exc.reason为None时的错误 (GH#6881) Hendrik Makait始终关闭
BatchedSend写协程 (GH#6865) Gabe Joseph强化
Worker.execute的前置条件以防止竞争条件 (GH#6878) crusaderky
文档¶
修复拼写错误 (GH#6870) Pieter Gijsbers
维护¶
使用重试进行测试报告 (GH#6926) Florian Jetter
重复代码:
in_flight_tasks验证 (GH#6917) crusaderkyipywidgets8 兼容性 (GH#6912) James Bourbeau为
resumed状态重构过渡 (GH#6699) crusaderky不要升级到
ipywidgets8 (GH#6910) crusaderky清理
cluster进程回收 (GH#6840) Gabe Joseph不要在测试中使用
bokehFigure(GH#6721) Bryan Van de Ven解决 crick 与 setuptools 65 的不兼容问题 (GH#6887) crusaderky
在nightlies中为
dask-core添加最大版本约束 (GH#6862) Charles Blackmon-Luca将
port = random.randint(替换为port = d.utils.open_port(GH#6883) Thomas Grainger修复不稳定的
test_wall_clock(GH#6879) crusaderky为断言添加描述性错误信息 (GH#6871) Hendrik Makait
在
test_quiet_process中增加超时时间 (GH#6857) Florian Jetter测试报告的描述性标题 (GH#6849) Hendrik Makait
将
flake8-bugbear作为插件添加到pre-commit(GH#6809) Hendrik Makait移除
with clean():的冗余使用 (GH#6852) Thomas Grainger在测试报告中显示实际的作业URL (GH#6837) Florian Jetter
更新
pre-commit依赖 (GH#6851) Hendrik Makait即使在其他地方
AsyncProcess被回收,也要调用退出回调 (GH#6684) Thomas Grainger避免在参数默认值中调用函数 (GH#6812) Hendrik Makait
在测试中忽略未关闭的
SSHCluster警告 (GH#6827) Florian Jetter
2022.8.0¶
发布于2022年8月5日
新功能¶
将 Jupyter 服务器添加到 Dask 调度器 (GH#6737) Matthew Rocklin
增强功能¶
磁盘I/O和重命名为diff网络和磁盘的人类可读格式化(GH#6835) Hendrik Makait
添加
Cluster.get_client()方法 (GH#6745) Julia Signell启动 bokeh 应用程序以激活 bokeh 的干净会话回调 (GH#6728) Martí Zamora
Bug 修复¶
确保 Nanny 不会重启启动失败的 worker,并加入子进程 (GH#6427) Gabe Joseph
在关闭时不要连接到集群子进程 (GH#6829) Gabe Joseph
修复
restart等待工作者的边缘情况 (GH#6823) Gabe Joseph修复了
Slow中的溢出大小计算 (GH#6789) Hendrik Makait
弃用¶
弃用将停止的循环传递给
LoopRunner(因此是Client/Cluster) (GH#6680) Thomas Grainger
文档¶
在API文档顶部添加文本,以确保用户早期接触到
LocalCluster(GH#6793) Julia Signell更改插件文档的标题 (GH#6733) Sarah Charlotte Johnson
维护¶
仅在
gen_cluster测试中设置 5s 连接超时 (GH#6822) Gabe Joseph修复不稳定的
test_worker_who_has_clears_after_failed_connection(GH#6832) Gabe Joseph为 pyarrow 添加缺失的跳过 (GH#6787) Elliott Sales de Andrade
杂项
flake8-bugbear问题 (GH#6814) Hendrik Makait断言否则无意义的比较 (B015) (GH#6811) Hendrik Makait
从
utils_test.py中移除未使用的函数 (GH#6807) Hendrik Makait修复Jupyter安全提示 (GH#6818) Jacob Tomlinson
改进
check_thread_leak输出 (GH#6797) Gabe Joseph使用 contextmanager 确保客户端关闭且不泄露 (GH#6817) Hendrik Makait
在
test_watch和test_watch_requires_lock_to_run中实现稳健的线程终止 (GH#6788) Hendrik Makait避免未使用的循环控制变量或将其命名为
_(GH#6813) Hendrik Makait在应该总是抛出异常的地方替换
assert False(GH#6815) Hendrik Makait避免在测试中使用可变参数默认值 (GH#6810) Hendrik Makait
避免在测试外部使用可变参数默认值 (GH#6665) Hendrik Makait
将 gpuCI 的
RAPIDS_VER更新为22.10(GH#6798)使用相同的 Python 进行 dask worker 测试 (GH#6786) Elliott Sales de Andrade
2022年7月1日¶
发布于2022年7月22日
增强功能¶
等待工人在
Client.restart中返回 (GH#6714) Gabe Joseph移除全局可变
Cluster._cluster_info(GH#6487) Thomas Grainger
Bug 修复¶
修复:nvml 无早期初始化 (GH#6678) Lawrence Mitchell
修复客户端重启时的错误 (GH#6654) Iain Dorrington
未能溢出会破坏可用资源 (GH#6703) crusaderky
修复具有依赖关系的任务的资源分配 (GH#6676) Hendrik Makait
维护¶
恢复“在解释器启动前设置
MALLOC_TRIM_THRESHOLD_” (GH#6777) Gabe Joseph移除
test_restart_fast_sync,test_fast_kill(GH#6750) Gabe Joseph修复不稳定的
test_async_task_group_call_later_executes_delayed_task_in_background(GH#6744) Hendrik Makait删除多余的
geninc(GH#6740) Hendrik Makait移除未使用的
worker_coroutines(GH#6739) Gabe Joseph将准备就绪和受限的任务存储在堆集合中 (GH#6711) crusaderky
改进取消状态的测试 (GH#6717) crusaderky
未来证明 Bokeh 值导入 (GH#6707) Bryan Van de Ven
恢复临时压力测试 (GH#6712) crusaderky
验证受限任务 (GH#6698) crusaderky
对取消状态的小幅生活质量调整 (GH#6701) crusaderky
Pickle 工作状态机异常 (GH#6702) crusaderky
工作状态机指令的部分匹配 (GH#6704) crusaderky
自动标记所有 WorkerState 测试 (GH#6706) crusaderky
2022.7.0¶
发布于2022年7月8日
增强功能¶
默认使用临时目录路径而不是工作目录作为工作者的临时目录 (GH#6658) Florian Jetter
添加
WorkerState.all_running_tasks(GH#6690) Hendrik MakaitScheduler.reschedule()仅偶然工作 (GH#6339) crusaderky在工作者启动时移除多余的
UnpauseEvent(GH#6652) crusaderky如果无法在线程中关闭执行器,则记录日志(GH#6644) Florian Jetter
在fetch中为任务添加副本现在会立即将其发送至飞行 (GH#6594) crusaderky
Bug 修复¶
修复无参数事件的转储输出 (GH#6695) crusaderky
在解释器启动前设置
MALLOC_TRIM_THRESHOLD_(GH#6681) crusaderky修复关于重新调度与恢复状态的死锁问题 (GH#6673) crusaderky
has_arg对仅关键字参数返回True(GH#6648) Lawrence Mitchell由工人死亡引起的转换使用旧的 ‘worker-connect’
stimulus_id(GH#6657) crusaderky在
acquire-replicas运行时忘记了密钥 (GH#6638) crusaderky
维护¶
重新访问
WorkerState.long_running设置 (GH#6697) crusaderkyWorkerState恢复状态的单元测试 (GH#6688) crusaderky更新 pandas-stubs 版本 (GH#6691) crusaderky
为
ExecuteSuccessEvent和ExecuteFailureEvent添加dummy工厂方法 (GH#6687) Hendrik Makait在夜间 conda 配方中固定
tornado<6.2(GH#6675) Peter Andreas Entschev在
WorkerState中重构资源限制处理 (GH#6672) Hendrik Makaittest_signal和test_terminate偶尔会在 MacOS 上返回SIGKILL(GH#6671) crusaderky在更多测试中使用
loop夹具 (GH#6674) Thomas Grainger无条件地
import ssl(GH#6670) Thomas Grainger在更多测试中使用
loop夹具 (GH#6642) Thomas Grainger将 tornado 固定在 <6.2 (GH#6668) Florian Jetter
处理
AsyncTaskGroupClosedError(GH#6664) Hendrik Makait将大延迟
slowinc替换为锁 (GH#6656) Florian Jetter合并
flake8的extend-ignore和ignore值 (GH#6660) Hendrik Makait移除服务器关闭后台任务宽限期 (GH#6633) Thomas Grainger
不要在
utils_test中使用 tempfile (GH#6651) Florian Jetterclose_worker清理 (GH#6650) crusaderky使用
WorkerState重写test_cancelled_resumed_after_flight_with_dependencies(GH#6645) crusaderky记录创建目录的实际持续时间 (GH#6647) Florian Jetter
pandas类型存根 (GH#6635) crusaderky在
Server中移除未使用的__startedEvent(GH#6615) Florian Jetter在
gen_cluster中使用安全的临时目录 (GH#6628) Florian Jetter打印 CI 主机信息 (GH#6629) crusaderky
去重
data_needed(GH#6587) crusaderky移除
EnsureCommunicatingAfterTransitions(GH#6462) crusaderkyPickle
WorkerState(GH#6623) crusaderky强化与
TaskState冲突 (GH#6593) crusaderky当集群被垃圾回收时,不要与事件循环交互 (GH#6627) Thomas Grainger
2022年6月1日¶
发布于2022年6月24日
亮点¶
此版本包括了 Worker 状态机重构。预期应该是 Worker 状态是其自身的同步子类。将所有状态提取到其自己的类中,使我们能够在不调用任何并发或异步代码的情况下编写有针对性的单元测试。
更多信息请参见 GH#5736。
增强功能¶
将工作状态机方法设为私有 (GH#6564) crusaderky
从Worker类中提取状态机 (GH#6566) crusaderky
跟踪
worker_state_machine.TaskState实例 (GH#6525) Hendrik Makait对工作状态机的小调整 (GH#6586) crusaderky
将
loop.call_later和loop.add_callback替换为添加到服务器中的后台任务。(GH#6603)`Thomas Grainger`_更整洁的
WorkerState测试支持 (GH#6609) crusaderky为调度器启用
no_implicit_optional(GH#6622) Thomas Grainger
Bug 修复¶
部分恢复了计算任务消息格式 (GH#6626) Florian Jetter
在CLI中恢复关于接收信号的日志消息 (GH#6618) Florian Jetter
在序列化/反序列化时处理空字节数组的内存视图 (GH#6576) Benjamin Zaitlen
确保来自同一IP但不同工作者的窃取请求被拒绝 (GH#6585) Florian Jetter
修复
tls_(min|max)_版本在 openssl 1.1.0g 或更低版本上无效的问题 (GH#6562) Thomas Grainger修复
idle_timeout并取消失败的测试 (GH#6563) Matthew Rocklin修复
_purge_state中的崩溃调试语句 (GH#6589) crusaderky在
CancelledError上中止连接 (GH#6574) Thomas Grainger修复活动内存管理器忽略
nbytes阈值的问题 (GH#6583) crusaderky
弃用¶
弃用
WorkerState访问器 (GH#6579) crusaderky
维护¶
移除 ipython 的 hack (GH#6599) crusaderky
Mypy 强制执行
--no-implicit-optional(GH#6606) crusaderky更新 versioneer:从使用
SafeConfigParser改为ConfigParser(GH#6605) Thomas A Caswell警告调度器不可达(scheduler.py)(GH#6611) Florian Jetter
重构
wait_for_state()(GH#6581) crusaderky硬编码
wait_for_signals信号列表 (GH#6619) Thomas Grainger运行测试时始终选择一个开放端口 (GH#6591) Florian Jetter
当子进程超时时记录popen的stdout/err (GH#6567) Gabe Joseph
修复
test_error_during_startup(GH#6608) Florian Jetter使
test_idle_timeout_no_workers更加健壮 (GH#6602) Florian JetterMypy 强制执行
--disallow-incomplete-defs(GH#6601) crusaderky不要在信号处理程序中记录日志 (GH#6590) Florian Jetter
不要在导入时初始化
mp_context(GH#6580) Lawrence Mitchell测试退休工人死锁 (GH#6240) Gabe Joseph
重做与
gather_dep相关的一些测试 (GH#6472) crusaderky对
scheduler_story和worker_story进行了小规模的外观审查 (GH#6442) crusaderky使用 isort 强制
__future__.annotations(GH#6621) Thomas Grainger
2022.6.0¶
发布于2022年6月10日
增强功能¶
使系统监视器中的磁盘访问可配置 (GH#6537) Matthew Rocklin
在预加载启动时记录并捕获错误 (GH#6553) Matthew Rocklin
修复
Scheduler.restart逻辑 (GH#6504) Gabe Joseph在
Worker关闭时不要发送心跳 (GH#6543) Gabe Joseph不再在
errno.EADDRINUSE上重试LocalCluster(GH#6369) Thomas Grainger不要从状态机中调用
log_event(GH#6512) crusaderky添加配置选项以禁用分析并在许多测试中默认禁用它 (GH#6490) Hendrik Makait
封装
Worker.batched_stream.send()(GH#6475) crusaderky
Bug 修复¶
refresh-who-has可以中断工作状态机 (GH#6529) crusaderky如果工作进程未被调度器识别,则重新启动 (GH#6505) Gabe Joseph
修复当
distributed.rmm.pool-size设置时导入错误 (GH#6482) KoyamaSohei
弃用¶
恢复
dask-gateway的签名兼容性 (GH#6561) Tom Augspurger弃用
Server、Worker和Nanny的io_loop和loop关键字参数 (GH#6473) Thomas Grainger弃用
Scheduler的loop关键字参数 (GH#6443) Thomas Grainger
文档¶
修复
.nthreads()文档字符串示例中的拼写错误 (GH#6545) Pavithra Eswaramoorthy更新文档主题以进行品牌重塑 (GH#6495) Sarah Charlotte Johnson
维护¶
重构
gather_dep(GH#6388) crusaderky修复不稳定的
test_gather_dep_one_worker_always_busy(GH#6554) crusaderky移除
missing-data消息 (GH#6546) crusaderky将
test_local.LocalTest移植到 pytest 测试中,以允许使用loop夹具(GH#6523)`Thomas Grainger`_修复
test_quiet_client_close(GH#6541) Gabe Joseph避免在测试中使用
popen时出现死锁 (GH#6483) Gabe Joseph恢复“修复CLI调度器测试 (GH#6502)” (GH#6547) Gabe Joseph
在摘要消息中更新测试报告URL (GH#6532) Gabe Joseph
断言
AsyncProcess.set_exit_callback没有使用协程函数调用 (GH#6526) Thomas GraingerWorker.close的类型和文档字符串 (GH#6518) Hendrik Makait修复CLI调度器测试 (GH#6502) Benjamin Zaitlen
在
test_as_current_is_thread_local中收集断言 (GH#6520) Thomas Grainger从测试结果评论中链接测试报告 (GH#6524) Hendrik Makait
忽略
signal.signal的返回值 (GH#6519) Thomas Grainger重构所有事件处理程序 (GH#6410) crusaderky
修复仪表盘favicon背景 (GH#6514) Jacob Tomlinson
更新仪表盘图标 (GH#6513) Jacob Tomlinson
修复
test_stress_scatter_death(GH#6404) Florian Jetter移除
CrossFilter小部件 (GH#6484) crusaderkydata_needed仅包含处于获取状态的任务 (GH#6481) crusaderky断言可能的先前状态 (GH#6488) Florian Jetter
@fail_hard可以终止整个测试套件;隐藏错误 (GH#6474) crusaderky断言一个获取->取消->恢复->获取的循环是不可能的 (GH#6460) crusaderky
重构繁忙工作者的重新插入 (GH#6379) crusaderky
重构
find_missing和refresh_who_has(GH#6348) crusaderky将
test_collections.py重命名为test_dask_collections.py(GH#6486) crusaderkyupdate_who_has可以移除工作者 (GH#6342) crusaderky重构
test_watch_requires_lock_to_run以避免不稳定 (GH#6469) Hendrik Makait修复间歇性
test_profile_plot失败 (GH#6456) Matthew Rocklin使用
asyncio.run来运行gen_cluster、gen_test和cluster(GH#6231) Thomas Grainger改进监视子进程日志的测试 (GH#6461) Gabe Joseph
2022.05.2¶
发布于2022年5月26日
增强功能¶
为
distributed.profile添加锁以实现更好的并发控制 (GH#6421) Hendrik Makait当内存使用超过95%时,发送
SIGKILL后发送SIGTERM(GH#6419) crusaderky
Bug 修复¶
在
preload.teardown()中记录而不是引发异常 (GH#6458) Matthew Rocklin在调度器关闭期间处理失败的
plugin.close()调用 (GH#6450) Matthew Rocklin在
connect()上泛化 UCX 错误并修正 pytest 固定装置 (GH#6434) Peter Andreas Entschev在正确的事件循环上运行集群小部件的周期性回调 (GH#6444) Thomas Grainger
维护¶
如果安装了
pytest-asyncio,请禁用它 (GH#6436) Jacob Tomlinson在同步测试_actor_测试中关闭客户端 (GH#6459) Thomas Grainger
忽略
ServerSession.with_document_locked 未等待(GH#6447) Thomas Grainger从Python 3.10环境中移除``coverage``的固定版本 (GH#6439) Thomas Grainger
注释
remove_worker(GH#6441) crusaderky将 gpuCI 的
RAPIDS_VER更新为22.08(GH#6428)
2022.05.1¶
发布于2022年5月24日
新功能¶
将HTTP API添加到调度器(GH#6270) Matthew Murray
带有调度逻辑的 Shuffle 服务 (GH#6007) Matthew Rocklin
增强功能¶
跟进从
Worker.close中移除report和safe的问题 (GH#6423) Gabe Joseph服务器关闭更快 (GH#6415) Florian Jetter
默认禁用HTTP API (GH#6420) Jacob Tomlinson
从
Worker.close中移除report和safe(GH#6363) Florian Jetter在
register_scheduler_plugin中允许反序列化插件 (GH#6401) Matthew RocklinWorkerState对于不同的地址是不同的 (GH#6398) Florian Jetter在收集数据之前不要过滤任务 (GH#6371) crusaderky
移除工作者重新连接 (GH#6361) Gabe Joseph
添加
SchedulerPlugin.log_event 处理器(GH#6381) Matthew Rocklin确保占用追踪对长时间运行的任务按预期工作(GH#6351) Florian Jetter
所有
Instructions的stimulus_id(GH#6347) crusaderky重构缺失数据命令 (GH#6332) crusaderky
将
idempotent添加到register_scheduler_plugin客户端 (GH#6328) Alex Ford添加选项以指定工作节点使用的调度器地址 (GH#5944) Enric Tejedor
Bug 修复¶
移除多余的
breakpoint(GH#6417) Thomas Grainger修复 API JSON MIME 类型 (GH#6397) Jacob Tomlinson
在处理计算中移除错误的
assert(GH#6370) Florian Jetter确保多个客户端可以取消其密钥而不会相互干扰 (GH#6016) Florian Jetter
修复
Nanny关闭断言 (GH#6357) Gabe Joseph修复同步函数的
fail_hard(GH#6269) Gabe Joseph防止无限过渡循环;更积极的
validate_state()(GH#6318) crusaderky确保在终止时清理大量溢出的数据(GB级别)(GH#6280) crusaderky
修复
WORKER_ANY_RUNNING回归 (GH#6297) Florian Jetter从获取到计算的竞争条件,同时AMM请求副本 (GH#6248) Florian Jetter
确保恢复的任务不会被意外遗忘 (GH#6217) Florian Jetter
不允许再次等待关闭的工作者 (GH#5910) Florian Jetter
弃用¶
将
wait_for_signals移动到私有模块并弃用distributed.cli.utils(GH#6367) Hendrik Makait
文档¶
修复
worker.py中的拼写错误和空白 (GH#6326) Hendrik Makait修复指向内存修剪文档的链接 (GH#6317) Marco Wolsza
维护¶
使
gen_test在 VSCode 测试发现中显示 (GH#6424) Gabe JosephWSMR /
deserialize_task(GH#6411) crusaderky在信号等待完成后恢复信号处理程序 (GH#6400) Thomas Grainger
fail_hard应该重新引发 (GH#6399) crusaderky重新审视测试模拟
gather_dep(GH#6385) crusaderky修复不稳定的
test_in_flight_lost_after_resumed(GH#6372) Florian Jetter恢复 install_signal_handlers 由于下游依赖 (GH#6366) Hendrik Makait
改进
catch_unhandled_exceptions(GH#6358) Gabe Joseph从CLI中移除所有
IOLoop.run_sync的调用 (GH#6205) Hendrik Makait从配置中移除
transition-counter-max(GH#6349) crusaderky从
gen_cluster中移除对workers的泄漏引用 (GH#6337) Hendrik Makaitstealing.py的部分注释 (GH#6338) crusaderky在
handle_compute_task上验证和调试状态机 (GH#6327) crusaderky更新 pyupgrade 并清理
# type: ignore(GH#6293) crusaderkygen_cluster写入/tmp(GH#6335) crusaderky作为
ClassVar的转换表 (GH#6331) crusaderky重构
ensure_communicating(GH#6165) crusaderky审查调度器注释,第二部分 (GH#6253) crusaderky
在生成 Junit 报告时转义 < > (GH#6306) crusaderky
在OSX上跳过
test_release_evloop_while_spilling(GH#6291) Florian Jetter为 WSL 重新启用 NVML 监控 (GH#6119) Charles Blackmon-Luca
2022.04.2¶
发布于2022年4月29日
增强功能¶
在等待
ThreadpoolExecutor关闭时解除事件循环的阻塞 (GH#6091) Florian JetterRetireWorker策略在移除时完成 (GH#6234) Gabe Joseph暂停以禁用依赖收集 (GH#6195) crusaderky
将
EOFError添加到保姆multiprocessing.queue异常列表 (GH#6213) Matthew Rocklin在丢失工作场景中重新解释错误 (GH#6193) Matthew Rocklin
向调度器添加刺激ID (GH#6161) Florian Jetter
为 Dask 工作者设置五分钟 TTL (GH#6200) Matthew Rocklin
添加
distributed.metrics.monotonic(GH#6181) crusaderky将工作节点验证错误发送至调度器并在测试完成时出错 (GH#6192) Matthew Rocklin
重新设计忙碌收集时的工人指数退避 (GH#6173) crusaderky
记录所有无效的工作者转换到调度器 (GH#6134) Matthew Rocklin
使Graph仪表板图表的轴不可见 (GH#6149) Matthew Rocklin
移除
Nannyauto_restart状态 (GH#6138) Matthew Rocklin
Bug 修复¶
确保调度器事件不持有
TaskState对象 (GH#6226) Florian Jetter允许在溢出时暂停和阻塞事件循环(GH#6189) crusaderky
不要在盗窃中使用UUID (GH#6179) Florian Jetter
在信息页面中处理整数工作名称 (GH#6158) Brett Naul
加入
Nanny监视线程 (GH#6146) Matthew Rocklin改进关闭工作进程时的日志记录 (GH#6129) Matthew Rocklin
避免分析中的堆栈溢出 (GH#6141) Matthew Rocklin
如果启动失败,清理
SSHCluster(GH#6130) Matthew Rocklin
弃用¶
弃用
rpc同步上下文管理器 (GH#6171) Thomas Grainger
文档¶
更新
actors.rst(GH#6167) Scott Sievert
维护¶
为工作方法添加
fail_hard装饰器 (GH#6210) Matthew Rocklin不需要
pytest_timeout(GH#6224) Florian Jetter从测试中移除剩余的
run_sync调用 (GH#6196) Thomas Grainger如果调试器正在运行,增加测试超时时间 (GH#6218) Florian Jetter
不要在项目符号列表中列出关闭关键字 (GH#6219) Florian Jetter
协调 (GH#6161) 和 (GH#6173) (GH#6207) crusaderky
Xfail
test_worker_death_timeout(GH#6186) Matthew Rocklin在
test_dask_spec.py::test_text中使用随机端口 (GH#6187) Matthew Rocklin将所有websocket测试标记为不稳定 (GH#6188) Matthew Rocklin
修复不稳定的
test_dont_steal_long_running_tasks(GH#6197) crusaderky在窃取中清理名称 (GH#6185) Matthew Rocklin
log_errors装饰器 (GH#6184) crusaderky在 Windows 上通过
mypy验证 (GH#6180) crusaderky将
locket作为依赖项添加,而不是打包 (GH#6166) Michael Adkins移除
gather_dep和get_data_from_worker的 unittestmock (GH#6172) Florian Jettermypy调整 (GH#6175) crusaderky避免对
asyncio.get_event_loop()的简单弃用调用 (GH#6170) Thomas Grainger修复不稳定的
test_cancel_fire_and_forget(GH#6099) crusaderky移除已弃用的代码 (GH#6144) Matthew Rocklin
更新测试徽章的链接 (GH#6154) Florian Jetter
移除遗留状态映射 (GH#6145) Matthew Rocklin
修复
test_worker_waits_for_scheduler(GH#6155) Matthew Rocklin禁止在Windows上泄漏线程 (GH#6152) Thomas Grainger
在
scheduler.py中审查注释和文档字符串,第1部分 (GH#6132) crusaderky放松
test_asyncprocess.py::test_simple(GH#6150) Matthew Rocklin将使用特定端口的测试标记为不稳定 (GH#6139) Matthew Rocklin
AMM 建议 namedtuples (GH#6108) crusaderky
2022.04.1¶
发布于2022年4月15日
新功能¶
添加
KillWorker插件 (GH#6126) Matthew Rocklin
增强功能¶
在信息页面中排序工作列表 (GH#6135) Matthew Rocklin
添加回
Worker.transition_fetch_missing(GH#6112) Matthew Rocklin记录状态机事件 (GH#6092) crusaderky
将
ensure_executing转换迁移到新的WorkerState事件机制 - 第1部分 (GH#6003) crusaderky将
ensure_executing转换迁移到新的WorkerState事件机制 - 第2部分 (GH#6062) crusaderky注释工作者的错误转换 (GH#6012) crusaderky
Bug 修复¶
避免从内存/释放状态转换到工作器中的丢失状态 (GH#6123) Matthew Rocklin
不要在解释器关闭时尝试重新连接客户端 (GH#6120) Matthew Rocklin
在可导入的函数中包装 UCX 初始化警告 (GH#6121) Charles Blackmon-Luca
在worker关闭时取消asyncio任务 (GH#6098) crusaderky
在定义端口范围时避免端口冲突 (GH#6054) crusaderky
维护¶
避免
test_cancel_fire_and_forget中的间歇性失败 (GH#6131) Matthew Rocklin在 pytest 中忽略
bokeh警告 (GH#6127) Matthew Rocklin开始解码 (GH#6104) Martin Durant
避免在
gen_test测试中使用冗余的清理夹具 (GH#6118) Thomas Grainger将
comm.close移至test_comms的 finally 中 (GH#6109) Florian Jetter在
test_core.py中将async与Server一起使用 (GH#6100) Matthew Rocklin在测试套件中将警告提升为错误(GH#6094) Thomas Grainger
将
urllib3添加到夜间 conda 构建 (GH#6102) James Bourbeau移除 Blosc (GH#6027) Matthew Rocklin
健壮的
test_get_returns_early(GH#6090) Florian Jetter重构
test_priorities.py(GH#6077) crusaderky移除
pytest-asyncio(GH#6063) Thomas Grainger清理关于普通
rpc的使用 (GH#6082) Florian Jetter删除 Python 3.9 的 OSX 构建 (GH#6073) Florian Jetter
在
utils_test.wait_for中增加周期 (GH#6081) Florian Jetter更新 gpuCI 时检查 ucx-py 的夜间版本 (GH#6006) Charles Blackmon-Luca
profile.py的类型注解 (GH#6067) crusaderky修复不稳定的
test_worker_time_to_live(GH#6061) crusaderky修复不稳定的
test_as_completed_async_for_cancel(GH#6072) crusaderky修复
test_weakref_cache中的回归问题 (GH#6033) crusaderky对
test_nanny_worker_port_range的小修复 (GH#6070) crusaderky移除已弃用的
tornado.netutil.ExecutorResolver(GH#6031) Thomas Grainger删除
asyncio.py(GH#6066) Thomas Grainger调整 conda 环境文件 (GH#6037) crusaderky
强化
test_abort_execution_to_fetch及其他 (GH#6026) crusaderky修复
test_as_completed_with_results_no_raise并命名comm(GH#6042) Matthew Rocklin在
test_worker_memory中使用更健壮的限制 (GH#6055) Florian Jetter
2022.04.0¶
发布于2022年4月1日
备注
这是第一个支持 Python 3.10 的版本
新功能¶
添加 Python 3.10 支持 (GH#5952) Thomas Grainger
新的集群转储工具 (GH#5920) Simon Perkins
新的
ClusterDumpSchedulerPlugin用于在关闭时转储集群状态 (GH#5983) Simon Perkins在仪表板图表中跟踪事件循环间隔 (GH#5964) Matthew Rocklin
ToPickle-Unpickle在调度器上 (GH#5728) Mads R. B. Kristensen
增强功能¶
在
preload中重试瞬态错误代码 (GH#5982) Matthew Rocklin更惯用的
mypy配置 (GH#6022) crusaderky命名扩展并启用扩展心跳 (GH#5957) Matthew Rocklin
拼写错误的执行器注解上的更好的错误消息 (GH#6009) crusaderky
明确指出 SchedulerPlugin 必须被继承 (GH#6008) crusaderky
从盗窃中去除重复 (GH#5787) Duncan McGregor
在
iscoroutinefunction中移除缓存以避免保留引用 (GH#5985) Florian Jetter为单个图表添加标题 (GH#5967) Matthew Rocklin
在时间序列标题中指定平均值 (GH#5974) Matthew Rocklin
Bug 修复¶
不要在
CommPool中捕获CancelledError(GH#6005) Florian Jetter
弃用¶
移除
distributed._ipython_utils及其依赖项 (GH#6036) Thomas Grainger移除对 PyPy 的支持 (GH#6029) James Bourbeau
移除对 setuptools 的运行时依赖 (GH#6017) crusaderky
从事件中移除心跳 (GH#5989) Matthew Rocklin
文档¶
提及客户端
timeout的默认值 (GH#5933) Eric Engestrom更新 Celery 和其他过时的第三方 URL (GH#5988) Thomas Grainger
维护¶
改进
test_hardware测试 (GH#6039) Matthew Rocklintest_report.html 的简短变体 (GH#6034) crusaderky
使
test_reconnect异步 (GH#6000) Matthew Rocklin将 gpuCI 的
RAPIDS_VER更新为22.06(GH#5962)为
ToPickle添加小测试 (GH#6021) Matthew Rocklin移除
check_python_3(与click>=8.1.0不兼容) (GH#6018) Thomas Grainger修复CI中的黑色问题(GH#6019)`crusaderky`_
添加一个硬件基准测试来测试内存、磁盘和网络带宽 (GH#5966) Matthew Rocklin
放松变量
test_race(GH#5993) Matthew Rocklin在没有
paramiko的情况下跳过dask-ssh测试 (GH#5907) Elliott Sales de Andrade移除
test_restart_sync_no_center(GH#5994) Matthew Rocklin在测试中设置较低的刻度频率 (GH#5977) Matthew Rocklin
在
SafeTemporaryDirectory中捕获NotADirectoryError(GH#5984) Florian Jetter修复不稳定的
test_weakref_cache(GH#5978) crusaderky修复
test_worker_doesnt_await_task_completion(GH#5979) Matthew Rocklin在
test_nanny_worker_port_range中使用更广的范围 (GH#5980) Matthew Rocklin在集群
fixture中使用tempfile目录 (GH#5825) Florian Jetter
2022.03.0¶
发布于2022年3月18日
新功能¶
支持将集群状态转储到URL (GH#5863) Gabe Joseph
增强功能¶
防止在未溢出时数据重复 (GH#5936) crusaderky
封装溢出缓冲区和内存监视器 (GH#5904) crusaderky
放弃
pkg_resources改用importlib.metadata(GH#5923) Thomas Grainger工作状态机重构:重新设计
TaskState和调度器消息 (GH#5922) crusaderkyzict类型注解 (GH#5905) crusaderky添加键以计算失败消息 (GH#5928) Florian Jetter
更改默认日志格式以包含时间戳 (GH#5897) Florian Jetter
改进 worker.py 中的类型注解 (GH#5814) crusaderky
Bug 修复¶
修复
progress_stream的拆卸 (GH#5823) Thomas Grainger在
InProcListener中处理并发或失败的握手 (GH#5903) Thomas Grainger使
log_event线程安全 (GH#5946) Gabe Joseph
文档¶
关于插件文档的修复 (GH#5940) crendoncoiled
调度策略文档的一些更新 (GH#5911) Gabe Joseph
维护¶
修复
test_nanny_worker_port_range在 Windows 上挂起的问题 (GH#5956) crusaderky(已恢复) 在等待 ThreadpoolExecutor 关闭时解锁事件循环 (GH#5883) Florian Jetter
还原 GH#5883 (GH#5961) crusaderky
absolufy-imports- 无相对导入 - PEP8 (GH#5924) Florian Jetter修复
track_features以支持分布式预发布 (GH#5927) Charles Blackmon-LucaXfail
test_submit_different_names(GH#5916) Florian Jetter修复
distributed预发布版本的distributed-impl约束 (GH#5867) Charles Blackmon-Luca在 test_worker.py (v2) 中模拟进程内存读取 (GH#5878) crusaderky
为 PyPi 添加 GitHub URL (GH#5886) Andrii Oriekhov
标记
xfail编译测试skipif代替 (GH#5884) Florian Jetter
2022.02.1¶
发布于2022年2月25日
新功能¶
为
Client添加运行preload代码的能力 (GH#5773) Bryan W. Weber
增强功能¶
将 git 哈希添加到
distributed-impl版本 (GH#5865) Charles Blackmon-Luca尝试连接到已关闭的集群时立即引发异常 (GH#5855) Florian Jetter
懒加载
dask版本信息 (GH#5822) Thomas Grainger移除在每个处理器中添加
comm的要求 (GH#5820) Florian Jetter在
check_instances中对未关闭的通信进行提升 (GH#5836) Florian JetterPython 3.8 f-strings (GH#5828) crusaderky
约束溢出 (GH#5543) Naty Clementi
测量实际溢出的字节数,而不是
sizeof()的输出 (GH#5805) crusaderky移除多余的
str()转换 (GH#5810) crusaderky集群转储现在默认排除
run_spec(GH#5803) Florian Jetter使用
dump_cluster_state转储更多对象 (GH#5806) crusaderky不要在导入时连接任何套接字 (GH#5808) Florian Jetter
Bug 修复¶
当两个任务同时等待一个未解决的
ActorFuture时避免死锁 (GH#5709) Thomas Grainger
弃用¶
放弃 Python 3.7 (GH#5683) James Bourbeau
移除对 UCX < 1.11.1 的支持 (GH#5859) Peter Andreas Entschev
文档¶
修复内存类型文档中相对链接的拼写错误 (GH#5845) James Bourbeau
文档和测试溢出->目标滞后循环 (GH#5813) crusaderky
维护¶
修复不稳定的
test_remove_replicas_while_computing(GH#5860) crusaderky修复基于时间的
test_assert_worker_story_malformed_story参数化 (GH#5856) Thomas Grainger从
test_no_unnecessary_imports_on_worker中移除xfail(GH#5862) crusaderky使用cythonized调度器开始构建预发布版本(GH#5831) Charles Blackmon-Luca
如果测试没有及时出现,请不要将其标记为
xfail(GH#5824) Florian Jetter在
test_dask_worker.py中尽可能使用gen_cluster(GH#5842) Florian Jetter当
pytest-timeout终止pytest时生成 junit 报告 (GH#5832) crusaderky减少GHA作业的超时分钟数 (GH#5837) Florian Jetter
修复一些超时问题 (GH#5647) Florian Jetter
将预发布版本提升至高于稳定版本 (GH#5816) Charles Blackmon-Luca
不要在分支上运行调度作业 (GH#5821) Florian Jetter
在CI中移除
pillow<9的固定 (GH#5775) Thomas Grainger使用编译指示语句添加明显的排除项 (GH#5801) Sarah Charlotte Johnson
为cli文件添加覆盖率排除 (GH#5800) Sarah Charlotte Johnson
添加编译指示语句 (GH#5749) Sarah Charlotte Johnson
从
distributed.cli.dask_ssh中移除 pragma: no cover (GH#5809) Thomas Grainger添加编译指示 - worker.py, client.py, stealing.py (GH#5827) Sarah Charlotte Johnson
放宽
distributed/dask-core对预发布的依赖 (GH#5802) Charles Blackmon-Luca移除
test_ucx_config_w_env_var的不稳定条件 (GH#5765) Peter Andreas Entschev
2022.02.0¶
发布于2022年2月11日
备注
这是支持 Python 3.7 的最后一个版本
增强功能¶
在
wait_for_workers中更新client.scheduler_info(GH#5785) Matthew Rocklin在连接期间增加对
TimeoutError的健壮性 (GH#5096) Florian Jetter在
sync中尊重KeyboardInterrupt(GH#5758) Thomas Grainger添加工作流/配方以生成 Dask/distributed 预发布版本 (GH#5636) Charles Blackmon-Luca
审查
Scheduler/Worker显示 repr (GH#5746) crusaderkyAMM: 优雅的工作者退休 (GH#5381) crusaderky
AMM: 暂时稳定工作暂停周围的易变测试 (GH#5735) crusaderky
AMM: 加速并稳定 test_memory (GH#5737) crusaderky
在P2P洗牌中延迟导入pandas(GH#5695) Gabe Joseph
Bug 修复¶
修复
distributed.worker.memory.target=False和spill=0.7(GH#5788) crusaderky如果没有任何
who_has,则将flight转换为missing(GH#5653) Florian Jetter
弃用¶
移除已弃用的
ncores(GH#5780) crusaderky弃用通过类注册插件 (GH#5699) Thomas Grainger
弃用
dask-workerCLI 的--nprocs选项 (GH#5641) Bryan W. Weber
文档¶
修复不平衡的反引号 (GH#5784) Matthias Bussonnier
维护¶
xfail
test_worker_reconnects_mid_compute(GH#5797) crusaderky修复代码检查CI构建 (GH#5794) James Bourbeau
更新
pre-commit版本 (GH#5782) James Bourbeau重新激活
pytest_resourceleaks(GH#5771) crusaderky为
test_client_timeout设置测试假设 (GH#5790) Florian Jetter从
test_ucx_config_w_env_var中移除客户端超时 (GH#5792) Florian Jetter移除
test_failed_worker_without_warning(GH#5789) Florian Jetter修复不稳定的
test_robust_to_bad_sizeof_estimates(GH#5753) crusaderky恢复“固定覆盖率到6.2 (GH#5716)” (GH#5770) Thomas Grainger
定期触发测试运行以增加失败统计数据 (GH#5769) Florian Jetter
固定
pillow<9以解决torch不兼容问题 (GH#5755) Thomas Grainger重构
check_process_leak(GH#5739) crusaderky修复不稳定的
test_exit_callback 测试(GH#5713) Jim Crist-Harif生成测试总结 (GH#5710) crusaderky
分别上传不同架构的预发布版本 (GH#5741) Charles Blackmon-Luca
忽略非测试目录 (GH#5720) Gabe Joseph
将 gpuCI 的
PYTHON_VER升级到 3.9 (GH#5738) Charles Blackmon-Luca回归:线程在启动前被记录 (GH#5796) crusaderky
2022.01.1¶
发布于2022年1月28日
新功能¶
P2P 洗牌骨架 (GH#5520) Gabe Joseph
增强功能¶
修复
<Task pending name='...' coro=<Client._handle_report()>(GH#5721) Thomas Grainger添加
distributed.client.security-loader配置 (GH#5693) Jim Crist-Harif避免
Client._handle_report在Client._close时取消自身 (GH#5672) Thomas Grainger暂停的工作者不应窃取任务 (GH#5665) crusaderky
为
Node.get_logs的输出添加时间戳选项 (GH#4932) Charles Blackmon-Luca不要使用
time.time()或IOLoop.time()(GH#5661) crusaderky
Bug 修复¶
在
Worker.start()上引发插件异常 (GH#4298) Peter Andreas Entschev
文档¶
修复文档字符串 (GH#5696) Julia Signell
修复
Client.run文档字符串中的拼写错误 (GH#5687) Thomas Grainger更新
client.py文档字符串 (GH#5670) Tim Harris
维护¶
如果未安装
pandas/dask.dataframe,则跳过洗牌测试 (GH#5730) James Bourbeau提高测试覆盖率 (GH#5655) Sarah Charlotte Johnson
P2P 洗牌:在测试中忽略行顺序 (GH#5706) Gabe Joseph
修复不稳定的
test_no_reconnect[--no-nanny](GH#5686) Thomas Grainger将覆盖率固定在6.2 (GH#5716) Thomas Grainger
重新审视再平衡单元测试 (GH#5697) crusaderky
在
rearrange_by_column_p2p中更新注释 (GH#5701) James Bourbeau将 gpuCI 的
RAPIDS_VER更新为22.04(GH#5676)在Dask PR#8563中,元数据要求变得更加严格后,修复了groupby测试(GH#5694) Julia Signell
修复不稳定的
test_close_gracefully和test_lifetime(GH#5677) crusaderky修复不稳定的
test_workspace_concurrency(GH#5690) crusaderky修复不稳定的
test_shuffle_extension.py::test_get_partition(GH#5689) Gabe Joseph修复不稳定的
test_dump_cluster_unresponsive_remote_worker(GH#5679) crusaderky在所有测试失败时转储集群状态 (GH#5674) crusaderky
更新许可证格式 (GH#5652) James Bourbeau
修复不稳定的
test_drop_with_paused_workers_with_running_tasks_3_4(GH#5673) crusaderky如果在找不到GitHub令牌时不要引发异常(GH#5668) Florian Jetter
2022.01.0¶
发布于 2022 年 1 月 14 日
新功能¶
支持配置TLS的最小/最大版本 (GH#5594) Jim Crist-Harif
使用 asyncio 进行 TCP/TLS 通信 (GH#5450) Jim Crist-Harif
增强功能¶
关闭
CancelledError上的通信 (GH#5656) crusaderky不要从唯一的运行工作者中退出 (GH#5626) crusaderky
转移优先级 (GH#5625) crusaderky
添加获取任务前缀的RPC调用 (GH#5617) Benjamin Zaitlen
长时间占用 (GH#5395) Florian Jetter
在
run/broadcast中处理单个工作者的错误 (GH#5590) crusaderky允许在工作窃取中存在异构资源,适用于窃取者和受害者 (GH#5573) Florian Jetter
在 WSL 上禁用 NVML 监控 (GH#5568) Charles Blackmon-Luca
Bug 修复¶
确保偷窃刺激ID的唯一性 (GH#5620) Florian Jetter
修复性能报告中
KeyError: 'startstops'的问题 (GH#5608) Gabe Joseph故事时间戳可以稍微在未来 (GH#5612) crusaderky
在
Worker._to_dict中防止RecursionError(GH#5591) crusaderky确保分布式可以在线程中导入 (GH#5593) Jim Crist-Harif
文档¶
修复变更日志部分的超链接 (GH#5638) Aneesh Nema
修复
unpublish_dataset示例调用中的拼写错误 (GH#5615) Deepyaman Datta修复
README中测试报告徽章的拼写错误 (GH#5586) James Bourbeau
维护¶
对
distributed.comm的外观修改(GH#5657) crusaderky整合损坏的通信测试工具 (GH#5654) James Bourbeau
修复
test_worker_reconnects_mid_compute的并发假设 (GH#5623) Florian Jetter处理 Bokeh 3.0 CDSView 变更 (GH#5643) Bryan Van de Ven
使用
packaging而不是distutils来获取版本 (GH#5624) Julia SignellXFAIL tls 显式通信关闭测试在 py3.7 (GH#5639) Jim Crist-Harif
为 GPU 标记一些额外的 ucx-py 测试 (GH#5603) Charles Blackmon-Luca
重命名
ensure_default_get并添加测试 (GH#5609) Naty Clementi从
boekhLabelSets中移除render_modekwarg(GH#5616) Garry O’Donnell为
assert_worker_story添加 lambda 支持 (GH#5618) crusaderky忽略文件未找到警告以处理超时工件 (GH#5619) Florian Jetter
在
@gen_cluster中改进了集群状态转储 (GH#5592) crusaderky解决 MacOS CI 上的 SSL 失败问题 (GH#5606) crusaderky
将 gpuCI 的
CUDA_VER升级到 11.5 (GH#5604) Charles Blackmon-Lucaassert_worker_story(GH#5598) crusaderkydistributed.versions代码刷新 (GH#5600) crusaderkygpuCI 和
test_ucx_config_w_env_var的更新 (GH#5595) James Bourbeau将 blacklist/whitelist 替换为 blocklist/allowlist (GH#5589) crusaderky
AMM: 外观调整 (GH#5584) crusaderky
2021.12.0¶
发布于2021年12月10日
增强功能¶
支持使用
gen_test进行 pytest 固定装置和参数化 (GH#5532) Fábio Rosado允许通过RPC注册幂等调度器插件(GH#5545)`Jacob Tomlinson`_
AMM 日志记录 (GH#5530) crusaderky
如果在使用
SSHCluster时未安装asyncssh,则引发错误 (GH#5535) Fábio Rosado在UCX配置模式中允许
None(GH#5534) Fábio Rosado添加
distributed.comm.ucx.create-cuda-context配置 (GH#5526) Peter Andreas Entschev
错误修复¶
允许窃取未知任务(GH#5572) Florian Jetter
进一步修复
recursive_to_repr中的RecursionError(GH#5579) crusaderky重新访问
recursive_to_dict(GH#5557) crusaderky处理
UCXUnreachable异常 (GH#5556) Peter Andreas Entschev
文档¶
在API文档中分离
Coordination部分 (GH#5412) Gabe Joseph改进了处理状态和暂停工作者的文档 (GH#4985) Maximilian Roos
修复
TaskGroupGraph.update_layout注释中的拼写错误 (GH#5536) Hristo Georgiev更新
register_worker_plugin的文档 (GH#5533) crusaderky
维护¶
将
test_gpu_monitoring_recent标记为不稳定 (GH#5540) Peter Andreas Entschev等待SSH中的工作进程到达
test_nprocs(GH#5575) James BourbeauAMM: 测试已经在执行的任务的获取副本操作是无操作的 (GH#5566) crusaderky
在工作者状态机中进行小的重构和注释 (GH#5563) Florian Jetter
修复 UCX < 1.12 上的
test_ucx_unreachable(GH#5562) Peter Andreas Entschev将 Bokeh 最小版本提升至 2.1.1 (GH#5548) Bryan Van de Ven
更新
gen_test测试以提高其健壮性 (GH#5551) James Bourbeau如果
UCXUnreachable不可用,则跳过test_ucx_unreachable(GH#5560) Peter Andreas Entschev将 gpuCI 的
RAPIDS_VER更新为22.02(GH#5544)添加工作流程以自动化 gpuCI 更新 (GH#5541) Charles Blackmon-Luca
实际上在分布式中支持
uvloop(GH#5531) Jim Crist-Harif标准化 UCX 配置分隔符为
-(GH#5539) Peter Andreas Entschev
2021.11.2¶
发布于2021年11月19日
确保取消错误转换可以正确释放一个键 (GH#5528) Florian Jetter
重构发布密钥 (GH#5507) Florian Jetter
修复由错误任务引起的死锁(执行->取消->错误)(GH#5503) Florian Jetter
解决
KeyError相关的死锁 (GH#5525) Florian Jetter在worker失败文档中删除多余的引号 (GH#5518) James Bourbeau
确保
safe_sizeof警告的准确性 (GH#5519) James Bourbeau可视化集群范围内的内存使用情况随时间的变化 (GH#5477) crusaderky
AMM: 重新设计启动/停止方法 (GH#5476) crusaderky
在通信卸载期间保留
contextvars(GH#5486) Gabe Joseph反序列化:尽可能零拷贝合并子帧 (GH#5208) Gabe Joseph
为每个SSH连接添加多工作者支持(GH#5506) Jacob Tomlinson
客户端方法以转储集群状态 (GH#5470) Florian Jetter
2021.11.0¶
发布于2021年11月5日
修复
cluster_info同步处理 (GH#5488) Jim Crist-Harif序列化家族以保留底层转储函数的头文件 (GH#5380) Mads R. B. Kristensen
将用户指向 Discourse (GH#5489) James Bourbeau
通过收集 UCX 帧来避免多个阻塞调用 (GH#5487) Peter Andreas Entschev
更新所有 UCX 测试以使用
asyncio标记 (GH#5484) Peter Andreas Entschev注册 UCX 关闭回调 (GH#5474) Peter Andreas Entschev
使用较旧版本的
pynvml.nvmlDeviceGetComputeRunningProcesses(GH#5469) Jacob Tomlinson在
gather中检查来自错误Client的 Futures (GH#5468) Gabe Joseph修复
performance_report在使用%%time或%%timeit魔法时的错误 (GH#5463) Erik Welch分散和复制以避免暂停的工作者 (GH#5441) crusaderky
避免暂停的工人AMM (GH#5440) crusaderky
使用
LocalCluster主机安全说明更新变更日志 (GH#5462) Jim Crist-Harif
2021.10.0¶
发布于2021年10月22日
备注
此版本修复了一个与单机Dask集群相关的潜在安全漏洞。使用 dask.distributed.LocalCluster 或 dask.distributed.Client() (默认使用 LocalCluster )启动的集群会错误地将其各自的Dask工作节点配置为监听外部接口(通常使用随机选择的高端口),而不是仅监听 localhost 。使用此方法创建的Dask集群,并且在具有这些端口暴露的机器上运行,可能会被高级攻击者利用来实现远程代码执行。在具有标准防火墙的机器上运行的用户不应受到影响。此漏洞记录在 CVE-2021-42343 中,并在本版本中修复(GH#5427)。感谢Jean-Pierre van Riel发现并报告此问题。
确保恢复的飞行任务仍然被获取 (GH#5426) Florian Jetter
AMM 高级文档 (GH#5456) crusaderky
在测试超时中为挂起的协程提供堆栈 (GH#5446) Florian Jetter
处理
UCXNotConnected错误 (GH#5449) Peter Andreas Entschev不要将任务安排给已暂停的工作者 (GH#5431) crusaderky
使用
pip install .而不是调用setup.py(GH#5442) Matthias Bussonnier增加窃取的延迟 (GH#5390) Florian Jetter
Worker和gen_cluster的类型注解 (GH#5438) crusaderky确保重新连接的工作者不会丢失所需数据 (GH#5436) Florian Jetter
将
test_gather_dep*标记为xfail(GH#5432) crusaderky移除与
zict相关的跳过 (GH#5429) James Bourbeau通过
LocalCluster传递host给工作节点 (GH#5427) Jim Crist-Harif修复了UCX测试中的``async``警告 (GH#5396) Peter Andreas Entschev
解决由
move_task_confirm中的竞争条件引起的工作窃取死锁 (GH#5379) Florian Jetter添加滚动到仪表板下拉菜单 (GH#5418) Jacob Tomlinson
修复了允许未知任务被窃取的回归问题 (GH#5392) Florian Jetter
在CI中启用
mypy2/2 (GH#5348) crusaderky重写
test_client_timeout(GH#5397) crusaderky不要尝试获取不再飞行中的密钥 (GH#5160) Florian Jetter
重新访问
Scheduler.add_plugin/Scheduler.remove_plugin(GH#5394) crusaderky修复不稳定的
test_WorkerPlugin_overwrite(GH#5398) crusaderky使用批量通信的主动内存管理器 (GH#5357) crusaderky
在
README中添加覆盖率徽章(GH#5382)`James Bourbeau`_将
test_stress_creation_and_deletion标记为xfail(GH#5393) James Bourbeau将
test_worker_reconnects_mid_compute*测试标记为不稳定 (GH#5378) James Bourbeau使用新的 Dask 文档主题 (GH#5391) Jacob Tomlinson
从
test_prometheus_collect_task_states中移除pytest.mark.repeat(GH#5376) James Bourbeau计算失败时记录原始异常 (GH#5387) Florian Jetter
添加代码覆盖率 (GH#4670) James Bourbeau
修复缺失转换后的僵尸工作任务 (GH#5316) Florian Jetter
为
iscoroutinefunction工具添加对部分函数的支持 (GH#5344) Michael Adkins将
distributed/tests/test_client.py::test_profile_server标记为不稳定 (GH#5375) James Bourbeau在CI中启用
mypy1/2 (GH#5328) crusaderky确保
dask-worker和dask-scheduler获取预加载配置值 (GH#5365) James Bourbeau使用
dask-spec进行SSHCluster(GH#5191) Charles Blackmon-Luca在
__init__中更新_cluster_info字典 (GH#5305) Jacob Tomlinson使用 Dask 临时文件工具 (GH#5361) James Bourbeau
避免弃用的随机集采样 (GH#5360) James Bourbeau
添加对不支持的 NVML 指标的检查 (GH#5343) Charles Blackmon-Luca
如果副本移除被拒绝,工作者会向调度器提交回复 (GH#5356) Florian Jetter
立即捕获异常和回溯 (GH#5338) Mads R. B. Kristensen
恢复:AMM
ReduceReplicas仅在复制任务上迭代 (GH#5341) crusaderky将工作线程状态同步到调度器;新增 ‘暂停’ 状态 (GH#5330) crusaderky
工作者状态机重构:清理无效处理器 (GH#5359) crusaderky
为 gpuCI 提升
RAPIDS_VER(GH#5358) Charles Blackmon-Luca生成 Cython HTML 注释 (GH#5321) crusaderky
工作者状态机重构 (GH#5046) Florian Jetter
fsspec和s3fsgit 提示不兼容 (GH#5346) crusaderky修复
test_many_Progress及其他问题 (GH#5329) crusaderky并行运行多个AMM (GH#5339) crusaderky
增强 AMM 文档字符串 (GH#5340) crusaderky
在CI中运行
pyupgrade(GH#5327) crusaderky修复客户端示例
foundations.rst中的拼写错误 (GH#5336) Genevieve Buckley
2021.09.1¶
发布于2021年9月21日
恢复 AMM
ReduceReplicas和并行 AMM 更新 (GH#5335) James Bourbeau并行运行多个AMM (GH#5315) crusaderky
AMM
ReduceReplicas只对复制任务进行迭代 (GH#5297) crusaderky在
distributed.worker中的各种函数添加类型注解 (GH#5290) Tom Forbes在 UCX < 1.11 上将
test_ucx_config_w_env_var标记为不稳定 (GH#5262) Peter Andreas Entschev如果在UCX中在错误的设备上创建CUDA上下文,则发出警告 (GH#5308) Peter Andreas Entschev
从
test_client中移除冗余的超时设置 (GH#5314) crusaderky允许
Client订阅事件 // 远程打印和警告 (GH#5217) Florian Jetter增加
test_worker_reconnects_mid_compute_multiple_states_on_scheduler的超时时间 (GH#5304) Florian Jetter在集群和调度器之间添加同步字典以存储集群信息 (GH#5033) Jacob Tomlinson
更新
test_sub_submit_priority(GH#5301) James Bourbeau恢复“添加测试设置夹具 (GH#5242)” (GH#5300) James Bourbeau
修复不稳定的
test_worker_reconnects_mid_compute(GH#5299) Florian Jetter在
test_adaptive中使用gen_test(GH#5298) crusaderky增加
worker.suspicious_counter阈值 (GH#5228) Florian JetterActive Memory Manager 框架 + 丢弃多余副本 (GH#5111) crusaderky
添加测试设置夹具 (GH#5242) James Bourbeau
2021.09.0¶
发布于2021年9月3日
修复
add_plugin警告 (GH#5267) Doug Davis在
handle_missing_dep中为迭代器添加list(GH#5285) Matthew Rocklin将
atop替换为blockwise(GH#5289) James Bourbeau在CI中添加pytest颜色 (GH#5276) James Bourbeau
修复
test_map及其他问题 (GH#5278) crusaderky在
Scheduler.remove_plugin调用中使用name参数 (GH#5260) Doug Davis降级到
jupyter_client6 (GH#5273) crusaderky将
SecurityHTML repr 迁移到 Jinja2 (GH#5264) Jacob Tomlinson将
ProcessInterfaceHTML repr 迁移到 Jinja2 (GH#5263) Jacob Tomlinson为系统监控添加对无盘机器的支持 (GH#5257) James Bourbeau
避免在迭代期间更改调度器插件 (GH#5259) Doug Davis
移除
GroupProgress调度器插件 (GH#5256) James Bourbeau正确检查ipv6可用性 (GH#5255) crusaderky
改进了 IPv6 dask-worker 支持 (GH#5197) Walt Woods
覆盖工作插件 (GH#5248) Matthew Rocklin
重构调度器插件;存储在字典中 (GH#5120) Doug Davis
修复文档中的“then” -> “than”拼写错误 (GH#5247) David Chudzicki
修复文档中的拼写错误(删除多余的动词“creates”) (GH#5244) David Chudzicki
修复文档字符串中的拼写错误 “fractiom” -> “fraction” (GH#5245) David Chudzicki
修复文档中的“schedulers” -> “scheduler”拼写错误 (GH#5246) David Chudzicki
使用非直方图绘图最多支持100个工作器 (GH#5249) Matthew Rocklin
2021.08.1¶
发布于2021年8月20日
重命名图表以适应实验室扩展 (GH#5239) Naty Clementi
CommClosedError的日志消息现在包含远程地址的信息 (GH#5209) Florian Jetter为仪表板链接的重定向添加
target='_blank'(GH#5237) Naty Clementi更新计算代码检索逻辑 (GH#5236) James Bourbeau
对 cfexecutor 进行了小幅度优化 (GH#5233) crusaderky
在gpuCI构建中使用
dask的开发版本 (GH#5232) James Bourbeau使用上游
dask.widgets(GH#5205) Jacob Tomlinson修复不稳定的
test_worker_reconnects_mid_compute(GH#5227) Florian Jetter更新
WorkerPlugin文档字符串关于使用TaskState对象的内容 (GH#5226) Florian Jetter工作网络时间序列 (GH#5129) Naty Clementi
为
ProcessInterface类及其所有子类添加 HTML 表示 (GH#5181) Freyam Mehta修复了一个问题,即重新连接的工作者可能导致无效的状态转换(GH#5210) Florian Jetter
对 cfexecutor 的小修复 (GH#5177) Florian Jetter
为
Security类添加 HTML 表示 (GH#5178) Freyam Mehta从 RAPIDS < 0.11 中移除 RMM 兼容性代码 (GH#5214) Peter Andreas Entschev
2021年8月¶
发布于2021年8月13日
在关闭的comm repr中包含地址 (GH#5203) James Bourbeau
测试
nanny.environ优先级 (GH#5204) Florian Jetter将HTML repr迁移到jinja2 (GH#5188) Jacob Tomlinson
修复
test_process_executor_kills_process的不稳定性 (GH#5183) crusaderky移除
urllib3作为下载预加载的依赖 (GH#5199) Marcos Moyano在
Preload构造函数中下载预加载的URL (GH#5194) Marcos Moyano避免
profile.merge中的递归错误 (GH#5195) Matthew Rocklin向
Scheduler添加文本异常 (GH#5148) Matthew Rocklin使用
kwarg作为Theme文件名 (GH#5190) Bryan Van de Ven添加一个
.git-ignore-revs文件 (GH#5187) Florian Jetter将
not not替换为bool()(GH#5182) Jacob Tomlinson解决在获取依赖后因转换错误导致的死锁问题 (GH#5157) Florian Jetter
将数据表的 z-index 设置为较低 (GH#5175) Julia Signell
添加
no-worker-memory转换到调度器 (GH#5174) Florian Jetter弃用工作插件覆盖策略 (GH#5146) James Bourbeau
修复CI中的不稳定测试 (GH#5168) crusaderky
macOS 上使用 brew 安装 jemalloc 的说明 (GH#4996) Gabe Joseph
将
RAPIDS_VER升级到 21.10 (GH#5165) Charles Blackmon-Luca调整
async函数周围的措辞 (GH#5166) crusaderky使用 Python 3 的
super()调用 (GH#5167) crusaderky支持异步任务 (GH#5151) Matthew Rocklin
重命名总通信字节并提供文档字符串 (GH#5155) Florian Jetter
如果存在GPU,则添加GPU执行器 (GH#5123) Matthew Rocklin
修复 RMM 和 UCX 测试 (GH#5158) Peter Andreas Entschev
移除
test_steal_during_task_deserialization的超时设置 (GH#5156) Florian Jetter添加 gpuCI 构建脚本 (GH#5147) Charles Blackmon-Luca
将
Worker.ensure_computing降级为函数 (GH#5153) Florian Jetter
2021年7月2日¶
发布于2021年7月30日
修复与任务窃取和任务反序列化相关的死锁 (GH#5128) Florian Jetter
在第二个
to_frames方法中包含最大分片大小 (GH#5145) Matthew Rocklin小幅仪表盘样式更新 (GH#5143) Bryan Van de Ven
将最大分片大小限制为整数大小 (GH#5141) Matthew Rocklin
文档自动
MALLOC_TRIM_THRESHOLD_环境变量 (GH#5139) James Bourbeau标记
ucx-py的 GPU 测试 (GH#5133) Charles Blackmon-Luca更新个人资料图表尺寸 (GH#5131) James Bourbeau
在NVML诊断中处理
NVMLError_Unknown(GH#5121) Peter Andreas Entschev单元测试使用随机端口用于仪表盘 (GH#5060) crusaderky
确保工作线程重新连接时正确注册现有任务 (GH#5103) Florian Jetter
减少CI运行时间!(GH#5074) crusaderky
添加
NannyPlugins(GH#5118) Matthew Rocklin将
WorkerNetworkBandwidth图表添加到仪表板 (GH#5104) Naty Clementi在配置中设置保姆环境变量 (GH#5098) Matthew Rocklin
将 UCX/RMM 配置变量移动到 Distributed 命名空间 (GH#4916) Charles Blackmon-Luca
允许 ws(s) 消息大于 10Mb (GH#5110) Marcos Moyano
许多依赖项的短路根检查 (GH#5113) Gabe Joseph
2021.07.1¶
发布于2021年7月23日
从演员文档中移除实验性功能警告 (GH#5108) James Bourbeau
如果仍知道TS,请在worker依赖中保留依赖项 (GH#5034) Florian Jetter
添加
Scheduler.set_restrictions(GH#5101) Matthew Rocklin使
Actor未来可等待并能与as_completed一起工作(GH#5092) Martin Durant简化
test_secede_balances(GH#5071) Florian JetterComputation类 (GH#5001) Florian Jetter一些轻量级的仪表盘清理 (GH#5102) Bryan Van de Ven
不要打包测试 (GH#5054) James Bourbeau
为GPU测试添加pytest标记 (GH#5023) Charles Blackmon-Luca
Actor: 不要在worker上持有键引用 (GH#4937) Gabe Joseph
更早地将导航折叠为汉堡菜单 (GH#5094) Julia Signell
验证演员在序列化中的存活 (GH#5086) Matthew Rocklin
重新启用曾经导致段错误的 UCX-Py 测试 (GH#5076) Peter Andreas Entschev
更好地支持
ProcessPoolExecutors(GH#5063) Matthew Rocklin简化
test_worker_heartbeat_after_cancel(GH#5067) Florian Jetter避免在 Bokeh 中进行属性验证 (GH#5065) Matthew Rocklin
在 MacOS 上禁用 pytest-timeout 的
SIGALARM(GH#5057) crusaderkyrebalance()对计算的弹性 (GH#4968) crusaderky提高CI稳定性 (GH#5022) crusaderky
确保取消后心跳不会引发
KeyError(GH#5053) Florian Jetter在TLS证书不匹配时添加更多有用的异常消息 (GH#5040) Jacob Tomlinson
在性能报告中添加 bokeh
mode参数 (GH#5025) James Bourbeau
2021年7月¶
发布于2021年7月9日
修复 Nbytes 抖动 - 成本更低 (GH#5043) Naty Clementi
使用原生 GH 动作取消功能 (GH#5037) Florian Jetter
如果调度器关闭,不需要工人向调度器报告 (GH#5032) Florian Jetter
将 pandas 添加到
client.get_versions()的检查包列表中 (GH#5029) Ian Rose在设置调度器地址之前移动工作进程预加载 (GH#5024) Matthew Rocklin
修复不稳定的
test_oversubscribing_leases(GH#5030) Florian Jetter更新调度策略文档以适应 #4967 (GH#5018) Gabe Joseph
向
Server类添加回显处理程序 (GH#5020) Matthew Rocklin修复工作内存仪表板闪烁 (GH#4997) Naty Clementi
仪表板左下角的标签页 (GH#5006) Naty Clementi
重命名 nbytes 小部件 (GH#4878) crusaderky
共同分配根任务 (GH#4967) Gabe Joseph
OSError调整 (GH#5003) crusaderky更新导入到
cudf.testing._utils(GH#5005) Peter Andreas Entschev确保洗牌分割默认持续时间使用正确的字首 (GH#4991) Florian Jetter
跟进
pyupgrade格式化 (GH#4993) Florian Jetter重命名图表下拉菜单 (GH#4992) James Bourbeau
Pyupgrade (GH#4741) Florian Jetter
杂项 Sphinx 调整 (GH#4988) crusaderky
不再在内存中保留出错任务的依赖项 #4918 Florian Jetter
在配置中添加最大分片大小 (GH#4986) Matthew Rocklin
确保 shuffle 拆分操作从工作窃取中被列入黑名单 (GH#4964) Florian Jetter
添加下拉菜单以访问单个图表 (GH#4984) Jacob Tomlinson
编辑了
scheduler.py的路径 (GH#4983) Freyam Mehta任务组图表可视化 (GH#4886) Naty Clementi
移除更多对已弃用工具的内部引用 (GH#4971) James Bourbeau
重构 nbytes 悬停 (GH#4952) Naty Clementi
在
pynvml.nvmlInit()中出现更多错误 (GH#4970) gerrymanoim添加占用率作为单独的图表 (GH#4963) Naty Clementi
弃用已移至 dask 的实用工具 (GH#4966) James Bourbeau
确保在连接过程中关闭时,连接池不会留下通信 (GH#4951) Florian Jetter
添加从 Client 注册调度器插件的支持(GH#4808)`Doug Davis`_
修复仪表盘的窃取问题 (GH#4948) Florian Jetter
允许在从入口点加载后端时忽略需求验证 (GH#4961) Florian Jetter
将
Log和Logs添加到 API 文档 (GH#4946) James Bourbeau支持
gen_cluster与pytest.mark.parametrize和夹具 (GH#4958) Gabe Joseph
2021.06.2¶
发布于2021年6月22日
恢复对
utils.Log[s]和Cluster.get_logs的重构 (GH#4941) Charles Blackmon-Luca使用Dask中的弃用工具(GH#4924)`James Bourbeau`_
向
Scheduler添加过渡计数器 (GH#4934) Matthew Rocklin移除
nbytes_in_memory(GH#4930) Matthew Rocklin
2021.06.1¶
发布于2021年6月18日
修复
handle_missing_dep中的死锁问题,如果存在额外的副本 (GH#4929) Florian Jetter添加配置以启用/禁用 NVML 诊断 (GH#4893) Peter Andreas Entschev
将调度器日志选项卡添加到性能报告中 (GH#4909) Charles Blackmon-Luca
为
scheduler_info添加 HTML 表示,并整合到客户端和集群表示中 (GH#4857) Jacob Tomlinson修复错误状态拼写错误 (GH#4898) James Bourbeau
允许演员异常传播 (GH#4232) Martin Durant
从
dask.compatibility中移除apply的导入 (GH#4913) Elliott Sales de Andrade为
WorkerPlugin使用更具信息量的默认名称 (GH#4908) James Bourbeau移除了未使用的工具函数 (GH#4911) James Bourbeau
本地重新运行成功完成的未来任务 (GH#4813) ArtinSarraf
忘记错误的任务并在工作线程上修复死锁 (GH#4784) Florian Jetter
在websocket连接器中处理
HTTPClientError(GH#4900) Marcos Moyano在
SSHCluster文档字符串中更新dask_cuda的使用 (GH#4894) James Bourbeau移除对
process_time和thread_time的测试 (GH#4895) James BourbeauFlake8 配置清理 (GH#4888) Florian Jetter
在确定主机时不剥离调度器协议 (GH#4883) James Bourbeau
添加更多关于内存管理的文档 (GH#4874) crusaderky
将
range_query测试添加到 NVML 测试套件 (GH#4879) Charles Blackmon-Luca在使用超时时,不再在异步进程中取消结果未来 (GH#4882) Florian Jetter
2021.06.0¶
发布于2021年6月4日
多工作执行器 (GH#4869) Mads R. B. Kristensen
确保在没有GPU的情况下安装时PyNVML能正常工作 (GH#4873) Peter Andreas Entschev
在测试总结中显示更多内容 (GH#4875) James Bourbeau
将
SystemMonitor的 GPU 初始化移回构造函数 (GH#4866) Peter Andreas Entschev使用
pytest.mark.asyncio标记test_server_comms_mark_active_handlers(GH#4876) James Bourbeau谁拥有什么 html reprs v2 (GH#4865) Jacob Tomlinson
O(1) 重新平衡 (GH#4774) crusaderky
确保集群的 repr 和 eq 始终有效 (GH#4799) Florian Jetter
2021.05.1¶
发布于2021年5月28日
确保自适应缩放被正确等待和关闭 (GH#4720) Florian Jetter
修复
WhoHas/HasWhatasync使用 (GH#4860) Benjamin Zaitlen为
Client.who_has和Client.has_what添加 HTML 表示 (GH#4853) Jacob Tomlinson防止在同一进程中意外启动多个
Worker(GH#4852) crusaderky在性能报告中添加系统选项卡 (GH#4561) Charles Blackmon-Luca
如果没有活动处理程序,让服务器更快关闭 (GH#4805) Florian Jetter
修复UCX清理配置日志 (GH#4850) Peter Andreas Entschev
确保工作客户端已关闭 (GH#3921) Florian Jetter
修复删除客户端时属性错误的警告 (GH#4807) Florian Jetter
如果工作进程启动不正确,确保引发异常 (GH#4733) Florian Jetter
在端点关闭时更新UCX异常处理 (GH#4836) Peter Andreas Entschev
确保繁忙的工作负载正确查找
who_has(GH#4793) Florian Jetter在
Scheduler.run_function中检查distributed.scheduler.pickle(GH#4838) James Bourbeau将 performance_report 添加到 API 文档 (GH#4840) James Bourbeau
更新
pre-commit钩子版本 (GH#4835) James Bourbeau在没有设置内存限制时,不要盲目地生成工作线程 (GH#4397) Torsten Wörtwein
test_memory使用gen_cluster(GH#4811) crusaderky将
gen_test的超时时间增加到 30 秒 (GH#4821) Florian Jetter
2021.05.0¶
发布于2021年5月14日
在客户端合并全局注解 (GH#4691) Mads R. B. Kristensen
添加对
click8 的支持 (GH#4810) James Bourbeau为某些调度器类添加 HTML reprs (GH#4795) James Bourbeau
允许仪表板在多个端口上运行 (GH#4786) Jacob Tomlinson
从
WorkerPluginAPI 中移除release_dep(GH#4791) James Bourbeau对 UCX 1.10+ 的支持 (GH#4787) Peter Andreas Entschev
简化
test_gather_allow_worker_reconnect的复杂性 (GH#4739) Florian Jetter修复
utils.py中的 doctests (GH#4785) Jacob Tomlinson确保依赖项在工作者中实际记录 (GH#4753) Florian Jetter
在
performance_report()中添加stacklevel关键字,以允许选择要显示的调用代码(GH#4777) Nathan Danielsen注销工作插件 (GH#4748) Naty Clementi
如果涉及保姆进程,改进优雅关闭 (GH#4725) Florian Jetter
在CI中更新cythonization (GH#4764) James Bourbeau
使用
contextlib.nullcontext(GH#4763) James Bourbeau修复
check_thread_leak中的错误 (GH#4747) James Bourbeau
2021.04.1¶
发布于2021年4月23日
避免在迭代过程中
active_threads改变大小 (GH#4729) James Bourbeau修复
AdaptiveCore.adapt()中的UnboundLocalError(GH#4731) Anderson Banihirwe对HTTP端点文档进行了小幅格式更新 (GH#4736) James Bourbeau
metrics["memory"]=None的单元测试 (GH#4727) crusaderky启用 Prometheus 指标命名空间的配置 (GH#4722) Jacob Tomlinson
重新引入
weight函数 (GH#4723) James Bourbeau在worker中添加
ready->memory到转换 (GH#4728) Gil Forsyth修复 GH#4651 中的回归问题 (GH#4719) crusaderky
为UCX配置选项添加描述 (GH#4683) Charles Blackmon-Luca
将RAM测量拆分为dask键/其他旧/其他新 (GH#4651) crusaderky
修复 Python 3.9 上的
DeprecationWarning(GH#4717) George Sakkisipython 导致
test_profile_nested_sizeof在 Windows 上崩溃 (GH#4713) crusaderky向
serialize添加iterate_collection参数 (GH#4641) Richard J Zamora当关闭
Server时,关闭所有监听器 (GH#4704) Florian Jetter修复
client.restart中的超时问题 (GH#4690) Matteo De Wint避免在安静的集群中重复使用同一个工人在第一个任务上 (GH#4638) Doug Davis
仅在
finish情况下获取func(GH#4702)`jakirkham`_在
test_dashboard中移除主机名检查 (GH#4706) James Bourbeau更快的
tests_semaphore::test_worker_dies(GH#4703) Florian Jetter清理
test_dashboard(GH#4700) crusaderky向
TaskGroup添加时间信息 (GH#4671) Matthew Rocklin移除
WSSConnectorTLS 存在检查 (GH#4695) Marcos Moyano修复拼写错误并移除未使用的
time.time导入 (GH#4689) Hristo Georgiev不要在监视器中初始化CUDA上下文 (GH#4688) Charles Blackmon-Luca
为HTTP协议添加对额外连接参数的支持 (GH#4682) Marcos Moyano
在
test_threadpoolworkers中调整时间 (GH#4681) Florian Jetter将GPU指标添加到
SystemMonitor(GH#4661) Charles Blackmon-Luca移除
dumps_msgpack()和loads_msgpack()(GH#4677) Mads R. B. Kristensen通过RPC将工作节点
SystemMonitor暴露给调度器(GH#4657) Charles Blackmon-Luca
2021.04.0¶
发布于2021年4月2日
修复未合并的帧 (GH#4666) Matthew Rocklin
为安装 uvloop 添加信息性错误消息 (GH#4664) Matthew Rocklin
避免在
pickle_loads中进行列表突变 (GH#4653) Matthew Rocklin将
isort添加到预提交钩子中,包重新排序(GH#4647) Charles Blackmon-Luca在显示RAM时使用二的幂次方 (GH#4649) crusaderky
支持 Websocket 通信协议 (GH#4396) Marcos Moyano
scheduler.py/worker.py代码清理 (GH#4626) crusaderky更新对
config.yaml的过时引用 (GH#4643) Hristo Georgiev在
SpecCluster关闭时抑制OSError(GH#4567) Jacob Tomlinson用 mamba 替换 conda (GH#4585) crusaderky
扩展关于纯函数的文档 (GH#4644) James Lamb
2021.03.1¶
发布于2021年3月26日
添加独立的GPU使用情况仪表板页面(GH#4556) Jacob Tomlinson
在TCP通信终结器中处理
stream is None的情况 (GH#4631) James Bourbeau在NumPy数组序列化中包含
LIST_PICKLE(GH#4632) James Bourbeau在
test_highlevelgraph.py中重命名注解插件 (GH#4618) James BourbeauUCX 使用
nbytes而不是len(GH#4621) Mads R. B. Kristensen如果无法导入,则跳过 NumPy 和 pandas 测试 (GH#4563) Ben Greiner
移除
utils.shutting_down以支持sys.is_finalizing(GH#4624) James Bourbeau关闭时处理
async客户端 (GH#4623) Matthew Rocklin介绍事件日志长度配置选项 (GH#4615) Fabian Gebhart
上游配置序列化和继承 (GH#4372) Jacob Tomlinson
在
SpecCluster中添加调度器创建的检查 (GH#4605) Jacob Tomlinson使事件
deque的长度可配置 (GH#4604) Fabian Gebhart为 worker
TaskState添加显式的fetch状态 (GH#4470) Gil Forsyth更新
develop.rst(GH#4603) Florian Jetterpickle_loads(): 处理空的memoryview(GH#4595) Mads R. B. Kristensen切换PR的文档构建到readthedocs (GH#4599) James Bourbeau
跟踪帧及其大小(GH#4593)`jakirkham`_
在使用
client.map时,为batch_size添加对键列表的支持 (GH#4592) Sultan Orazbayev如果
SpecCluster启动失败,尝试再次优雅地关闭 (GH#4590) Jacob Tomlinson多重锁定扩展 (GH#4503) Mads R. B. Kristensen
更新
PipInstall插件命令 (GH#4584) James Bourbeau添加 GitHub 操作工作流以取消重复构建 (GH#4581) James Bourbeau
从
README中移除过时的 macOS 构建徽章 (GH#4576) James BourbeauDask 主分支 -> 主分支 (GH#4569) Julia Signell
放弃对 Python 3.6 的支持 (GH#4390) James Bourbeau
为
dashboard_link属性添加文档字符串 (GH#4572) Doug Davis将默认分支从 master 改为 main (GH#4495) Julia Signell
Msgpack 处理提取序列化 (GH#4531) Mads R. B. Kristensen
2021.03.0¶
发布于2021年3月5日
备注
这是第一个支持 Python 3.9 的版本,也是最后一个支持 Python 3.6 的版本。
tcp.write(): 将memoryview转换为字节项大小 (GH#4555) Mads R. B. Kristensen引用计数
thread_state.asynchronous标志 (GH#4557) Mads R. B. KristensenPython 3.9 (GH#4460) crusaderky
更好的bokeh默认设置用于仪表盘 (GH#4554) Benjamin Zaitlen
将系统监控仪表板作为实验室扩展的独立图表公开 (GH#4540) Jacob Tomlinson
将原始临时目录从保姆传递给工人(GH#4549) Martin Durant
序列化与分割 (GH#4541) Mads R. B. Kristensen
在 Dask 中使用新的 HLG 打包/解包 API (GH#4489) Mads R. B. Kristensen
处理被剔除任务的注解 (GH#4544) Tom Augspurger
使 sphinx 的 autosummary 和 autoclass 一致 (GH#4367) Casey Clements
从 travis 迁移到 GitHub actions (GH#4504) crusaderky
transition_memory_released和get_nbytes()优化 (GH#4516) jakirkham固定
black预提交 (GH#4533) James Bourbeau尝试从
Queue和Variable中的工作线程获取客户端(GH#4490)`James Bourbeau`_使用回调来关闭TCP通信,而不是每次都检查 (GH#4453) Matthew Rocklin
2021年2月¶
发布于2021年2月5日
将最小 Dask 版本提升至 2021.02.0 (GH#4486) James Bourbeau
更新
TaskState文档关于依赖属性 (GH#4440) Florian JetterDOC: 自动格式化所有函数的文档字符串 (GH#4475) Matthias Bussonnier
文档:拼写错误,指令以两个冒号
::结尾 (GH#4472) Matthias BussonnierDOC:
distributed/protocol/*.py的正确 numpydoc 语法 (GH#4473) Matthias Bussonnier在
test_server_listen中更新pytest.skip的使用 (GH#4467) James Bourbeau从配置中添加了工作资源 (GH#4456) Tom Augspurger
修复工作验证函数中的变量名 (GH#4457) Gil Forsyth
2021.01.1¶
发布于2021年1月22日
使系统监控间隔可配置 (GH#4447) Matthew Rocklin
添加
uvloop配置值 (GH#4448) Matthew Rocklin给集群命名 (GH#4426) Jacob Tomlinson
在
Semaphore中使用工作线程通信池 (GH#4195) Florian Jetter在新任务上设置
runspec以避免死锁 (GH#4432) Florian Jetter在故事方法中支持
TaskState对象 (GH#4434) Matthew Rocklin在
Client.asynchronous中支持缺失的事件循环 (GH#4436) Matthew Rocklin不需要网络来检查测试 (GH#4433) Matthew Rocklin
2021.01.0¶
发布于2021年1月15日
将开始时间添加到调度器信息中 (GH#4425) Jacob Tomlinson
日志自适应错误 (GH#4422) Jacob Tomlinson
Xfail 规范化测试 (GH#4411) Jacob Tomlinson
在打包高级图时使用
dumps_msgpack和loads_msgpack(GH#4409) Mads R. B. Kristensen为
dask-workerCLI 添加nprocs自动选项 (GH#4377) Jacob Tomlinson在2028年后使测试通过(GH#4403) Bernhard M. Wiedemann
test_performance_report: 跳过没有 bokeh 的测试 (GH#4388) Bruno PaganiNanny现在尊重来自 ctx mgr 的 dask 设置 (GH#4378) Florian JetterDask 内部继承配置 (GH#4364) Jacob Tomlinson
使用任务注释优先级为用户级别优先级 (GH#4354) James Bourbeau
为 highlevelgraph 添加了 pack/unpack 的文档 (GH#4352) Mads R. B. Kristensen
在进程关闭时释放futures时静默异常 (GH#4309) Benjamin Zaitlen
2020.12.0¶
发布于2020年12月10日
亮点¶
切换到 CalVer 版本控制方案。
调度器现在可以接收 Dask 的
HighLevelGraph而不是原始的字典任务图。这使得从客户端到调度器的任务图通信更加高效。添加了对使用自定义
Layer级注释(如priority、retries等)的支持,这些注释可以通过dask.annotations上下文管理器使用。将 Dask 的最低支持版本更新至 2020.12.0。
添加了许多类型注解和更新,以逐步允许对调度器进行Cython化。
所有更改¶
在调度器中记录重复的工作者 (GH#4338) Matthew Rocklin
可选地在工作节点中使用卸载执行器 (GH#4307) Matthew Rocklin
在
WorkerState.address上使用operator.attrgetter(GH#4324) jakirkham将
TaskGroup和TaskPrefix移到 TaskState 之前 (GH#4318) jakirkham删除空的
test_highgraph.py文件 (GH#4313) James Bourbeau确保
retire_workers返回一个dict(GH#4315) Matthew Rocklin在低级错误时关闭
comm(GH#4239) jochen-ott-by移除
thread_name_prefix关键字 (GH#4308) 的try/except卸载 James Bourbeau将
Layer注释传输到调度器 (GH#4279) Simon Perkins防止在
get_metrics中缺少键 (GH#4300) Matthew Rocklin在
clean中使用dict设置WorkerState.processing(GH#4295) jakirkham避免在
TaskStream中出现“调度器为空”消息时的闪烁 (GH#4284) Matthew Rocklin使
gather_dep对缺失任务具有鲁棒性 (GH#4285) Matthew Rocklin将
nbytes从 Worker 的状态移动到TaskState(GH#4274) Gil Forsyth将状态移动到顶级导入 (GH#4280) Matthew Rocklin
添加聚合主题日志和
log_event方法 (GH#4230) James Bourbeau在
sync中支持字符串超时 (GH#4266) James Bourbeau使用
dask.utils.stringify()代替distributed.utils.tokey()(GH#4255) Mads R. B. KristensenComm/tcp 监听器:不要将握手失败的通信传递给
comm_handler(GH#4240) jochen-ott-by文档任务优先级打破 (GH#4252) James Bourbeau
__dask_distributed_pack__(): 客户端参数 (GH#4248) Mads R. B. Kristensenworker_client和get_client的可配置超时 (GH#4146) GeethanjaliEswaran将 dask/distributed 版本添加到
performance_report(GH#4249) Matthew Rocklin更新 miniconda GitHub 操作 (GH#4250) James Bourbeau
UCX 关闭忽略错误 (GH#4236) Mads R. B. Kristensen
在
gather_dep中按需创建依赖TaskState(GH#4241) Gil Forsyth如果需要,在
register_worker_plugin中实例化插件(GH#4198) Julia Signell允许演员在同一工作者上调用演员 (GH#4225) Martin Durant
泄漏线程检查中的特殊情况配置文件线程 (GH#4229) James Bourbeau
在
update_graph中使用intersection()处理集合,而不是dict_keys(GH#4227) Mads R. B. Kristensen直接向
Scheduler传递HighLevelGraphs(GH#4140) Mads R. B. Kristensen添加
get_task_metadata上下文管理器 (GH#4216) James Bourbeau任务状态日志和数据修复 (GH#4206) Gil Forsyth
从工作节点发送活动任务持续时间到调度器 (GH#4192) James Bourbeau
修复
test_close_gracefully中的状态检查 (GH#4203) Gil Forsyth避免在
Client.compute()中具体化层 (GH#4196) Mads R. B. Kristensen添加
TaskState元数据 (GH#4191) James Bourbeau修复已发布密钥的任务窃取中的回归问题 (GH#4182) Florian Jetter
修复基于期货的依赖关系的
_graph_to_futures错误 (GH#4178) Richard J Zamora高级图
dumps/loads支持 (GH#4174) Mads R. B. Kristensen通过
_graph_to_futures实现传递 HighLevelGraphs (GH#4139) Mads R. B. Kristensen支持
async预加载点击命令 (GH#4170) James Bourbeau在
worker.py中添加TaskState(GH#4107) Gil Forsyth增强
Semaphore.release的健壮性 (GH#4151) Lucas Rademaker跳过批处理通信测试 win / tornado5 (GH#4166) Tom Augspurger
当
memory_target_fraction为False时,将 Zict 缓冲区目标设置为 maxsize (GH#4156) Krishan Bhasin添加
PipInstallWorkerPlugin(GH#3216) Matthew Rocklin在调度器中记录
KilledWorker事件 (GH#4157) Matthew Rocklin
2.30.1 - 2020-11-03¶
固定
pytest-asyncio版本 (GH#4212) James Bourbeau用
weakref.finalize替换AsyncProcess退出处理程序 (GH#4184) Peter Andreas Entschev移除硬编码的连接握手超时 (GH#4176) Florian Jetter
2.30.0 - 2020-10-06¶
在
str_graph()中支持SubgraphCallable(GH#4148) Mads R. B. Kristensen在
BatchedSend中处理异常 (GH#4135) Tom Augspurger修复 autosummary 文档中缺少
:的问题 (GH#4143) Gil Forsyth仅限可见设备限制GPU指标 (GH#3810) Jacob Tomlinson
2.29.0 - 2020-10-02¶
如果集群已经关闭,立即在
Cluster.close中返回 (GH#4116) Tom Rochette使用
.compute()与client.compute()的示例更新异步文档 (GH#4137) Benjamin Zaitlen在
Client中正确地销毁LoopRunner(GH#4112) Sergey Kozlov简化
Client._graph_to_futures()(GH#4127) Mads R. B. Kristensen清理新异常回溯 (GH#4125) Krishan Bhasin
默认情况下停止编写配置文件 (GH#4123) Matthew Rocklin
2.27.0 - 2020-09-18¶
修复使用
name参数注册工作插件的问题 (GH#4105) Nick Evans在集群节点上支持不同的
remote_python路径 (GH#4085) Abdulelah Bin Mahfoodh在关闭全局客户端时允许
RuntimeError错误 (GH#4115) Matthew Rocklin在 dask 中匹配
pre-commit(GH#4049) Julia Signell更新
super用法 (GH#4110) Poruri Sai Rahul
2.26.0 - 2020-09-11¶
为自适应启动和停止添加日志记录 (GH#4101) Matthew Rocklin
如果一个受监护的工作者还没有启动,不要关闭它 (GH#4093) Matthew Rocklin
在同步关闭客户端时尊重超时 (GH#4096) Matthew Rocklin
下载预加载脚本时的日志记录 (GH#4094) Matthew Rocklin
dask-worker --nprocs接受负值 (GH#4089) Dror Speiser支持零工作线程客户端 (GH#4090) Matthew Rocklin
从指标中排除
fire-and-forget客户端 (GH#4078) Tom Augspurger在
Client.wait_for_workers方法中添加timeout=关键字 (GH#4087) Matthew Rocklin
2.25.0 - 2020-08-28¶
更新为 black (GH#4081) Tom Augspurger
在连接旧版本的 Dask 时提供信息性错误 (GH#4076) Matthew Rocklin
图表辅助文本 (GH#4064) Julia Signell
图形仪表板:如果任务数量过大,重置容器数据 (GH#4056) Florian Jetter
确保信号量为线程池工作者选择正确的
IOLoop(GH#4060) Florian Jetter添加集群日志方法 (GH#4051) Jacob Tomlinson
清理更多异常回溯 (GH#4054) Krishan Bhasin
改进
scheduler.locks选项的文档 (GH#4062) Florian Jetter
2.24.0 - 2020-08-22¶
将工具栏移至上方并修复y轴 (#4043) Julia Signell
使如何获取工作仪表盘的行为更清晰 (#4047) Julia Signell
工作台清理 (#4046) Julia Signell
为数据集添加默认参数,并提供覆盖数据集的可能性 (#4052) Nils Braun
发现 HTTP 端点 (#3744) Martin Durant
2.23.0 - 2020-08-14¶
整理TCP通信中的异常回溯 (GH#4042) Krishan Bhasin
x 轴标签的角度 (GH#4030) Mathieu Dugré
始终在
header中设置 RMM 的步幅(GH#4039)`jakirkham`_修复文档
upload_file(GH#4038) Roberto Panai为序列化情况中的信息性错误添加测试 (GH#4029) Matthew Rocklin
为通信上下文添加压缩、pickle协议 (GH#4019) Matthew Rocklin
使GPU绘图在没有GPU的情况下也能稳健运行 (GH#4008) Matthew Rocklin
更新
PendingDeprecationWarning为正确的版本号 (GH#4025) Matthias Bussonnier在询问调度器之前尝试获取集群
dashboard_link(GH#4018) Matthew Rocklin忽略带有内置
array的可写帧(GH#4016)`jakirkham`_每当我们上传新文件时清除函数缓存 (GH#3993) Jack Xiaosong Xu
在分配/比较字符串与
StatusEnum时发出警告 (GH#3875) Matthias Bussonnier修复仪表板中的内存直方图值 (GH#4006) Willi Rath
2.22.0 - 2020-07-31¶
当
memory_limit为 0 时处理内存百分比总和 (GH#3984) Julia Signell如果没有网络可用,则恢复到本地IP的localhost (GH#3991) Matthew Rocklin
在内联指令中添加缺失的反引号。(GH#3988) Matthias Bussonnier
当
threads_per_worker设置为零时发出警告 (GH#3986) Julia Signell遍历通讯列表 (GH#3959) Matthew Rocklin
始终尝试创建
dask-worker-space文件夹,如果存在则继续 (GH#3972) Jendrik Jördening使用延续提示以正确解析示例 (GH#3966) Matthias Bussonnier
2.21.0 - 2020-07-17¶
修复数据复制错误 (GH#3963) Andrew Fulton
将虚假的本地目录视为
None(GH#3964) Tom Augspurger现在
numpydoc已经发布了 1.1 版本,取消固定 (GH#3957) Gil Forsyth当 Dask 版本不匹配或安装了 lz4 时,错误变得严重 (GH#3936) Matthew Rocklin
UCX:重用端点以修复 NVLINK 问题 (GH#3953) Mads R. B. Kristensen
每任务更新时间图表与过滤和饼图 (GH#3933) Benjamin Zaitlen
UCX: 显式关闭消息 (GH#3950) Mads R. B. Kristensen
避免过于激进的连接重试 (GH#3944) Matthias Bussonnier
在
Client.sync中解析超时 (GH#3952) Matthew Rocklin将
scheduler_comm移入Cluster.__init__(GH#3945) Matthew Rocklin
2.20.0 - 2020-07-02¶
默认情况下,使仪表板服务器监听所有IP,即使接口已明确设置 (GH#3941) Loïc Estève
在检查TTL中更新worker移除逻辑 (GH#3927) Benjamin Zaitlen
安静地关闭创建的集群 (GH#3935) Matthew Rocklin
恢复
Scheduler.time_started以用于 Dask Gateway (GH#3934) Tom Augspurger修复
_wait_until_connected中的异常处理 (GH#3912) Alexander Clausen如果本地目录不存在,则创建它 (GH#3928) Matthew Rocklin
如果 bokeh 依赖不满足,则安装 vanilla status 路由 (GH#3844) joshreback
使
Worker.delete_data同步 (GH#3922) Peter Andreas Entschev修复重复调用
cluster.adapt()中的竞争条件 (GH#3915) Jacob Tomlinson
2.19.0 - 2020-06-19¶
当任务发布时通知工作插件 (GH#3817) Nick Evans
在调度器中更新心跳检查 (GH#3896) Benjamin Zaitlen
如果
Security给出参数,则默认启用加密 (GH#3887) Matthew Rocklin在仪表板工作者圆形图表上悬停时显示
cpu_fraction。(GH#3906) Loïc Estève在变量删除时修剪虚拟客户端 (GH#3910) Marco Neumann
修复仪表板中的总聚合指标 (GH#3897) Loïc Estève
支持 Bokeh 2.1 (GH#3904) Matthew Rocklin
在旧版本的 Python 中跳过
test_pid_file(GH#3888) Matthew Rocklin在处理程序中将
stream=替换为comm=(GH#3860) Julien Jerphanion检查SSH集群中主机是否为
None值。(GH#3883) Matthias Bussonnier允许在
security=关键字中使用字典 (GH#3874) Matthew Rocklin使用
Enum表示工作线程、调度器和保姆的状态。(GH#3853) Matthias Bussonnier处理任务流中的空时间 (GH#3862) Benjamin Zaitlen
将
asyncssh对象更改为 Sphinx 引用 (GH#3861) Jacob Tomlinson改进
SSHCluster文档字符串中的connect_options(GH#3859) Jacob Tomlinson在客户端构造函数中验证地址参数 (GH#3842) joshreback
在worker名称中使用
SpecCluster名称 (GH#3855) Loïc Estève允许异步
add_worker和remove_worker插件方法 (GH#3847) James Bourbeau
2.18.0 - 2020-06-05¶
在
deserialize_bytes中合并帧 (GH#3639) John Kirkham允许
SSHCluster接受一个connect_options列表 (GH#3854) Jacob Tomlinson将favicon添加到性能报告 (GH#3852) Jacob Tomlinson
为每个键花费的时间和传输/序列化添加仪表板图表(GH#3792) Benjamin Zaitlen
修复任务文档中的变量名称 (GH#3840) Matthias Bussonnier
修复任务文档中的拼写错误 (GH#3838) James Bourbeau
注册
dask_cudf序列化器 (GH#3832) John Kirkham修复
rebalance中缺失键的检查 (GH#3834) Jacob Tomlinson允许在出现异常时收集部分配置文件信息 (GH#3773) Florian Jetter
2.17.0 - 2020-05-26¶
记录自上次运行任务以来的时间在调度器上 (GH#3830) Matthew Rocklin
根据阈值设置
nbytes窗格的颜色 (GH#3805) Krishan Bhasin在绩效报告中包含任务总数 (GH#3822) Abdulelah Bin Mahfoodh
允许在工作者限制中传递任务键字符串 (GH#3826) Nils Braun
控制 de/ser 卸载 (GH#3793) Martin Durant
解析
Variable/Event/Lock中的超时参数以支持文本超时 (GH#3825) Nils Braun不要发送空依赖 (GH#3423) Jakub Beránek
添加分布式 Dask
Event以模拟threading.Event(GH#3821) Nils Braun增强
VersionMismatchWarning消息 (GH#3786) Abdulelah Bin Mahfoodh将
utils.ignoring替换为contextlib.suppress(GH#3819) Nils Braun使从CI输出重新创建conda环境更容易 (GH#3816) Lucas Rademaker
为信号量添加 Prometheus 指标 (GH#3757) Lucas Rademaker
修复了在取代的转换中调用的工作插件 (GH#3812) Nick Evans
为服务器监听添加重试 (GH#3801) Jacob Tomlinson
从
scheduler.py中删除注释掉的行 (GH#3803) James Bourbeau在使用
distributed.Semaphore时修复从未等待的协程的RuntimeWarning(GH#3713) Florian Jetter修复在某些平台上测试拆卸期间的配置文件线程泄漏 (GH#3795) Florian Jetter
在处理通信之前等待自身 (GH#3788) Matthew Rocklin
修复
Cluster文档字符串中的拼写错误 (GH#3787) Scott Sanderson
2.16.0 - 2020-05-08¶
Client.get_dataset总是创建附加到自身的Futures(GH#3729) crusaderky移除未使用的 dev-requirements (GH#3782) Julia Signell
使用 bokeh 列来替代
/system的自定义 CSS (GH#3781) Julia Signell尝试修复 Windows 上的
test_preload_remote_module(GH#3775) James Bourbeau修复TLS通信的广播 (GH#3766) Florian Jetter
不要在本地验证 http 预加载 (GH#3768) Rami Chowdhury
允许为
Workers指定端口范围(GH#3704)`James Bourbeau`_为 RDMACM 添加 UCX 支持 (GH#3759) Peter Andreas Entschev
支持在预加载中使用网页地址 (GH#3755) Matthew Rocklin
2.15.2 - 2020-05-01¶
在提供地址时连接到仪表板 (GH#3758) Tom Augspurger
移动
test_gpu_metrics 测试(GH#3721) Tom Augspurger在
KeyboardInterrupt上关闭保姆工作进程 (GH#3747) Mads R. B. Kristensen在调度器中将
OrderedDict替换为dict(GH#3740) Matthew Rocklin修复异常处理中的拼写错误 (GH#3751) Jonas Haag
2.15.1 - 2020-04-28¶
确保
BokehTornado使用前缀 (GH#3746) James Bourbeau如果在启动前集群关闭则发出警告(GH#3735) Matthew Rocklin
内存视图序列化 (GH#3743) Martin Durant
允许在分布式键下进行日志配置 (GH#2952) Dillon Niederhut
2.15.0 - 2020-04-24¶
恢复对旧版
@gen_cluster函数的支持 (GH#3738) crusaderky添加配置模式 (GH#3696) Matthew Rocklin
重用 CI 脚本用于本地安装过程 (GH#3698) crusaderky
使用 tornado 中的
PeriodicCallback类 (GH#3725) James Bourbeau在ssh命令中添加
remote_python选项 (GH#3709) Abdulelah Bin Mahfoodh可配置的集群小部件轮询间隔 (GH#3723) Julia Signell
修复文档中的复制粘贴问题 (GH#3728) Julia Signell
在测试中用 async-await 替换
gen.coroutine(GH#3706) crusaderky修复不稳定的
test_oversubscribing_leases(GH#3726) Florian Jetter将
batch_size添加到Client.map(GH#3650) Tom Augspurger调整信号量测试超时 (GH#3720) Florian Jetter
Dask-序列化长度超过五个元素的字典 (GH#3689) Richard J Zamora
强制
threads_per_worker(GH#3715) crusaderky具有重试功能的幂等信号量获取 (GH#3690) Florian Jetter
避免来自 pandas 的
DeprecationWarning(GH#3712) Tom Augspurger允许在运行时修改
distributed.comm.retry(GH#3705) Florian Jetter不要在删除未设置的变量时记录错误 (GH#3652) Jonathan J. Helmus
在新的
SSHCluster中添加remote_python关键字 (GH#3701) Abdulelah Bin Mahfoodh在文档字符串中将 Example 替换为 Examples (GH#3697) Matthew Rocklin
添加
Cluster的__enter__和__exit__方法 (GH#3699) Matthew Rocklin修复
SSHCluster中非bash shell的继承配置传播 (GH#3688) Abdulelah Bin Mahfoodh将
Client.wait_to_workers添加到Client自动摘要表中 (GH#3692) James Bourbeau用 Tornado HTTPServer 替换 Bokeh Server (GH#3658) Matthew Rocklin
修复
dask-ssh在从dask_schedulercli 中移除local-directory后的问题 (GH#3684) Abdulelah Bin Mahfoodh在
Nanny中支持预加载模块 (GH#3678) Matthew Rocklin重构信号量内部机制:使
_get_lease同步 (GH#3679) Lucas Rademaker不要让任务图太大 (GH#3671) Martin Durant
通过
connection/listen_args作为扩展的关键字 (GH#3674) Matthew Rocklin在导入、启动和拆卸时运行预加载 (GH#3673) Matthew Rocklin
在调度器仪表板中使用相对URL (GH#3676) Nicholas Smith
将
Security对象作为公共 API 公开 (GH#3675) Matthew Rocklin将缩放工具添加到配置文件图 (GH#3672) James Bourbeau
更新
Scheduler.rebalance返回值当数据缺失时 (GH#3670) James Bourbeau
2.14.0 - 2020-04-03¶
移除 Travis 的 openssl 1.1.1d 固定版本 (GH#3668) Jonathan J. Helmus
更多关于
Semaphore的文档 (GH#3664) Florian Jetter为
get_task_stream添加资源选项并调用output_file(GH#3653) Prasun Anand添加
Semaphore扩展 (GH#3573) Lucas Rademaker在工作窃取测试中将
ncores替换为nthreads(GH#3615) James Bourbeau清理一些测试警告 (GH#3662) Matthew Rocklin
编写“为何被杀”文档 (GH#3596) Martin Durant
更新 Python 版本检查 (GH#3660) James Bourbeau
添加换行以确保
retire_workers的代码格式 (GH#3661) Rami Chowdhury清理性能报告测试 (GH#3655) Matthew Rocklin
避免性能报告中的诊断时间 (GH#3654) Matthew Rocklin
引入默认任务持续时间的配置 (GH#3642) Gabriel Sailer
将 GitHub 操作的 checkout 升级到 v2 (GH#3649) James Bourbeau
在
faulthandler中处理异常 (GH#3646) Jacob Tomlinson为可疑任务添加 Prometheus 指标 (GH#3550) Gabriel Sailer
移除
local-directory关键字 (GH#3620) Prasun Anand在存在混合的 Client Futures 时,不要在 Client 中创建输出 Futures (GH#3643) James Bourbeau
添加链接至
contributing.md(GH#3621) Prasun Anand在CI构建中更新bokeh依赖 (GH#3637) James Bourbeau
2.13.0 - 2020-03-25¶
仅在 CUDA 帧上同步 UCX 默认流 (GH#3638) Peter Andreas Entschev
添加
as_completed.clear方法 (GH#3617) Matthew Rocklin从
pack_frames_prelude中删除未使用的行 (GH#3634) John Kirkham在关闭空闲的dask调度器时添加日志消息 (GH#3632) Matthew Rocklin
在
header["lengths"]中包含 CUDA 对象的帧长度 (GH#3631) John Kirkham确保
Client连接池信号量附加到Client事件循环 (GH#3546) James Bourbeau移除死偷窃代码 (GH#3619) Florian Jetter
在读取
data之前检查nbytes和types(GH#3628) John Kirkham确保我们不会窃取黑名单中的快速任务 (GH#3591) Florian Jetter
支持异步
Listener.stop函数 (GH#3613) Matthew Rocklin为
as_completed添加 str/repr 方法 (GH#3618) Matthew Rocklin为通信连接尝试添加退避机制。(GH#3496) Matthias Urlichs
使
Listeners可等待 (GH#3611) Matthew Rocklin增加仪表盘图表中可见尾数的数量 (GH#3585) Scott Sievert
将 Travis 的 openssl 固定到 1.1.1d (GH#3602) Jacob Tomlinson
将
tornado.queues替换为asyncio.queues(GH#3607) James Bourbeau从CI环境中移除
dill(GH#3608) Loïc Estève修复代码检查错误 (GH#3604) James Bourbeau
在UCX发送/接收之前同步默认CUDA流 (GH#3598) Peter Andreas Entschev
添加
Adaptive参数的配置 (GH#3509) Gabriel Sailer将
Adaptive文档更改为引用adaptive_target(GH#3597) Julia Signell可选地按帧进行压缩 (GH#3586) Matthew Rocklin
添加Python版本到版本检查 (GH#3567) James Bourbeau
导入
tlz(GH#3579) John Kirkham固定
numpydoc以避免双重转义的*(GH#3530) Gil Forsyth避免在计算过程中工作节点死亡时
performance_report崩溃 (GH#3575) Krishan Bhasin在CI构建中固定
bokeh(GH#3570) James Bourbeau在GitHub Actions Windows CI上禁用快速失败 (GH#3569) James Bourbeau
修复
Client.shutdown文档字符串中的拼写错误 (GH#3562) John Kirkham为
dask-ssh添加local_directory选项 (GH#3554) Abdulelah Bin Mahfoodh
2.12.0 - 2020-03-06¶
更新
TaskGroup删除逻辑 (GH#3557) James Bourbeau修复 CuPy 稀疏序列化 (GH#3556) John Kirkham
LocalCluster和SpecCluster的 API 文档 (GH#3548) Tom Augspurger序列化稀疏数组 (GH#3545) John Kirkham
允许带有限制的任务被窃取 (GH#3069) Stan Seibert
使用 UCX 默认配置而不是引发 (GH#3544) Peter Andreas Entschev
支持使用其他序列化器与
register_generic(GH#3536) John Kirkham文档:更新为 async await (GH#3543) Tom Augspurger
在
test_ucx_config.py中使用pytest.raises(GH#3541) John Kirkham修复/更多 ucx 配置选项 (GH#3539) Benjamin Zaitlen
更新心跳
CommClosedError错误处理 (GH#3529) James Bourbeau在构建
local_directory时使用makedirs(GH#3538) John Kirkham将
None标记为 MessagePack 可序列化 (GH#3537) John Kirkham将
bool标记为 MessagePack 可序列化的 (GH#3535) John Kirkham使用
dask.config中的 ‘temporary-directory’ 作为 Nanny 的目录 (GH#3531) John Kirkham在性能报告中获取源代码时添加 try-except 语句 (GH#3505) Matthew Rocklin
修复文档字符串中的拼写错误 (GH#3528) Davis Bennett
使工作窃取回调时间可配置 (GH#3523) Lucas Rademaker
RMM/UCX 配置标志 (GH#3515) Benjamin Zaitlen
修订开发文档:conda 环境示例 (GH#3406) Darren Weber
从
ucx.py顶部移除import ucp(GH#3510) Peter Andreas Entschev将
logs重命名为get_logs(GH#3473) Jacob Tomlinson当工作节点重新连接到调度器时停止保持活动 (GH#3493) Jacob Tomlinson
2.11.0 - 2020-02-19¶
添加 CUDA 对象的 dask 序列化 (GH#3482) John Kirkham
抑制 cuML
ImportError(GH#3499) John KirkhamMsgpack 1.0 兼容性 (GH#3494) James Bourbeau
注册 cuML 序列化器 (GH#3485) John Kirkham
检查工作状态的完全相等性 (GH#3483) Brett Naul
序列化 1-D, 连续的
uint8CUDA 帧 (GH#3475) John Kirkham更新 NumPy 数组序列化以处理非连续切片 (GH#3474) James Bourbeau
为基于集合的资源文档提出修复 (GH#3480) Chris Roat
从CI运行中移除
--verbose标志 (GH#3484) Matthew Rocklin不要在调度报告(GH#3477)中重复消息 Jakub Beránek
注册 Dask cuDF 序列化器 (GH#3478) John Kirkham
添加对 Python 3.8 的支持 (GH#3249) James Bourbeau
将
local_directory的默认值从空字符串更改为None(GH#3441) condoratberlin清除旧文档 (GH#3458) Matthew Rocklin
将默认的多进程行为更改为spawn (GH#3461) Matthew Rocklin
在额外的斜杠上拆分仪表板主机以处理进程内 (GH#3466) Jacob Tomlinson
更新
locality.rst(GH#3470) Dustin Tindall小型的
gen.Return清理 (GH#3469) James Bourbeau将最小
tblib版本更新至 1.6.0 (GH#3451) James Bourbeau在仪表板中为工人图表添加总计行 (GH#3464) Julia Signell
解决配置文件数据中的
RecursionError问题 (GH#3455) Tom Augspurger在性能报告中包含代码和摘要 (GH#3462) Matthew Rocklin
在 Python 3.6 上跳过
test_open_close_many_workers(GH#3459) Matthew Rocklin支持序列化/反序列化
rmm.DeviceBuffer对象 (GH#3442) John Kirkham始终将新的
TaskGroup添加到TaskPrefix(GH#3322) James Bourbeau在代码库上重新运行
black(GH#3444) John Kirkham确保在工作器上引发的异常的
__causes__被序列化 (GH#3430) Alex Adamson调整
numba.cuda导入并添加检查 (GH#3446) John KirkhamFix name of Numba serialization test (GH#3447) John Kirkham
检查
ssh2中的命令参数 (GH#3078) Peter Andreas Entschev在
LocalCluster构造函数中更新worker_kwargs描述 (GH#3438) James Bourbeau确保调度器在成功删除工作数据后更新任务和工作状态 (GH#3401) James Bourbeau
避免在 asyncio 协调原语中使用
loop=关键字 (GH#3437) Matthew Rocklin调用 pip 作为模块以避免警告 (GH#3436) Cyril Shcherbin
在协调原语中添加参数文档 (GH#3434) Søren Fuglede Jørgensen
将
tornado.locks替换为 asyncio 用于事件/锁/条件/信号量 (GH#3397) Matthew Rocklin从类层次结构中移除对象 (GH#3432) Anderson Banihirwe
向
Client添加dashboard_link属性 (GH#3429) Jacob Tomlinson使
_get_ip在默认情况下返回一个 IP 地址(GH#3418) Pierre Glaser支持使用旧版本的 Dask 进行版本检查 (GH#3390) Igor Gotlibovych
将 Mac OS 构建添加到 CI (GH#3358) James Bourbeau
2.10.0 - 2020-01-28¶
修复了当没有工作线程时仪表板中的
ZeroDivisionError(GH#3407) James Bourbeau重定向时尊重
dashboard-prefix(GH#3387) Chrysostomos Nanakos允许在集群启动后启用/禁用工作窃取 (GH#3410) John Kirkham
在 offload 中支持
*args和**kwargs(GH#3392) Matthew Rocklin为 SchedulerPlugin 添加生命周期钩子 (GH#3391) Matthew Rocklin
2.9.3 - 2020-01-17¶
如果没有运行中的循环,则引发
RuntimeError(GH#3385) James Bourbeau修复
get_running_loop导入 (GH#3383) James Bourbeau获取JavaScript文档位置而不是窗口,并处理代理的URL (GH#3382) Jacob Tomlinson
2.9.2 - 2020-01-16¶
将 Windows CI 迁移到 GitHub Actions (GH#3373) Jacob Tomlinson
添加客户端加入和离开钩子 (GH#3371) Jacob Tomlinson
添加集群地图仪表盘 (GH#3361) Jacob Tomlinson
重试时关闭连接通信 (GH#3365) James Bourbeau
为
dask-workerCLI 添加--worker-class选项 (GH#3364) James Bourbeau移除在 OS X 上失败的
locale检查 (GH#3360) Jacob Tomlinson重新检查版本 (GH#2627) Matthew Rocklin
添加 websocket 调度器插件 (GH#3335) Jacob Tomlinson
在
dask-worker的on_signal函数中返回任务 (GH#3354) James Bourbeau修复混合整数/字符串工作名称的失败 (GH#3352) Benedikt Reinartz
在发送数据时避免多次调用
nbytes(GH#3349) Markus Mohrhard如果在IPython内核中且没有运行的事件循环,则避免设置事件循环策略 (GH#3336) Mana Borwornpadungkitti
修复间歇性失败的
test_profile_server(GH#3346) Matthew Rocklin
2.9.1 - 2019-12-27¶
在 dumps_function 缓存周围添加锁 (GH#3337) Matthew Rocklin
将 setuptools 添加到依赖项 (GH#3320) James Bourbeau
在图布局中使用 TaskPrefix.name (GH#3328) Matthew Rocklin
在性能报告示例中添加缺失的 “ (GH#3329) John Kirkham
将性能报告文档和颜色定义添加到文档中 (GH#3325) Benjamin Zaitlen
将 startstops 切换为字典,并在传输中添加 worker 名称 (GH#3319) Jacob Tomlinson
为树外通信库添加插件入口点 (GH#3305) Patrick Sodré
在日志中使用工作线程名称 (GH#3309) Stephan Erb
添加 TaskGroup 和 TaskPrefix 调度器状态 (GH#3262) Matthew Rocklin
在 Client._graph_to_futures 中更新任务图中的内联 Futures (GH#3303) James Bourbeau
使用主机名作为默认IP地址,而不是localhost (GH#3308) Matthew Rocklin
清理不稳定的 test_nanny_throttle (GH#3295) Tom Augspurger
为敏感操作向调度器添加锁 (GH#3259) Matthew Rocklin
每个调度器监听器的日志地址 (GH#3306) Matthew Rocklin
使 ConnectionPool.close 异步 (GH#3304) Matthew Rocklin
2.9.0 - 2019-12-06¶
添加
dask-specCLI 工具 (GH#3090) Matthew Rocklin如果未安装加密库,则跳过
Security.temporary()测试 (GH#3302) James Bourbeau在调度器中支持多个监听器 (GH#3288) Matthew Rocklin
更新 RMM 评论到正确的版本 (GH#3299) John Kirkham
为
performance_report添加标题 (GH#3298) Matthew Rocklin忘记修复慢测试 (GH#3297) Benjamin Zaitlen
更新
SSHCluster文档字符串参数 (GH#3296) James Bourbeauworker.close()等待batched_stream.close()(GH#3291) Mads R. B. Kristensen修复UCX中的异步监听器 (GH#3292) Benjamin Zaitlen
避免重复添加依赖到已经在内存中的栈 (GH#3293) James Bourbeau
xfail ucx 空对象类型化数据帧 (GH#3279) Benjamin Zaitlen
修复
distributed.wait文档 (GH#3289) Tom Rochette将 Python 3 语法测试移入主测试 (GH#3281) Matthew Rocklin
xfail
test_workspace_concurrency对于 Python 3.6 (GH#3283) Matthew Rocklin添加
performance_report上下文管理器用于静态报告生成 (GH#3282) Matthew Rocklin使用自定义LRU类更新函数序列化缓存 (GH#3260) James Bourbeau
使
Listener.start异步 (GH#3278) Matthew Rocklin移除
dask-submit和dask-remote(GH#3280) Matthew Rocklin工作者配置文件服务器 (GH#3274) Matthew Rocklin
改进带宽工作者图表 (GH#3273) Matthew Rocklin
在
Scheduler和Worker之间使 profile coroutines 保持一致 (GH#3277) Matthew Rocklin启用从服务器线程保存配置文件信息 (GH#3271) Matthew Rocklin
移除内存使用图表 (GH#3269) Matthew Rocklin
将卸载大小添加到配置 (GH#3270) Matthew Rocklin
修复配置文件图上的布局缩放 (GH#3268) Jacob Tomlinson
在CPU绘图中根据线程数设置
x_range(GH#3266) Matthew Rocklin在仪表板中使用base-2值表示字节轴(GH#3267)`Matthew Rocklin`_
使用来自较新 RMM 版本的
DeviceBuffer(GH#3261) John Kirkham修复 pytest 的开发需求 (GH#3264) Elliott Sales de Andrade
在配置中添加验证选项(GH#3258)`Matthew Rocklin`_
2.8.1 - 2019-11-22¶
修复调度器离开时的挂起工作进程 (GH#3250) Tom Augspurger
修复 NumPy 可写序列化错误 (GH#3253) James Bourbeau
如果 CUDA 不可用,则跳过
numba.cuda测试 (GH#3255) Peter Andreas Entschev为内存使用情况添加新的仪表盘图表(GH#3243) Matthew Rocklin
修复了cupy数组超出作用域的问题 (GH#3240) Mads R. B. Kristensen
在调度器中移除
gen.coroutine的使用 (GH#3242) Jim Crist-Harif在相关的地方使用
inspect.isawaitable(GH#3241) Jim Crist-Harif
2.8.0 - 2019-11-14¶
添加 UCX 配置值 (GH#3135) Matthew Rocklin
放松测试_MultiWorker (GH#3210) Matthew Rocklin
避免在导入时使用 ucp.init (GH#3211) Matthew Rocklin
清理rpc以避免间歇性测试失败 (GH#3215) Matthew Rocklin
如果提供给调度器,请遵守协议(GH#3212)`Matthew Rocklin`_
在 bokeh 图表中使用 legend_field= 关键字 (GH#3218) Matthew Rocklin
在 Nanny 中缓存 psutil.Process 对象 (GH#3207) Matthew Rocklin
将 gen.sleep 替换为 asyncio.sleep (GH#3208) Matthew Rocklin
避免对小消息进行序列化 (GH#3224) Matthew Rocklin
添加 desired_workers 指标 (GH#3221) Gabriel Sailer
在导入 distributed.comm.ucx 时快速失败 (GH#3228) Matthew Rocklin
将模块名称添加到 Future repr (GH#3231) Matthew Rocklin
将名称添加到 Pub/Sub repr (GH#3235) Matthew Rocklin
从 dask.system 导入 CPU_COUNT (GH#3199) James Bourbeau
高效序列化零步长NumPy数组(GH#3180)`James Bourbeau`_
在工作者中缓存函数反序列化 (GH#3234) Matthew Rocklin
尊重 futures_of 中 futures 的顺序 (GH#3236) Matthew Rocklin
将 dask 依赖更新至 2.7.0 (GH#3237) James Bourbeau
基于最近行为的清晰任务流 (GH#3200) Matthew Rocklin
使用百分比字段进行概况图 (GH#3238) Matthew Rocklin
2.7.0 - 2019-11-08¶
此版本放弃了对 Python 3.5 的支持
在 README.rst 中添加徽章 [skip ci] (GH#3152) James Bourbeau
如果 self.address 存在,不要覆盖它 (GH#3153) Gil Forsyth
更新 CONTRIBUTING.md (GH#3159) Jacob Tomlinson
修复当 strides 为 None 时的 Numba 序列化 (GH#3166) Peter Andreas Entschev
在 Adaptive.recommendations 中等待集群 (GH#3168) Simon Boothroyd
避免用数据请求淹没高内存工作者 (GH#3071) Tom Augspurger
更新 UCX 变量以默认使用 sockcm (GH#3177) Peter Andreas Entschev
从调度器地址获取Nanny/Worker中的协议 (GH#3175) Peter Andreas Entschev
使用 async def 函数进行帧的加载和卸载 (GH#3171) Mads R. B. Kristensen
子进程继承全局 dask 配置 (GH#3192) Mads R. B. Kristensen
XFail test_open_close_many_workers (GH#3194) Matthew Rocklin
放弃 Python 3.5 (GH#3179) James Bourbeau
UCX: 避免在 fork 后双重初始化 (GH#3178) Mads R. B. Kristensen
在离线时导入时静默警告 (GH#3203) James A. Bednar
为并发分散操作添加测试 (GH#2244) Matthew Rocklin
扩展异步文档 (GH#2293) Dave Hirschfeld
为 cupy<7.0 添加 PatchedDeviceArray 以删除 stride 属性 (GH#3198) Richard J Zamora
2.6.0 - 2019-10-15¶
重构仪表盘模块 (GH#3138) Jacob Tomlinson
在
setup.py中使用setuptools.find_packages(GH#3150) Matthew Rocklin将死亡超时逻辑移至
Node.start(GH#3115) Matthew Rocklin只有在
WorkerTable中包含标量时才包括指标 (GH#3140) Matthew Rocklin添加
Nanny(config={...})关键字 (GH#3134) Matthew Rocklin在 Python 3.6 上 Xfail
test_worksapce_concurrency(GH#3132) Matthew Rocklin通过过渡方法扩展 Worker 插件 API (GH#2994) matthieubulte
如果用户向
Client传递了未使用的关键词参数,则引发异常 (GH#3117) Jonathan De Troye将新的
SSHCluster移动到顶层 (GH#3128) Matthew Rocklin
2.5.2 - 2019-10-04¶
当接收到sigint信号时,使dask-worker安静地关闭(GH#3116) Matthew Rocklin
在 dask-worker 中用 asyncio 替换 tornado.gen 的使用 (GH#3114) Matthew Rocklin
UCX: 使用 RMM 和 Numba 分配 CUDA 数组 (GH#3109) Mads R. B. Kristensen
根据地址而非名称识别 SpecCluster 中的丢失工作者 (GH#3088) James Bourbeau
添加 Client.shutdown 方法 (GH#3106) Matthew Rocklin
收集工作节点间和类型带宽信息 (GH#3094) Matthew Rocklin
通过网络发送噪音以保持 dask-ssh 连接活跃 (GH#3105) Gil Forsyth
重试调度器连接多次 (GH#3104) Jacob Tomlinson
将徽标图标添加到仪表板 (GH#3095) James Bourbeau
移除 utils.py 函数,改为使用 dask/utils.py 中的等效函数 (GH#3042) Matthew Rocklin
降低默认的 bokeh 日志级别 (GH#3087) Philipp Rudiger
检查 self.cluster.scheduler 是否为本地调度器 (GH#3099) Jacob Tomlinson
2.5.1 - 2019-09-27¶
支持没有 .security 或 ._close 方法的集群 (GH#3100) Matthew Rocklin
2.5.0 - 2019-09-27¶
使用新的 UCX Python 绑定 (GH#3059) Mads R. B. Kristensen
修复生成多个工作者的部件规范 (GH#3067) Loïc Estève
使 Client.get_versions 异步友好 (GH#3064) Jacob Tomlinson
添加更长错误回溯的配置选项 (GH#3086) Daniel Farrell
让客户端从传递的集群获取安全信息 (GH#3079) Matthew Rocklin
如果存在,尊重 Cluster.dashboard_link 在 Client._repr_html_ 中 (GH#3077) Matthew Rocklin
使用dask集群文档添加监控 (GH#3072) Arpit Solanki
cupy 和 numba 协议专门处理序列化 (GH#3047) Mads R. B. Kristensen
允许在 SSHCluster 中指定工作类型 (GH#3061) Jacob Tomlinson
在 repr 中使用 Cluster.scheduler_info 的 workers= 值 (GH#3058) Matthew Rocklin
允许 SpecCluster 按内存和核心扩展 (GH#3057) Matthew Rocklin
允许在预加载输入中使用完整脚本 (GH#3052) Matthew Rocklin
添加关于禁用工作窃取的简介 (GH#3055) Chris White
2.4.0 - 2019-09-13¶
移除 six (GH#3045) Matthew Rocklin
将缺失的测试数据添加到sdist tarball中 (GH#3050) Elliott Sales de Andrade
使用 unittest 标准库中的 mock (GH#3049) Elliott Sales de Andrade
将任务反序列化移至任务执行之前 (GH#3015) James Bourbeau
在 distributed 中删除 joblib shim 模块 (GH#3040) John Kirkham
重定向配置文档页面 (GH#3038) Matthew Rocklin
在 dask-worker cli 中支持
--name 0和--nprocs关键字 (GH#3037) Matthew Rocklin从
SpecCluster.workers中移除丢失的工作者 (GH#2990) Guillaume Eynard-Bontemps清理
test_local.py::test_defaults(GH#3017) Matthew Rocklin在
Queue.__init__中用调试信息替换打印语句 (GH#3035) Mikhail Akimov将内存利用率图的
x_range限制设置为内存限制 (GH#3034) Matthew Rocklin依赖于 cudf 代码库进行 cudf 序列化 (GH#2998) Benjamin Zaitlen
在使用
dashboard_link中的os.environ时避免冲突 (GH#3021) Matthew Rocklin支持生成多个工作者的 Spec 任务 (GH#3013) Matthew Rocklin
cudf 反序列化函数名称的更好命名 (GH#3008) Benjamin Zaitlen
使
spec.ProcessInterface成为一个有效的无操作工作者 (GH#3004) Matthew Rocklin从
new_worker_spec返回字典而不是名称/工作对 (GH#3000) Matthew Rocklin修复文档中的小拼写错误 (GH#3002) Mohammad Noor
在按核心和内存进行缩放时允许更多关键字选项 (GH#2997) Matthew Rocklin
为UCX环境添加
cuda_ipc以支持NVLink (GH#2996) Benjamin Zaitlen在 Cluster 和 Client 的 repr 中添加
threads=和memory=(GH#2995) Matthew Rocklin修复 PyNVML 初始化 (GH#2993) Richard J Zamora
2.3.2 - 2019-08-23¶
跳过启动信息中的异常 (GH#2991) Jacob Tomlinson
2.3.1 - 2019-08-22¶
为 SpecCluster 调度器添加单独的外部地址支持 (GH#2963) Jacob Tomlinson
将cudf的序列化/反序列化推迟到该库 (GH#2881) Benjamin Zaitlen
现在,挂起测试的解决方法调用了 ucp.fin() (GH#2967) Mads R. B. Kristensen
直接从 diagnostics.progressbar 导入 progress (GH#2975) Matthew Rocklin
在 ensure_bytes 中处理缓冲协议对象 (GH#2969) Tom Augspurger
当接口不存在时,改进 get_ip_interface 的错误消息 (GH#2964) Loïc Estève
添加 cores= 和 memory= 关键字以进行扩展 (GH#2974) Matthew Rocklin
使工作者对不良自定义指标具有鲁棒性 (GH#2984) Matthew Rocklin
2.3.0 - 2019-08-16¶
在检查
pynvml时排除所有异常 (GH#2961) Matthew Rocklin通过小型基础集合传递序列化 (GH#2948) Peter Andreas Entschev
使用
pytest.warning(Warning)而不是Exception(GH#2958) Matthew Rocklin允许
server_kwargs在仪表板中覆盖默认值 (GH#2955) Bruce Merry更新
utils_perf.py(GH#2954) Shayan Amani在
retire_workers中使用str标准化名称 (GH#2949) Matthew Rocklin更新
client.py(GH#2951) Shayan Amani添加
GPUCurrentLoad仪表板图表 (GH#2944) Matthew Rocklin从工作节点传递 GPU 诊断信息到调度器 (GH#2932) Matthew Rocklin
修复了 Worker 文档字符串格式 (GH#2939) James Bourbeau
将重定向设置文档到 docs.dask.org (GH#2936) Matthew Rocklin
在
gen.coroutine中包装卸载 (GH#2934) Matthew Rocklin将
TCP.close改为协程以避免任务挂起警告 (GH#2930) Matthew Rocklin将核心功能从
SpecCluster移至Cluster(GH#2913) Matthew Rocklin向
ProcessInterface添加 aenter/aexit 协议 (GH#2927) Matthew Rocklin将实时CPU利用率图表添加到仪表板 (GH#2922) Matthew Rocklin
始终在干净的测试中终止进程,即使我们不检查 (GH#2924) Matthew Rocklin
在SSH测试中为进程添加超时 (GH#2925) Matthew Rocklin
在
spec.ProcessInterface周围添加文档 (GH#2923) Matthew Rocklin清理测试中的异步警告 (GH#2920) Matthew Rocklin
请求不存在的任务或工作者时返回404 (GH#2921) Martin Durant
当重新调度未知任务时引发信息性警告 (GH#2916) James Bourbeau
修复文档字符串 (GH#2917) Martin Durant
在工作者和调度器之间添加保持活动消息 (GH#2907) Matthew Rocklin
重写
Adaptive/SpecCluster以支持缓慢到达的工作者 (GH#2904) Matthew Rocklin断开连接时调用心跳而不是重新连接 (GH#2906) Matthew Rocklin
2.2.0 - 2019-07-31¶
在 LocalCluster 中尊重安全配置 (GH#2822) Russ Bubley
将保姆添加到工作文档 (GH#2826) Christian Hudon
在 SpecCluster repr 中包含类型名称 (GH#2834) Jacob Tomlinson
扩展 Prometheus 指标端点 (GH#2833) Gabriel Sailer
添加替代的 SSHCluster 实现 (GH#2827) Matthew Rocklin
不要在 get_worker 中重用已关闭的工作线程 (GH#2841) Pierre Glaser
SpecCluster: 将初始化逻辑移入启动 (GH#2850) Jacob Tomlinson
文档已分发。API 文档中重新安排 (GH#2860) James Bourbeau
将 fsspec 添加到测试构建的安装中 (GH#2859) Martin Durant
使 await/start 在 Scheduler/Worker/Nanny 之间更加一致 (GH#2831) Matthew Rocklin
为异步IO测试添加清理夹具 (GH#2866) Matthew Rocklin
在 Adaptive 中仅使用远程连接到调度器 (GH#2865) Matthew Rocklin
添加 Server.finished 异步函数 (GH#2864) Matthew Rocklin
在客户端HTML表示中对齐文本并移除项目符号 (GH#2867) Matthew Rocklin
测试 dask-scheduler –idle-timeout 标志 (GH#2862) Matthew Rocklin
在核心代码中用 async/await 替换 gen.coroutine (GH#2871) Matthew Rocklin
在每次测试前强制终止所有进程 (GH#2882) Matthew Rocklin
在 SpecCluster 缩减时移除未使用的变量 (GH#2870) Jacob Tomlinson
添加 SpecCluster ProcessInterface (GH#2874) Jacob Tomlinson
添加 Log(str) 和 Logs(dict) 类以获得美观的 HTML 表示 (GH#2875) Jacob Tomlinson
将 Client._asynchronous 传递给 Cluster._asynchronous (GH#2890) Matthew Rocklin
将默认日志方法添加到 Spec 集群 (GH#2889) Matthew Rocklin
将 processes 关键字重新加入 clean (GH#2891) Matthew Rocklin
更新 black (GH#2901) Matthew Rocklin
将 Worker.local_dir 属性移动到 Worker.local_directory (GH#2900) Matthew Rocklin
从 TapTools 链接到仪表板中的工作者信息页面 (GH#2894) Matthew Rocklin
在 Client._ensure_connected 中避免异常,如果已关闭 (GH#2893) Matthew Rocklin
将Pythonic的kwargs转换为SSHCluster的CLI关键词 (GH#2898) Matthew Rocklin
在CLI中使用kwargs (GH#2899) Matthew Rocklin
通过在 SpecCluster 中提供 name= 关键字来命名 SSHClusters (GH#2903) Matthew Rocklin
从调度器请求工作信息到 SpecCluster (GH#2902) Matthew Rocklin
清除兼容性文件 (GH#2896) Matthew Rocklin
移除未来导入 (GH#2897) Matthew Rocklin
在相关位置使用 click 的 show_default=True (GH#2838) Christian Hudon
更优雅地关闭工作者 (GH#2905) Matthew Rocklin
使用 –lifetime 关键字优雅地关闭工作者 (GH#2892) Matthew Rocklin
为 Client._repr_html_ 添加关闭 <li> 标签 (GH#2911) Matthew Rocklin
在日志中添加换行间距。_repr_html_ (GH#2912) Matthew Rocklin
2.1.0 - 2019-07-08¶
修复了阻止错误消息的拼写错误 (GH#2825) Russ Bubley
移除
dask-mpi(GH#2824) Matthew Rocklin在任务旅程文档中使用
update_graph的更新 (GH#2821) James Bourbeau修复
memory_info=None时的客户端表示 (GH#2816) Matthew Rocklin修复了键(而不是
TaskState)可能最终出现在ts.waiting_on中的情况 (GH#2819) tjb900使用仅关键字参数 (GH#2814) Matthew Rocklin
在集群上下文管理器中放宽对工作线程引用的检查 (GH#2813) Matthew Rocklin
使用
dask.utils.format_bytes(GH#2810) Tom Augspurger
2.0.1 - 2019-06-26¶
我们忽略了在 setup.py 文件中包含 python_requires=,导致 Python 2 用户错误地获取了 2.0.0 版本的包,造成了混淆。这个问题在 2.0.1 版本中得到了修复,并且我们已经从 PyPI 中移除了 2.0.0 版本的文件。
在 setup.py 中添加 python_requires 条目 (GH#2807) Matthew Rocklin
在TaskStream图中正确管理超出deque限制的任务 (GH#2797) Matthew Rocklin
修复 memory_limit=None 的诊断页面 (GH#2770) Brett Naul
2.0.0 - 2019-06-25¶
放弃对 Python 2 的支持
发布前放松警告 (GH#2796) Matthew Rocklin
弃用 –bokeh/–no-bokeh CLI (GH#2800) Tom Augspurger
在 dask-worker 的 bokeh service_kwargs 中的拼写错误 (GH#2783) Tom Augspurger
更新命令行 cli 选项文档 (GH#2794) James Bourbeau
从TLS文档中移除“experimental” (GH#2793) James Bourbeau
在 ncores= 关键字周围添加警告 (GH#2791) Matthew Rocklin
为调度器和工作器CLI添加–version选项 (GH#2782) Tom Augspurger
当工作线程初始化超时时引发 (GH#2784) Tom Augspurger
在整个代码库中将 ncores 替换为 nthreads (GH#2758) Matthew Rocklin
添加未知的 pytest 标记 (GH#2764) Tom Augspurger
延迟查找允许的失败。(GH#2761) Tom Augspurger
更改地址 -> 在 ColumnDataSource 中为 nbytes 图表的 worker (GH#2755) Matthew Rocklin
在 Prometheus 处理程序中移除模块状态 (GH#2760) Matthew Rocklin
为UCX添加压力测试 (GH#2759) Matthew Rocklin
添加保姆日志 (GH#2744) Tom Augspurger
将一些自适应逻辑移入调度器 (GH#2735) Matthew Rocklin
添加 SpecCluster.new_worker_spec 方法 (GH#2751) Matthew Rocklin
工作台修复 (GH#2747) Matthew Rocklin
将异步上下文管理器添加到调度器/工作器类中 (GH#2745) Matthew Rocklin
在发送图表之前修复资源键表示法(GH#2733) Michael Spiegel
在appveyor和python 3.5中使用pip固定pytest >=4 (GH#2737) Matthew Rocklin
添加实验性 UCX 通信 (GH#2591) Ben Zaitlen Tom Augspurger Matthew Rocklin
优雅地关闭保姆进程 (GH#2731) Matthew Rocklin
为进度条添加 kwargs (GH#2638) Manuel Garrido
恢复 LocalCluster.__repr__。 (GH#2732) Loïc Estève
将 bokeh 模块移至仪表板 (GH#2724) Matthew Rocklin
退出时关闭集群 (GH#2730) Matthew Rocklin
添加 SchedulerPlugin TaskState 示例 (GH#2622) Matt Nicolls
添加 SpecificationCluster (GH#2675) Matthew Rocklin
将 register_worker_callbacks 替换为 worker 插件 (GH#2453) Matthew Rocklin
从调度器仪表板代理工作器仪表板 (GH#2715) Ben Zaitlen
为 Scheduler.check_idle_saturated 添加文档字符串 (GH#2721) Matthew Rocklin
参考 Client 文档字符串中的 LocalCluster (GH#2719) Matthew Rocklin
移除 Scikit-Learn BaseEstimator 序列化的特殊处理 (GH#2713) Matthew Rocklin
修复了 Pub 类文档字符串中的两个拼写错误 (GH#2714) Magnus Nord
支持通过多个模块上传文件 (GH#2587) Sam Grayson
将主工作者的 bokeh 页面更改为 /status (GH#2689) Ben Zaitlen
在客户端中干净地停止周期性回调 (GH#2705) Matthew Rocklin
禁用进度、存储字节和任务处理图表的平移工具 (GH#2703) Mathieu Dugré
如果进程不再存在,则排除Nanny的内存监视器中的错误 (GH#2701) Matthew Rocklin
当工作者刚刚离开时处理心跳 (GH#2702) Matthew Rocklin
修改多工作者仪表板图表中直方图的样式 (GH#2695) Mathieu Dugré
添加方法以在继续之前等待n个工作进程 (GH#2688) Daniel Farrell
支持对延迟(None)的计算 (GH#2697) Matthew Rocklin
清理 localcluster (GH#2693) Matthew Rocklin
使用 dask.config 中的 ‘temporary-directory’ 作为 Worker 的目录 (GH#2654) Matthew Rocklin
移除对迭代器和队列的支持 (GH#2671) Matthew Rocklin
1.28.0 - 2019-05-08¶
为 TaskState 添加类型属性 (GH#2657) Matthew Rocklin
在进度标题栏中添加等待任务计数 (GH#2663) James Bourbeau
文档:清理对集群对象的引用 (GH#2664) K.-Michael Aye
允许调度器在关闭时礼貌地关闭工作进程 (GH#2651) Matthew Rocklin
在使用 Client 中的 get_worker 之前检查 direct_to_workers (GH#2656) Matthew Rocklin
关于在更简洁的情况下保持现有级别的固定评论 (GH#2655) Brett Randall
为调度器添加空闲超时 (GH#2652) Matthew Rocklin
避免弃用警告 (GH#2653) Matthew Rocklin
为反序列化函数使用LRU缓存(GH#2623) Matthew Rocklin
将 Worker._close 重命名为 Worker.close (GH#2650) Matthew Rocklin
添加 Comm 关闭记账 (GH#2648) Matthew Rocklin
在客户端文档字符串中解释 LocalCluster 行为 (GH#2647) Matthew Rocklin
将最后一个工作线程添加到 KilledWorker 异常中以帮助调试 (GH#2610) @plbertrand
为 dask-ssh 设置工作 worker 类 (GH#2646) Martin Durant
限制 test_spill_by_default 内存,重新启用它 (GH#2633) Peter Andreas Entschev
修复大于64MB的字节块的反序列化 (GH#2637) Peter Andreas Entschev
1.27.1 - 2019-04-29¶
自适应:当有任何空闲时推荐附近的工人(GH#2330)`Michael Delgado`_
增加 GC 阈值 (GH#2624) Matthew Rocklin
将 interface= 关键字添加到 LocalCluster (GH#2629) Matthew Rocklin
将 worker_class 参数添加到 LocalCluster (GH#2625) Matthew Rocklin
从测试矩阵中移除 Python 2.7 (GH#2631) Matthew Rocklin
将试验次数添加到 diskutils 测试中 (GH#2630) Matthew Rocklin
修复 LocalCluster 文档字符串中的参数名称 (GH#2626) Loïc Estève
集成堆栈跟踪以进行低级性能分析 (GH#2575) Peter Andreas Entschev
应用 Black 以标准化代码样式 (GH#2614) Matthew Rocklin
为 start_worker 命令添加了缺失的空白 (GH#2613) condoratberlin
将日志模块文档链接从 docs.python.org/2 更新为 docs.python.org/3。(GH#2635) Brett Randall
1.27.0 - 2019-04-12¶
改进了 –memory-limit 选项的描述准确性。(GH#2601) Brett Randall
在查看内存中的依赖任务时检查 self.dependencies (GH#2606) deepthirajagopalan7
添加 RabbitMQ SchedulerPlugin 示例 (GH#2604) Matt Nicolls
将资源添加到调度器 update_graph 插件 (GH#2603) Matt Nicolls
在 serialize_error 中使用 ensure_bytes (GH#2588) Matthew Rocklin
从 Worker 构造函数中显式指定数据存储 (GH#2600) Matthew Rocklin
将 bokeh 端口关键字更改为 dashboard_address (GH#2589) Matthew Rocklin
.detach_() pytorch 张量将数据序列化为 numpy 数组。(GH#2586) Muammar El Khatib
如果创建临时目录耗时过长,则添加警告 (GH#2561) Matthew Rocklin
修复发布-订阅文档中的拼写错误。(GH#2599) Loïc Estève
允许在 wait 中使用 return_when=’FIRST_COMPLETED’ (GH#2598) Nikos Tsaousis
使用 ensure_dict 代替 dict (GH#2594) James Bourbeau
在 LocalCluster 中指定协议 (GH#2489) Matthew Rocklin
1.26.1 - 2019-03-29¶
修复 LocalCluster 在每个工作线程过度提交线程时不过度分配内存的问题 (GH#2541) George Sakkis
使关闭操作对缺少地址具有弹性 (GH#2542) Matthew Rocklin
修复注释中的拼写错误 (GH#2546) Brett Jurman
修复了 Prometheus 指标的双重初始化 (GH#2544) Marco Neumann
在没有 bokeh 的情况下跳过 test_duplicate_clients。(GH#2553) Elliott Sales de Andrade
向服务器添加 blocked_handlers (GH#2556) Chris White
始终产生 Server.handle_comm 协程 (GH#2559) Tom Augspurger
使用 yaml.safe_load (GH#2566) Matthew Rocklin
从构建根目录获取可执行文件。(GH#2551) Elliott Sales de Andrade
修复 Torando 6 测试失败 (GH#2570) Matthew Rocklin
修复 test_sync_closed_loop (GH#2572) Matthew Rocklin
1.26.0 - 2019-02-25¶
更新样式以修复最近的 flake8 更新 (GH#2500) (GH#2509) Matthew Rocklin
修复 gen_cluster 日志消息中的拼写错误 (GH#2503) Loïc Estève
在关闭事件循环时允许 KeyError (GH#2498) Matthew Rocklin
避免对 TCP ThreadPoolExecutor 进行线程测试 (GH#2510) Matthew Rocklin
在关闭和发送消息时避免 AttributeError (GH#2514) Matthew Rocklin
在 dask_mpi.py 中添加弃用警告 (GH#2522) Julia Kent
放松统计分析测试 (GH#2527) Matthew Rocklin
支持替代的 –remote-dask-worker SSHCluster() 和 dask-ssh CLI (GH#2526) Adam Beberg
遍历过渡中的插件全列表 (GH#2518) Matthew Rocklin
创建 Prometheus 端点 (GH#2499) Adam Beberg
使用 pytest.importorskip 进行 Prometheus 测试 (GH#2533) Matthew Rocklin
MAINT 当未安装时跳过 Prometheus 测试 (GH#2534) Olivier Grisel
修复间歇性测试失败 (GH#2535) Matthew Rocklin
如果在 dask-ssh 中将 nprocs 关键字设置为 1,请避免使用 (GH#2531) Matthew Rocklin
将最小 Tornado 版本提升至 5.0
1.25.3 - 2019-01-31¶
修复缺失连接上的过度线程 (GH#2403) Daniel Farrell
修复文档中的拼写错误 (GH#2457) Loïc Estève
使用 LocalCluster 启动更少但更大的工作进程 (GH#2452) Matthew Rocklin
在
read循环中首先检查非零length(GH#2465) John Kirkham文档:脚本中使用本地集群 (GH#2462) Peter Killick
DOC/API: 基类写入/读取的签名 (GH#2472) Tom Augspurger
在测试中支持 Pytest 4 (GH#2478) Adam Beberg
在事件循环中确保异步行为使用 LocalCluster (GH#2484) Matthew Rocklin
修复虚假的 CancelledError (GH#2485) Loïc Estève
在关闭客户端时正确重置 dask.config 调度器和洗牌 (GH#2475) George Sakkis
更明确地指出资源是按每个工作者分配的。(GH#2470) Loïc Estève
移除对中心 (GH#2488) 的引用 Matthew Rocklin
在测试中将客户端清除超时时间扩展到10秒 (GH#2493) Matthew Rocklin
在进度条中传播关键关键词 (GH#2492) Matthew Rocklin
如果客户端中存在,则使用提供的集群的 IOLoop (GH#2494) Matthew Rocklin
1.25.2 - 2019-01-04¶
在异步模式下更好地清理LocalCluster日志 (GH#2448) Matthew Rocklin
如果无法导入 bokeh,则添加简短的错误消息 (GH#2444) Dirk Petersen
向Nanny添加可选的环境变量(GH#2431) Matthew Rocklin
使直接关键字文档字符串条目统一 (GH#2441) Matthew Rocklin
使 LocalCluster.close 对异步友好 (GH#2437) Matthew Rocklin
向 Client.run 文档字符串添加参数 (GH#2429) Matthew Rocklin
在 run/run_scheduler 中支持协程和 async-def 函数 (GH#2427) Matthew Rocklin
在 ThreadPoolExecutors 中命名线程 (GH#2408) Matthew Rocklin
1.25.1 - 2018-12-15¶
修复调度器文档字符串中的拼写错误 (GH#2393) Russ Bubley
DOC: 修正 distributed.worker.Worker 文档字符串中的拼写错误 (GH#2395) Loïc Estève
在大消息测试中使用 async-await (GH#2404) Matthew Rocklin
在上游修复 HighLevelGraph 后修复 redict 集合 (GH#2413) Matthew Rocklin
为 Lock.acquire() 添加一个阻塞参数 (GH#2412) Stephan Hoyer
修复长回溯测试 (GH#2417) Matthew Rocklin
将 x509 证书更新到当前 OpenSSL 标准。(GH#2418) Diane Trout
1.25.0 - 2018-11-28¶
修复了调度器仪表板主页上的404错误 (GH#2361) Michael Wheeler
将两个 Worker 类合并为一个 (GH#2363) Matthew Rocklin
避免在 pyarrow 和 msgpack 中的警告 (GH#2364) Matthew Rocklin
避免Actor的Future中的竞态条件 (GH#2374) Matthew Rocklin
在 Client.get_versions 中支持缺少的包关键字 (GH#2379) Matthew Rocklin
1.24.2 - 2018-11-15¶
添加对 Bokeh 1.0 的支持 (GH#2348) (GH#2356) Matthew Rocklin
避免弃用警告 (GH#2355) (GH#2357) Matthew Rocklin
修复了工作文档中的拼写错误 (GH#2349) Tom Rochette
1.24.1 - 2018-11-09¶
使用 tornado 的内置 AnyThreadLoopEventPolicy (GH#2326) Matthew Rocklin
调整 TLS 测试以适应 openssl 1.1 (GH#2331) Marius van Niekerk
如果在Jupyter笔记本服务器内,避免设置事件循环策略 (GH#2343) Matthew Rocklin
添加预加载脚本到配置 (GH#2325) Guillaume Eynard-Bontemps
为Numpy掩码数组添加序列化器 (GH#2335) Peter Killick
从worker获取客户端时使用worker SSL上下文。(GH#2301) 匿名
1.24.0 - 2018-10-26¶
从代码库中移除 Joblib Dask 后端 (GH#2298) Matthew Rocklin
在 Scheduler.restart 中包含 worker tls 协议 (GH#2295) Matthew Rocklin
适应新的 Bokeh 1.0 选择 (GH#2292) Matthew Rocklin
为 Future 和 Client 添加显式重试方法 (GH#2299) Matthew Rocklin
在 bokeh 链接中指向主工作页面 (GH#2300) Matthew Rocklin
在多次收集时限制并发 (GH#2303) Matthew Rocklin
添加 tls_cluster pytest 固定装置 (GH#2302) Matthew Rocklin
将 ConnectionPool.open 和 active 转换为属性 (GH#2304) Matthew Rocklin
将 joblib 页面重定向到 dask-ml (GH#2307) Matthew Rocklin
在错误信息中包含不可序列化的对象 (GH#2310) Matthew Rocklin
在 Python 3 中从 collections.abc 导入 Mapping, Iterator, Set (GH#2315) Gaurav Sheni
更新新的flake8 (GH#2321) Matthew Rocklin
1.23.3 - 2018-10-05¶
如果在dask序列化中出现错误,而不是NotImplementedError (GH#2251) Matthew Rocklin
在GraphLayout中防止优先级中缺少键 (GH#2259) Matthew Rocklin
不要在 Client.gather 中两次拉取数据 (GH#2263) Adam Klein
为集群测试添加 pytest 夹具 (GH#2262) Matthew Rocklin
清理 bokeh 回调 (GH#2261) (GH#2278) Matthew Rocklin
修复 memory_limit=None 的 bokeh 错误 (GH#2255) Brett Naul
在 Client.map 中将大型关键词放入任务图中 (GH#2281) Matthew Rocklin
从 protocol.numpy 中移除冗余的 blosc 线程代码 (GH#2284) Mike Gevaert
将ncores添加到workertable (GH#2289) Matthew Rocklin
支持上传无扩展名的文件 (GH#2290) Matthew Rocklin
1.23.2 - 2018-09-17¶
丢弃依赖而不是移除 (GH#2250) Matthew Rocklin
使用 dask_sphinx_theme Matthew Rocklin
删除 Bokeh 索引页面 (GH#2241) John Kirkham
恢复更改以保持链接相对 (GH#2242) Matthew Rocklin
docs: 修复 setup.rst 文件中损坏的 AWS 链接 (GH#2240) Vladyslav Moisieienkov
在 as_completed 中返回已取消的 futures (GH#2233) Chris White
1.23.1 - 2018-09-06¶
在客户端之间混合futures时引发信息性错误 (GH#2227) Matthew Rocklin
在 unpack_remotedata 调用中添加 byte_keys (GH#2232) Matthew Rocklin
为 get_task_stream 的 gist/rawgit 添加文档 (GH#2236) Matthew Rocklin
安静地关闭客户端,等待调度器停止信号 (GH#2237) Matthew Rocklin
在不同屏幕尺寸上优雅地显示系统图表 (GH#2239) Derek Ludwig
在 TaskStreamPlugin.rectangles 中变异传入的 workers 字典 (GH#2238) Matthew Rocklin
1.23.0 - 2018-08-30¶
将 direct_to_workers 添加到 Client Matthew Rocklin
将 Scheduler.proxy 添加到 workers Matthew Rocklin
实现 Actors Matthew Rocklin
修复工具提示 (GH#2168) Loïc Estève
修复比例 / 避免返回协程 (GH#2171) Joe Hamman
在TCP通信中连接所有小消息的字节 (GH#2172) Matthew Rocklin
添加 dashboard_link 属性 (GH#2176) Jacob Tomlinson
始终卸载到_frames (GH#2170) Matthew Rocklin
如果所需端口已被使用,则发出警告 (GH#2191) (GH#2199) Matthew Rocklin
为事件循环线程添加配置文件页面 (GH#2144) Matthew Rocklin
使用 dispatch 进行 dask 序列化,同时添加 sklearn, pytorch (GH#2175) Matthew Rocklin
处理繁忙信号的边缘情况 (GH#2182) Matthew Rocklin
在查看内存中的任务时检查 self.dependencies (GH#2196) Matthew Rocklin
添加从每个工作线程记录额外自定义指标的能力 (GH#2169) Loïc Estève
修复当端口是元组时的格式问题 (GH#2204) Loïc Estève
描述什么是 ZeroMQ (GH#2211) Mike DePalatis
微小拼写错误修复 (GH#2214) Anderson Banihirwe
将 Python 3.7 添加到 travis.yml (GH#2203) Matthew Rocklin
添加 plot= 关键字到 get_task_stream (GH#2198) Matthew Rocklin
在 Client.get_versions 中添加对可选版本的支持 (GH#2216) Matthew Rocklin
在仪表板中为单独的 Bokeh 图添加路由 (GH#2185) Matthew Rocklin
在忙音后对缺失的依赖项保持弹性 (GH#2217) Matthew Rocklin
使用 CSS Grid 在仪表板上布局状态页面 (GH#2213) Derek Ludwig 和 Luke Canavan
修复主 ioloop 线程上的队列反序列化 (GH#2221) Matthew Rocklin
添加一个工作初始化函数 (GH#2201) Guillaume Eynard-Bontemps
在仪表板中折叠导航栏 (GH#2223) Luke Canavan
1.22.1 - 2018-08-03¶
向 Nanny 添加 worker_class= 关键字以支持不同的工作类型 (GH#2147) Martin Durant
清理间歇性工作失败 (GH#2152) (GH#2146) Matthew Rocklin
修复 msgpack 的 PendingDeprecationWarning 对于 encoding=’utf-8’ (GH#2153) Olivier Grisel
使用哈希函数使 Bokeh 着色确定性 (GH#2143) Matthew Rocklin
允许客户端查询任务流图 (GH#2122) Matthew Rocklin
在线程名称中使用PID和计数器 (GH#2084) (GH#2128) Dror Birkman
测试在取消后工作限制是否被清除 (GH#2107) Matthew Rocklin
在 graph_to_futures 中扩展资源 (GH#2131) Matthew Rocklin
为 pyarrow 添加自定义序列化支持 (GH#2115) Dave Hirschfeld
更新 dask-scheduler cli 帮助文本以支持预加载 (GH#2120) Matt Nicolls
添加了另一个嵌套并行测试 (GH#1710) Tom Augspurger
默认在 TextProgressBar 后插入换行符 (GH#1976) Phil Tooley
从规模中退休工人 (GH#2104) Matthew Rocklin
允许工作者在忙碌时拒绝数据请求(GH#2092) Matthew Rocklin
不要忘记已发布的键 (GH#2098) Matthew Rocklin
更新停止工作线程的示例 (GH#2088) John Kirkham
从日志消息中移除了内存终止分数的硬编码值 (GH#2096) Bartosz Marcinkowski
调整工作文档以适应配置文件位置和处理方式的更改 (GH#2094) Aurélien Ponte
优先从同一主机收集数据 (GH#2090) Matthew Rocklin
处理反序列化通信中的异常并带有文本错误 (GH#2093) Matthew Rocklin
修复文档字符串中的拼写错误 (GH#2087) Loïc Estève
为序列化函数提供通信上下文 (GH#2054) Matthew Rocklin
允许在 publish_dataset 中显式传递 name (GH#1995) Marius van Niekerk
避免在 yield 点附近访问 Worker.scheduler_delay (GH#2074) Matthew Rocklin
在格式化字节中支持 TB 和 PB (GH#2072) Matthew Rocklin
为 Python 2 中的 as_completed 循环添加测试 (GH#2071) Matthew Rocklin
允许在没有集群的情况下存在自适应 (GH#2064) Matthew Rocklin
让工作数据传输等待接收方确认 (GH#2052) Matthew Rocklin
在 Client.sync 中支持 async def 函数 (GH#2070) Matthew Rocklin
将异步参数添加到 LocalCluster 的文档字符串中 Matthew Rocklin
在比较之前规范化地址 (GH#2066) Tom Augspurger
使用 ConnectionPool 为 Worker.scheduler Matthew Rocklin
避免在 str_graph 中出现引用循环 Matthew Rocklin
在 gather 中将数据拉出 while 循环 (GH#2059) Matthew Rocklin
1.22.0 - 2018-06-14¶
全面配置 (GH#1948) Matthew Rocklin
将 get= 关键字替换为 scheduler= (GH#1959) Matthew Rocklin
在 msgpack 中使用元组 (GH#2000) Matthew Rocklin 和 Marius van Niekerk
统一处理高容量连接 (GH#1970) Matthew Rocklin
在 joblib 连接器中自动分散大参数 (GH#2020) (GH#2030) Olivier Grisel
将 click Python 3 区域设置失败转换为警告 (GH#2001) Matthew Rocklin
依赖于 dask 的 sizeof 实现 (GH#2042) Matthew Rocklin
用 workers.values() 替换已弃用的 workers.iloc (GH#2013) Grant Jenks
介绍序列化家族 (GH#1912) Matthew Rocklin
添加 PubSub (GH#1999) Matthew Rocklin
将 Dask 样式表添加到文档 Matthew Rocklin
避免在部分完成的结果上重新计算 (GH#1840) Matthew Rocklin
在测试中使用 sys.prefix 进行 popen (GH#1954) Matthew Rocklin
在清单中包含yaml文件 Matthew Rocklin
使用 self.sync 以便 Client.processing 在异步上下文中工作 (GH#1962) Henry Doupe
修复关闭客户端时的错误repr (GH#1965) Matthew Rocklin
解析 dask-worker 中的 –death-timeout 关键字 (GH#1967) Matthew Rocklin
在 BatchedSend 中支持序列化器 (GH#1964) Matthew Rocklin
使用正常的序列化机制来序列化发布的数据集(GH#1972)`Matthew Rocklin`_
为 LocalCluster 添加安全支持。(GH#1855) Marius van Niekerk
添加 ConnectionPool.remove 方法 (GH#1977) Tony Lorenzo
调度器关闭时干净地关闭工作线程 (GH#1981) Matthew Rocklin
将comm添加到包中 (GH#1980) Matthew Rocklin
用 dask.config.set 替换 dask.set_options Matthew Rocklin
排除没有 .iloc 的 sortedcontainers 版本。(GH#1993) Russ Bubley
在 PyPy 下排除 gc 统计信息 (GH#1997) Marius van Niekerk
在 dask 中管理最近的配置和数据框更改 (GH#2009) Matthew Rocklin
在测试中清理残留的客户端 (GH#2012) Matthew Rocklin
在 Client._ensure_connected 过程中使用超时 (GH#2011) Martin Durant
避免在 joblib 后端中的引用循环 (GH#2014) Matthew Rocklin, 还有 Olivier Grisel
DOC: 修复测试示例 (GH#2017) Tom Augspurger
向 Adaptive 添加 worker_key 参数 (GH#1992) Matthew Rocklin
在字符串化之前,优先处理任务的真实键 (GH#2006) Matthew Rocklin
通过正常渠道序列化工作异常 (GH#2016) Matthew Rocklin
在进度条中包含异常 (GH#2028) Matthew Rocklin
避免在所有情况下记录孤立的未来 (GH#2008) Matthew Rocklin
如果我们不溢出到磁盘,请不要使用溢出到磁盘的字典 Matthew Rocklin
仅在键存在时避免重新计算 (GH#2036) Matthew Rocklin
在进度中使用客户端连接和序列化参数 (GH#2035) Matthew Rocklin
在关闭上下文管理器时重新加入工作客户端 (GH#2041) Matthew Rocklin
避免在失去依赖时忘记出错的任务 (GH#2047) Matthew Rocklin
避免 graph_layout 中的冲突 (GH#2050) Matthew Rocklin
避免在配置文件图中递归调用 bokeh 回调 (GH#2048) Matthew Rocklin
1.21.8 - 2018-05-03¶
移除错误的打印语句 (GH#1957) Matthew Rocklin
仅添加一次 reevaluate_occupancy 回调 (GH#1953) Tony Lorenzo
1.21.7 - 2018-05-02¶
doctest 渲染需要换行 (GH#1917) Loïc Estève
在异步模式下支持 Client._repr_html_ (GH#1909) Matthew Rocklin
向 dask-ssh 命令添加参数 (GH#1910) Irene Rodriguez
净化 get_dataset 跟踪 (GH#1888) John Kirkham
修复队列无法干净清理的错误 (GH#1922) Matthew Rocklin
安全删除上传文件中的缓存文件 (GH#1921) Matthew Rocklin
在测试中关闭 tornado IOLoop 时接受 KeyError (GH#1937) Matthew Rocklin
在 gather(…, errors=’skip’) 时静默客户端和调度器 (GH#1936) Matthew Rocklin
澄清无法收集键的警告 (GH#1942) Kenneth Koski
在 joblib 中支持提交关键词 (GH#1947) Matthew Rocklin
避免在 bokeh 服务器中使用外部资源 (GH#1934) Matthew Rocklin
从 Datasets 中移除 __contains__ (GH#1889) John Kirkham
修复队列超时问题 (GH#1950) Matthew Rocklin
将 msgpack-python 替换为 msgpack (GH#1927) Loïc Estève
1.21.6 - 2018-04-06¶
修复数值环境变量配置 (GH#1885) Joseph Atkins-Kurkish
在较旧的lz4库中支持bytearrays (GH#1886) Matthew Rocklin
在保姆中移除启动超时 (GH#1852) Matthew Rocklin
不要在同步中记录错误 (GH#1894) Matthew Rocklin
将过期锁警告降级为信息日志级别 (GH#1890) Matthew Rocklin
修复
key的UnboundLocalError(GH#1900) John Kirkham解决Python 2中的部署问题 (GH#1905) Matthew Rocklin
在 Client.get 方法中支持重试和优先级 (GH#1902) Matthew Rocklin
如果适用,向任务页面添加额外属性 (GH#1901) Matthew Rocklin
为 as_completed 添加 count 方法 (GH#1897) Matthew Rocklin
将默认超时时间延长至10秒 (GH#1904) Matthew Rocklin
1.21.5 - 2018-03-31¶
将默认允许的滴答时间增加到3秒 (GH#1854) Matthew Rocklin
当另一个工作者有数据时处理错误的工作者 (GH#1853) Matthew Rocklin
在Nanny中关闭多进程队列以减少打开的文件描述符 (GH#1862) Matthew Rocklin
将保姆启动超时时间延长至30秒,使其可配置 (GH#1865) Matthew Rocklin
注释掉默认配置文件 (GH#1871) Matthew Rocklin
更新以修复 bokeh 0.12.15 更新错误 (GH#1872) Matthew Rocklin
将事件循环无响应警告降级为INFO级别 (GH#1870) Matthew Rocklin
添加fifo超时以控制优先级生成 (GH#1828) Matthew Rocklin
在客户端添加 retire_workers API (GH#1876) Matthew Rocklin
在Nanny.memory_monitor中捕获NoSuchProcess错误 (GH#1877) Matthew Rocklin
将uid添加到nanny队列通信中 (GH#1880) Matthew Rocklin
1.21.4 - 2018-03-21¶
避免将字节数组传递给snappy解压缩 (GH#1831) Matthew Rocklin
在 Adaptive 中指定 IOLoop (GH#1841) Matthew Rocklin
在整个客户端中使用 connect-timeout 配置值 (GH#1839) Matthew Rocklin
在 Client.get 中支持 direct= 关键字参数 (GH#1845) Matthew Rocklin
1.21.3 - 2018-03-08¶
添加集群超类并改进适应性 (GH#1813) Matthew Rocklin
修复测试并支持 Tornado 5.0 的 Python 2 版本 (GH#1818) Matthew Rocklin
修复了当依赖项被删除时 recreate_error 中的错误 (GH#1815) Matthew Rocklin
在调度器中添加工作者的生存时间 (GH#1811) Matthew Rocklin
基于总占用率的尺度自适应 (GH#1807) Matthew Rocklin
支持在 worker_client 中调用 compute (GH#1814) Matthew Rocklin
在配置文件图中添加百分比 (GH#1817) Brett Naul
dask-ssh 中远程 python 的覆盖选项 (GH#1812) Sven Kreiss
1.21.2 - 2018-03-05¶
修复了在窃取时未检查空闲/饱和状态的错误 (GH#1801) Matthew Rocklin
修复了调度器意外关闭时客户端发出噪音的错误 (GH#1806) Matthew Rocklin
在各处使用基于字符串的时间差(如
'500 ms')(GH#1804) Matthew Rocklin即使在静音状态下,调度器和工作节点也要保持日志记录 (GH#1803) Matthew Rocklin
在 Adaptive 中支持 minimum, maximum, wait_count 关键字 (GH#1797) Jacob Tomlinson 和 Matthew Rocklin
为 LocalCluster 支持异步协议,用 asynchronous= 替换 start= (GH#1798) Matthew Rocklin
避免在保姆等待调度器时重启工作者 (GH#1793) Matthew Rocklin
在可用时使用
IOStream.read_into()(GH#1477) Antoine Pitrou将 LocalCluster 日志阈值从 CRITICAL 降低到 WARN (GH#1785) Andy Jones
将 futures_of 添加到 API 文档 (GH#1783) John Kirkham
使客户端中的诊断链接可配置 (GH#1810) Matthew Rocklin
1.21.1 - 2018-02-22¶
修复了在使用仅包含线程的
LocalCluster时distributed.joblib中的未捕获异常 (GH#1775) Tom Augspurger在信息工作者页面中格式化字节 (GH#1752) Matthew Rocklin
使用新的 LZ4 API (GH#1757) Thrasibule
将 dask.optimize 替换为 dask.optimization (GH#1754) Matthew Rocklin
添加图形布局引擎和Bokeh绘图 (GH#1756) Matthew Rocklin
只有在名称存在时才使用 –nprocs 扩展名称 (GH#1776) Matthew Rocklin
指定 IOLoop 以窃取 PeriodicCallback (GH#1777) Matthew Rocklin
修复了没有进程的 distributed.joblib Tom Augspurger
使用 set.discard 避免在窃取中出现 KeyErrors (GH#1766) Matthew Rocklin
在窃取期间任务已被释放时避免 KeyError (GH#1765) Matthew Rocklin
添加版本路由以避免在 Client.get_versions 中使用 run (GH#1773) Matthew Rocklin
在客户端中添加 write_scheduler_file (GH#1778) Joe Hamman
如果提供了TLS信息,则默认主机为 tls:// (GH#1780) Matthew Rocklin
1.21.0 - 2018-02-09¶
重构调度器以使用 TaskState 对象而不是字典 (GH#1594) Antoine Pitrou
在workers页面中绘制CPU占总数的比例 (GH#1624) Matthew Rocklin
在限流GC中使用线程CPU时间 (GH#1625) Antoine Pitrou
修复
memory_limit=None的错误 (GH#1639) Matthew Rocklin将 futures_of 添加到顶级 API (GH#1646) Matthew Rocklin
在客户端序列化大数据时发出警告 (GH#1636) Matthew Rocklin
修复删除锁文件时偶尔发生的Windows故障 (GH#1652) Antoine Pitrou
添加对不良GC行为的诊断和日志记录 (GH#1635) Antoine Pitrou
添加客户端调度器心跳 (GH#1657) Matthew Rocklin
在
retire_workers中返回工作者信息 (GH#1659) Matthew Rocklin确保 dumps_function 与不可哈希函数一起工作 (GH#1662) Matthew Rocklin
从 client-name 配置变量中收集客户端名称ID (GH#1664) Matthew Rocklin
允许在 dask-worker 中同时使用 –name 和 –nprocs (GH#1665) Matthew Rocklin
在worker和client之间共享调度器RPC (GH#1673) Matthew Rocklin
改进 get_client 和 dask.compute 示例的文档 (GH#1638) Scott Sievert
在worker中支持DASK_SCHEDULER_ADDRESS环境变量 (GH#1680) Matthew Rocklin
在重试中支持元组键 (GH#1681) Matthew Rocklin
在bokeh仪表盘中使用相对链接 (GH#1682) Matthew Rocklin
使消息日志长度可配置,默认为零 (GH#1691) Matthew Rocklin
弃用
Client.shutdown(GH#1699) Matthew Rocklin在配置文档中添加警告以安装 pyyaml (GH#1701) Cornelius Riemenschneider
在 distributed.joblib 中处理嵌套并行 (GH#1705) Tom Augspurger
在重启进程时不要等待 Worker.executor 干净地关闭 (GH#1708) Matthew Rocklin
添加对用户定义优先级的支持 (GH#1651) Matthew Rocklin
捕获并记录工作锁文件周围的 OSErrors (GH#1714) Matthew Rocklin
移除工作者的优先级。与 dask.order 的更改相符 (GH#1730) Matthew Rocklin
在Bokeh仪表板中使用进程测量的内存,而不是nbytes (GH#1737) Matthew Rocklin
启用锁的序列化 (GH#1738) Matthew Rocklin
支持 Tornado 5 测试版 (GH#1735) Matthew Rocklin
允许服务端口指定为 (主机, 端口) (GH#1744) Bruce Merry
1.20.2 - 2017-12-07¶
每次测试后清除 deque 处理程序 (GH#1586) Antoine Pitrou
在 FutureState.set_error 中处理反序列化 (GH#1592) Matthew Rocklin
在测试中添加进程泄漏检查器 (GH#1596) Antoine Pitrou
为子进程自定义进程标题 (GH#1590) Antoine Pitrou
将代码检查设为单独的CI任务 (GH#1599) Antoine Pitrou
移除 Worker.host_health,修正 WorkerTable 指标 (GH#1600) Matthew Rocklin
在调用 retire_workers 时不要将任务标记为可疑。解决 (GH#1607) Russ Bubley
不要在 workers_to_close 中包含处理工作器 (GH#1609) Russ Bubley
在自适应中禁止同时进行扩容和缩容 (GH#1608) Russ Bubley
解析 –memory-limit 中的字节串 (GH#1615) Matthew Rocklin
如果存在,使用环境变量作为调度器地址 (GH#1610) Matthew Rocklin
修复来自 logger.warn 的弃用警告 (GH#1616) Brett Naul
1.20.1 - 2017-11-26¶
在ssl-crippled环境中,使用try-except块包裹``import ssl``语句,(GH#1570) Xander Johnson
在Nanny中支持零内存限制 (GH#1571) Matthew Rocklin
避免 PeriodicCallback 双重启动 (GH#1573) Matthew Rocklin
添加一次性工作区功能 (GH#1543) Antoine Pitrou
在任务流图中使用 format_time (GH#1575) Matthew Rocklin
避免在计算中延迟的最终调用 (GH#1577) Matthew Rocklin
关于脱离的文档修复 (GH#1583) Scott Sievert
在跟踪测试泄漏时添加 tracemalloc 选项 (GH#1585) Antoine Pitrou
将JSON路由添加到Bokeh服务器 (GH#1584) Matthew Rocklin
在变量和队列中干净地处理异常 (GH#1580) Matthew Rocklin
1.20.0 - 2017-11-17¶
放弃使用 pandas.msgpack (GH#1473) Matthew Rocklin
添加获取/设置调度器元数据的方法 Matthew Rocklin
添加分布式锁 Matthew Rocklin
为工作任务添加重新调度异常 Matthew Rocklin
修复
bytearrays的nbytes()Matthew Rocklin捕获调度器和工作日志 Matthew Rocklin
在高工作内存使用时,数据驱逐后进行垃圾回收 (GH#1488) Olivier Grisel
将调度器HTML路由添加到Bokeh服务器(GH#1478)(GH#1514) Matthew Rocklin
添加 pytest 插件以测试资源泄漏 (GH#1499) Antoine Pitrou
改进调度器状态的文档 (GH#1498) Antoine Pitrou
在 ThrottledGC 中正确设置 warn_if_longer 超时 (GH#1496) Fabian Keller
在已取消的 futures 上捕获 as_completed 中的竞争条件 (GH#1507) Matthew Rocklin
事务性工作窃取 (GH#1489) (GH#1528) Matthew Rocklin
避免在 PyPy 中使用 forkserver (GH#1509) Matthew Rocklin
添加字典访问以获取/设置数据集 (GH#1508) Mike DePalatis
支持 Tornado 5 (GH#1509) (GH#1512) (GH#1518) (GH#1534) Antoine Pitrou
使用新的 Dask 集合接口 (GH#1513) Matthew Rocklin
为 dask-mpi 添加保姆标志 Matthew Rocklin
移除基于JSON的HTTP服务器 Matthew Rocklin
避免在 repr/str 中进行 I/O (GH#1536) Matthew Rocklin
修复 MPI4Py 项目的 URL (GH#1546) Ian Hopkinson
允许自动重试失败的任务 (GH#1524) Antoine Pitrou
清理和加速测试 (GH#1548) (GH#1549) (GH#1552) (GH#1553) (GH#1560) (GH#1564) Antoine Pitrou
改进元组内任务的诊断命名 (GH#1566) Kelvyn Yang
1.19.3 - 2017-10-16¶
1.19.2 - 2017-10-06¶
as_completed 不会阻塞已取消的 futures (GH#1436)
在取消时通知等待的线程/协程 (GH#1438)
将 Future(inform=True) 设为默认值 (GH#1437)
将 Scheduler.transition_story 重命名为 story (GH#1445)
未来默认使用默认客户端 (GH#1449)
在 Client.call_stack 中添加 keys= 关键字 (GH#1446)
向worker添加get_current_task (GH#1444)
在 ioloop 启动前确保 Client 保持异步 (GH#1452)
在bokeh图中移除“点击查看工人页面” (GH#1453)
添加 Client.current() (GH#1450)
重启超时的干净处理 (GH#1442)
1.19.0 - 2017-09-24¶
避免在消息日志中存储消息(GH#1361)
fileConfig 不会禁用现有的记录器 (GH#1380)
将 upload_file 磁盘 I/O 卸载到单独的线程 (GH#1383)
添加缺失的 SSLContext (GH#1385)
从 sys._curent_frames 收集工作线程信息 (GH#1387)
添加保姆超时 (GH#1395)
如果内存使用超过95%,则重启工作进程(GH#1397)
使用 psutil 跟踪工人的内存使用情况 (GH#1398)
在工作者中跟踪调度器延迟时间 (GH#1400)
在配置文件图中添加时间滑块 (GH#1403)
将 memory-limit 关键字改为指代最大字节数 (GH#1405)
添加
cancel(force=)关键字 (GH#1408)
1.18.2 - 2017-09-02¶
1.18.1 - 2017-08-25¶
清理在“发射后不管”工作负载中被遗忘的键 (GH#1250)
处理缺失的扩展 (GH#1263)
允许在持久化集合上重新创建异常 (GH#1253)
向阻塞客户端方法添加异步=关键字 (GH#1272)
限制在bokeh图表中的水平平移 (GH#1274)
将 client.shutdown 重命名为 client.close (GH#1275)
避免阻塞事件循环 (GH#1270)
避免 Client.get_versions 的 cloudpickle 错误 (GH#1279)
在 Tornado IOStream.write 未来对象上产生 (GH#1289)
如果在同步语句内,则假设异步行为(GH#1284)
为 get_client 添加 timeout= 关键字 (GH#1290)
重启时尊重超时设置 (GH#1304)
测试中的文件描述符和内存泄漏清理 (GH#1317)
弃用执行器 (GH#1302)
为 ThreadPoolExecutor.shutdown 添加超时 (GH#1330)
清理 AsyncProcess 处理 (GH#1324)
在Python 2调度器中允许使用Unicode键 (GH#1328)
避免泄露被盗数据 (GH#1326)
使自适应更加灵活
在worker中支持
--contact-address和--listen-address(GH#1278)移除旧的 dworker, dscheduler 可执行文件 (GH#1355)
如果保姆进程失败,则退出工作进程(GH#1345)
自动 pep8 和 flake (GH#1353)
1.18.0 - 2017-07-08¶
1.17.1 - 2017-06-14¶
1.17.0 - 2017-06-09¶
更新 Keras 序列化器 (GH#1067)
当传递
--local-directory时,始终创建新的工作目录 (GH#1079)在使用 joblib 前端时支持预散布数据 (GH#1022)
向
as_completed添加is_empty和update方法 (GH#1113)移除
_get协程并用get(..., sync=False)替换 (GH#1109)支持直接客户端到工作者的分散和收集(GH#1130),以及在分散数据时的性能增强
Future 和 Client 对象的 HTML reprs (GH#1136)
在 client.compute 中支持嵌套集合 (GH#1144)
在异步模式下使用普通客户端API (GH#1152)
移除旧的 distributed.collections 子模块 (GH#1153)
1.16.3 - 2017-05-05¶
1.16.2 - 2017-05-03¶
支持
async with Client语法 (GH#1053)使用内部 bokeh 服务器作为默认诊断服务器 (GH#1047)
支持稀疏数组的高效序列化 (GH#1040)
在工作者中优先处理新到达的工作 (GH#1035)
使用joblib后端预分散数据 (GH#1022)
使 client.restart 对 worker 故障更具鲁棒性 (GH#1018)
支持在 dask-worker 或 dask-scheduler 进程中预加载模块或脚本 (GH#1016)
在命令行界面中指定网络接口 (GH#1007)
Client.scatter 支持单个元素 (GH#1003)
在所有通过通讯的内存视图上使用blosc压缩(GH#998)
添加兼容 concurrent.futures 的 Executor (GH#997)
允许 worker_clients 选择性地保持在线程池中 (GH#993)
添加字节存储和任务处理诊断直方图 (GH#990)
Run 支持非 msgpack 可序列化的结果 (GH#965)
1.16.1 - 2017-03-22¶
1.16.0 - 2017-02-24¶
1.15.2 - 2017-01-27¶
1.15.1 - 2017-01-11¶
1.15.0 - 2017-01-02¶
主要 Worker 重构 (GH#704)
在
Client.get_versions中添加check选项(默认值为False),以在客户端、调度器和工作者版本不匹配时引发异常 (GH#664)Future.add_done_callback在单独的线程中执行 (GH#656)清理 numpy 序列化 (GH#670)
支持Tornado v4.5协程的序列化 (GH#673)
在 Python 2 中使用 CPickle 而不是 Pickle (GH#684)
在Python 3中使用Forkserver而不是Fork在Unix上 (GH#687)
添加TCP超时 (GH#697)
为Windows添加更精确的计时器 (GH#713)
添加 Versioneer (GH#715)
在工作者上运行 Tornado 协程
避免在 Pandas 数据帧上进行缓慢的 sizeof 调用 (GH#758)
1.14.2 - 2016-11-11¶
1.14.0 - 2016-11-03¶
1.13.3 - 2016-10-15¶
调度器可以干净地退役工作线程
为
concurrent.futures兼容性添加Future.add_done_callback更新网页界面以与 Bokeh 0.12.3 保持一致
显式关闭流,避免竞争条件,并在Windows上支持更强大的重启。
改进了 dask.dataframe 的洗牌性能
添加自适应分配集群管理器
在处理大量工人时减少行政开销
dask-ssh --log-directory .不再报错调度器的微性能调优
1.13.2¶
将 dask_worker 默认改为使用 fork 而不是 subprocess
Scatter 保留类型信息
Bokeh 总是使用子进程而不是 spawn
1.13.1¶
修复 dask_worker 可执行文件的严重 Windows 错误
1.13.0¶
将 Executor 重命名为 Client (GH#492)
为
dask-worker添加--memory-limit选项,当内存不足时启用溢出到磁盘的行为 (GH#485)为 dask-worker 添加
--pid-file选项,并为--dask-scheduler添加 (GH#496)添加
upload_environment函数以分发 conda 环境。这是实验性的,未记录,并且可能会在没有通知的情况下更改。 (GH#494)在
Client.compute和Client.persist中添加workers=关键字参数,支持使用 Dask 集合的受位置限制的工作负载 (GH#484)添加
upload_environment函数以分发 conda 环境。这是实验性的,未记录,并且可能会在没有通知的情况下更改。 (GH#494)向
client.run函数添加可选的dask_worker=关键字,该关键字将提供 worker 或 nanny 对象向
Client.run添加nanny=False关键字,允许在保姆进程以及普通工作进程上执行任意函数。
1.12.2¶
此版本添加了一些新功能并移除了无用代码
1.12.1¶
此次发布主要是修复错误,恢复之前的重大重构。
- 来自之前重构的修复
确保客户端间的幂等性
压力测试永久丢失分散数据
- IPython 修复
向 Executor 添加
start_ipython_scheduler方法为工作者添加
%remote魔法清理代码和测试
池连接以保持重用并减少打开的文件句柄数量
重新实现工作窃取算法
支持取消元组键,例如在 dask.arrays 中出现的情况
开始同步可能多余的工作者数据
- 改进 bokeh 图表样式
添加内存图表跟踪字节数
使进度条更紧凑并调整颜色
添加 workers/ 页面,包含 workers 表格、stacks/processing 图表和内存
添加此发布说明文档
1.12.0¶
此版本主要是一个重构版本。内部结构发生了显著变化,但新增功能不多。
对调度器进行了重大重构,以使用过渡系统
调整协议以遍历复杂消息,搜索大型字节串
添加 dask-submit 和 dask-remote
重构 HDFS 写入以适应 dask 库的更改
执行器在连接中断或调度器失败时重新连接到调度器
支持 sklearn.external.joblib 以及普通的 joblib