cupy.cuda.ExternalStream#

class cupy.cuda.ExternalStream(ptr, device_id=-1)[源代码]#

CUDA 流不由 CuPy 管理。

此类允许通过提供从CUDA运行时调用获得的流指针，在CuPy中使用外部流。用户负责管理流的生存周期。

参数:

  • ptr (intptr_t) – cudaStream_t 对象的地址。

  • device_id (int) – 创建流的设备的ID。默认值为 -1，表示未知。

变量:

  • ~Stream.ptr (intptr_t) – 原始流句柄。

  • ~Stream.device_id (int) – 创建流的设备的ID。值 -1 用于表示该ID未知。

警告

如果未指定 device_id ，用户需要确保流的合法操作。具体来说，流必须在其创建的设备上使用。

方法

__enter__(self)#
__exit__(self, *args)#
add_callback(self, callback, arg)#

添加一个回调函数，当所有排队的工作完成后调用。

参数:

  • callback (function) – 回调函数。它必须接受三个参数（Stream 对象、int 错误状态和用户数据对象），并且不返回任何内容。

  • arg (object) – 回调的参数。

备注

如果可能，请使用 launch_host_func() 方法，而不是这个方法，因为它可能会在某个时候从CUDA中被弃用并移除。

begin_capture(self, mode=None)#

开始流捕获以构建 CUDA 图。

对该函数的调用必须与对 end_capture() 的调用配对，以完成捕获。

# create a non-blocking stream for the purpose of capturing
s1 = cp.cuda.Stream(non_blocking=True)
with s1:
    s1.begin_capture()
    # ... perform operations to construct a graph ...
    g = s1.end_capture()

# the returned graph can be launched on any stream (including s1)
g.launch(stream=s1)
s1.synchronize()

s2 = cp.cuda.Stream()
with s2:
    g.launch()
s2.synchronize()
参数:

mode (int) – 流捕获模式。默认是 streamCaptureModeRelaxed。

备注

在流捕获期间，不允许同步设备到主机的传输。这对CuPy API有特定的影响，因为一些内部需要同步传输的函数将无法按预期工作，并会引发异常。有关CUDA流捕获的进一步限制，请参阅CUDA编程指南。

备注

目前，此功能在HIP上不受支持。

参见

cudaStreamBeginCapture()

end_capture(self)#

结束流捕获并检索构建的CUDA图。

返回:

一个封装了捕获工作的CUDA图对象。

返回类型:

cupy.cuda.Graph

备注

目前，此功能在HIP上不受支持。

参见

cudaStreamEndCapture()

is_capturing(self)#

检查流是否正在捕获。

返回:

如果成功查询捕获状态，返回值表示捕获状态。如果查询非法，可能会引发异常，详情请参阅 CUDA 编程指南。

返回类型:

bool

launch_host_func(self, callback, arg)#

当所有排队的工作完成后，在主机上启动回调。

参数:

  • callback (function) – 回调函数。它必须只接受一个参数（用户数据对象），并且不返回任何内容。

  • arg (object) – 回调的参数。

备注

如果可能，建议使用此方法，而不是 add_callback()，后者可能会在某个时候从CUDA中弃用并移除。

参见

cudaLaunchHostFunc()

record(self, event=None)#

在流上记录一个事件。

参数:

event (None or cupy.cuda.Event) – CUDA 事件。如果为 None ，则创建并使用一个新的普通事件。

返回:

记录的事件。

返回类型:

cupy.cuda.Event

参见

cupy.cuda.Event.record()

synchronize(self)#

等待流完成所有排队的工作。

use(self)#

使此流成为当前流。

如果你想暂时切换一个流，请使用 with 语句。

wait_event(self, event)#

使流等待一个事件。

此流的未来工作将在活动之后进行。

参数:

event (cupy.cuda.Event) – CUDA 事件。

__eq__(self, other)#
__ne__(value, /)#

返回 self!=value。

__lt__(value, /)#

返回 self<value。

__le__(value, /)#

返回 self<=value。

__gt__(value, /)#

返回 self>value。

__ge__(value, /)#

返回 self>=value。

属性

done#

如果此流上的所有工作都已完成，则为真。