paddlespeech.t2s.models.wavernn.wavernn 模块

class paddlespeech.t2s.models.wavernn.wavernn.MelResNet(res_blocks: int = 10, compute_dims: int = 128, res_out_dims: int = 128, aux_channels: int = 80, aux_context_window: int = 0)

基础： Layer

方法

__call__(*inputs, **kwargs)	将self作为一个函数调用。
add_parameter(name, parameter)	添加一个参数实例。
add_sublayer(name, sublayer)	添加一个子层实例。
apply(fn)	递归地将 fn 应用到每个子层（由 .sublayers() 返回）以及自身。
buffers([include_sublayers])	返回当前层及其子层中的所有缓冲区的列表。
children()	返回一个迭代器，遍历直接子层。
clear_gradients()	清除此层所有参数的梯度。
create_parameter(shape[, attr, dtype, ...])	为该层创建参数。
create_tensor([name, persistable, dtype])	为该层创建张量。
create_variable([name, persistable, dtype])	为该层创建张量。
eval()	将该层及其所有子层设置为评估模式。
extra_repr()	该层的额外表示，您可以自定义实现自己的层。
forward(x)	参数：
full_name()	此层的完整名称，由 name_scope + "/" + MyLayer.__class__.__name__ 组成
load_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化缓存。
named_buffers([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有缓冲区，生成名称和张量的元组。
named_children()	返回一个直接子层的迭代器，同时提供层的名称和层本身。
named_parameters([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有参数，生成名称和参数的元组。
named_sublayers([prefix, include_self, ...])	返回Layer中所有子层的迭代器，生成名称和子层的元组。
parameters([include_sublayers])	返回当前层及其子层的所有参数的列表。
register_buffer(name, tensor[, persistable])	将一个张量注册为该层的缓冲区。
register_forward_post_hook(hook)	为层注册一个前向后钩子。
register_forward_pre_hook(hook)	为层注册一个前向预钩子。
set_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化的缓冲区。
set_state_dict(state_dict[, use_structured_name])	从state_dict设置参数和持久化缓冲区。
state_dict([destination, include_sublayers, ...])	获取当前层及其子层的所有参数和可持久化缓冲区。
sublayers([include_self])	返回子层的列表。
to([device, dtype, blocking])	通过给定的设备、数据类型和阻塞方式转换层的参数和缓冲区。
to_static_state_dict([destination, ...])	获取当前层及其子层的所有参数和缓冲区。
train()	将此层及其所有子层设置为训练模式。

向后
注册状态字典钩子

forward(x)

Args:

x (Tensor):

输入张量 (B, in_dims, T).

Returns:

Tensor:

输出张量 (B, res_out_dims, T).

class paddlespeech.t2s.models.wavernn.wavernn.ResBlock(dims)

基础： Layer

方法

__call__(*inputs, **kwargs)	将self作为一个函数调用。
add_parameter(name, parameter)	添加一个参数实例。
add_sublayer(name, sublayer)	添加一个子层实例。
apply(fn)	递归地将 fn 应用到每个子层（由 .sublayers() 返回）以及自身。
buffers([include_sublayers])	返回当前层及其子层中的所有缓冲区的列表。
children()	返回一个迭代器，遍历直接子层。
clear_gradients()	清除此层所有参数的梯度。
create_parameter(shape[, attr, dtype, ...])	为该层创建参数。
create_tensor([name, persistable, dtype])	为该层创建张量。
create_variable([name, persistable, dtype])	为该层创建张量。
eval()	将该层及其所有子层设置为评估模式。
extra_repr()	该层的额外表示，您可以自定义实现自己的层。
forward(x)	卷积 -> 批量归一化 -> ReLU -> 卷积 -> 批量归一化 + 残差连接
full_name()	此层的完整名称，由 name_scope + "/" + MyLayer.__class__.__name__ 组成
load_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化缓存。
named_buffers([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有缓冲区，生成名称和张量的元组。
named_children()	返回一个直接子层的迭代器，同时提供层的名称和层本身。
named_parameters([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有参数，生成名称和参数的元组。
named_sublayers([prefix, include_self, ...])	返回Layer中所有子层的迭代器，生成名称和子层的元组。
parameters([include_sublayers])	返回当前层及其子层的所有参数的列表。
register_buffer(name, tensor[, persistable])	将一个张量注册为该层的缓冲区。
register_forward_post_hook(hook)	为层注册一个前向后钩子。
register_forward_pre_hook(hook)	为层注册一个前向预钩子。
set_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化的缓冲区。
set_state_dict(state_dict[, use_structured_name])	从state_dict设置参数和持久化缓冲区。
state_dict([destination, include_sublayers, ...])	获取当前层及其子层的所有参数和可持久化缓冲区。
sublayers([include_self])	返回子层的列表。
to([device, dtype, blocking])	通过给定的设备、数据类型和阻塞方式转换层的参数和缓冲区。
to_static_state_dict([destination, ...])	获取当前层及其子层的所有参数和缓冲区。
train()	将此层及其所有子层设置为训练模式。

向后
注册状态字典钩子

forward(x)

卷积 -> 批量归一化 -> ReLU -> 卷积 -> 批量归一化 + 残差连接

class paddlespeech.t2s.models.wavernn.wavernn.UpsampleNetwork(aux_channels: int = 80, upsample_scales: List[int] = [4, 5, 3, 5], compute_dims: int = 128, res_blocks: int = 10, res_out_dims: int = 128, aux_context_window: int = 2)

基础： Layer

方法

__call__(*inputs, **kwargs)	将self作为一个函数调用。
add_parameter(name, parameter)	添加一个参数实例。
add_sublayer(name, sublayer)	添加一个子层实例。
apply(fn)	递归地将 fn 应用到每个子层（由 .sublayers() 返回）以及自身。
buffers([include_sublayers])	返回当前层及其子层中的所有缓冲区的列表。
children()	返回一个迭代器，遍历直接子层。
clear_gradients()	清除此层所有参数的梯度。
create_parameter(shape[, attr, dtype, ...])	为该层创建参数。
create_tensor([name, persistable, dtype])	为该层创建张量。
create_variable([name, persistable, dtype])	为该层创建张量。
eval()	将该层及其所有子层设置为评估模式。
extra_repr()	该层的额外表示，您可以自定义实现自己的层。
forward(m)	参数:
full_name()	此层的完整名称，由 name_scope + "/" + MyLayer.__class__.__name__ 组成
load_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化缓存。
named_buffers([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有缓冲区，生成名称和张量的元组。
named_children()	返回一个直接子层的迭代器，同时提供层的名称和层本身。
named_parameters([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有参数，生成名称和参数的元组。
named_sublayers([prefix, include_self, ...])	返回Layer中所有子层的迭代器，生成名称和子层的元组。
parameters([include_sublayers])	返回当前层及其子层的所有参数的列表。
register_buffer(name, tensor[, persistable])	将一个张量注册为该层的缓冲区。
register_forward_post_hook(hook)	为层注册一个前向后钩子。
register_forward_pre_hook(hook)	为层注册一个前向预钩子。
set_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化的缓冲区。
set_state_dict(state_dict[, use_structured_name])	从state_dict设置参数和持久化缓冲区。
state_dict([destination, include_sublayers, ...])	获取当前层及其子层的所有参数和可持久化缓冲区。
sublayers([include_self])	返回子层的列表。
to([device, dtype, blocking])	通过给定的设备、数据类型和阻塞方式转换层的参数和缓冲区。
to_static_state_dict([destination, ...])	获取当前层及其子层的所有参数和缓冲区。
train()	将此层及其所有子层设置为训练模式。

向后
注册状态字典钩子

forward(m)

Args:

c (Tensor):

输入张量 (B, C_aux, T)。

Returns:

Tensor:

输出张量 (B, (T - 2 * pad) * prob(upsample_scales), C_aux).

Tensor:

输出张量 (B, (T - 2 * pad) * prob(upsample_scales), res_out_dims).

class paddlespeech.t2s.models.wavernn.wavernn.WaveRNN(rnn_dims: int = 512, fc_dims: int = 512, bits: int = 9, aux_context_window: int = 2, upsample_scales: List[int] = [4, 5, 3, 5], aux_channels: int = 80, compute_dims: int = 128, res_out_dims: int = 128, res_blocks: int = 10, hop_length: int = 300, sample_rate: int = 24000, mode='RAW', init_type: str = 'xavier_uniform')

基础： Layer

方法

__call__(*inputs, **kwargs)	将self作为一个函数调用。
add_parameter(name, parameter)	添加一个参数实例。
add_sublayer(name, sublayer)	添加一个子层实例。
apply(fn)	递归地将 fn 应用到每个子层（由 .sublayers() 返回）以及自身。
buffers([include_sublayers])	返回当前层及其子层中的所有缓冲区的列表。
children()	返回一个迭代器，遍历直接子层。
clear_gradients()	清除此层所有参数的梯度。
create_parameter(shape[, attr, dtype, ...])	为该层创建参数。
create_tensor([name, persistable, dtype])	为该层创建张量。
create_variable([name, persistable, dtype])	为该层创建张量。
eval()	将该层及其所有子层设置为评估模式。
extra_repr()	该层的额外表示，您可以自定义实现自己的层。
fold_with_overlap(x, target, overlap)	对张量进行重叠折叠以实现快速批量推断。
forward(x, c)	参数:
full_name()	此层的完整名称，由 name_scope + "/" + MyLayer.__class__.__name__ 组成
generate(c[, batched, target, overlap, ...])	参数:
load_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化缓存。
named_buffers([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有缓冲区，生成名称和张量的元组。
named_children()	返回一个直接子层的迭代器，同时提供层的名称和层本身。
named_parameters([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有参数，生成名称和参数的元组。
named_sublayers([prefix, include_self, ...])	返回Layer中所有子层的迭代器，生成名称和子层的元组。
pad_tensor(x, pad[, side])	参数：
parameters([include_sublayers])	返回当前层及其子层的所有参数的列表。
register_buffer(name, tensor[, persistable])	将一个张量注册为该层的缓冲区。
register_forward_post_hook(hook)	为层注册一个前向后钩子。
register_forward_pre_hook(hook)	为层注册一个前向预钩子。
set_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化的缓冲区。
set_state_dict(state_dict[, use_structured_name])	从state_dict设置参数和持久化缓冲区。
state_dict([destination, include_sublayers, ...])	获取当前层及其子层的所有参数和可持久化缓冲区。
sublayers([include_self])	返回子层的列表。
to([device, dtype, blocking])	通过给定的设备、数据类型和阻塞方式转换层的参数和缓冲区。
to_static_state_dict([destination, ...])	获取当前层及其子层的所有参数和缓冲区。
train()	将此层及其所有子层设置为训练模式。
xfade_and_unfold(y[, target, overlap])	应用交叉渐变并展开为一维数组。

向后
生成显示
进度条
注册状态字典钩子

fold_with_overlap(x, target, overlap)

将张量折叠以便快速批量推理。重叠将用于xfade_and_unfold()中的交叉渐变。

Args:

x(Tensor):

上采样的条件特征。mels 或 aux 形状=(1, T, 特征) mels: [1, T, 80] aux: [1, T, 128]

target(int):

每个批次索引的目标时间步

overlap(int):

xfade和rnn预热的时间步

Returns:

Tensor:

形状=(num_folds, target + 2 * overlap, 特征) num_flods = (time_seq - overlap) // (target + overlap) mel: [num_folds, target + 2 * overlap, 80] aux: [num_folds, target + 2 * overlap, 128]

Details:

x = [[h1, h2, ... hn]]
每个 h 是一个条件特征的向量
例如: target=2, overlap=1，且 x.size(1)=10

folded = [[h1, h2, h3, h4],

[h4, h5, h6, h7], [h7, h8, h9, h10]]

forward(x, c)

Args:

x (Tensor):

wav 序列, [B, T]

c (Tensor):

梅尔谱 [B, C_aux, T']

T = (T' - 2 * aux_context_window ) * hop_length

Returns:

张量: [B, T, n_classes]

gen_display(i, seq_len, b_size, start)

generate(c, batched: bool = True, target: int = 12000, overlap: int = 600, mu_law: bool = True, gen_display: bool = False)

Args:

c(Tensor):

输入 mels, (T', C_aux)

batched(bool):

批量生成还是不生成

target(int):

每批次生成的样本数量目标

overlap(int):

用于批次间交叉淡化的样本数

mu_law(布尔值)

Returns:

wav sequence:

输出 (T' * prod(upsample_scales), out_channels, C_out).

pad_tensor(x, pad, side='both')

Args:

x(Tensor):

mel，[1，n_frames，80]

pad(int):

边(str, 可选): (默认值 = 'both')

Returns:

张量

progbar(i, n, size=16)

xfade_and_unfold(y, target: int = 12000, overlap: int = 600)

应用交叉淡化并展开为一维数组。

Args:

y (Tensor):

音频样本的批处理序列 shape=(num_folds, target + 2 * overlap) dtype=paddle.float32

重叠 (int): xfade 和 rnn 预热的时间步长

Returns:

Tensor

一维数组中的音频样本 shape=(total_len) dtype=paddle.float32

Details:

y = [[seq1],

[seq2], [seq3]]

在序列的两端应用增益包络

y = [[seq1_in, seq1_target, seq1_out],

[seq2_in, seq2_target, seq2_out], [seq3_in, seq3_target, seq3_out]]

交错并汇总样本组：

[seq1_in, seq1_target, (seq1_out + seq2_in), seq2_target, ...]

class paddlespeech.t2s.models.wavernn.wavernn.WaveRNNInference(normalizer, wavernn)

基础： Layer

方法

__call__(*inputs, **kwargs)	将self作为一个函数调用。
add_parameter(name, parameter)	添加一个参数实例。
add_sublayer(name, sublayer)	添加一个子层实例。
apply(fn)	递归地将 fn 应用到每个子层（由 .sublayers() 返回）以及自身。
buffers([include_sublayers])	返回当前层及其子层中的所有缓冲区的列表。
children()	返回一个迭代器，遍历直接子层。
clear_gradients()	清除此层所有参数的梯度。
create_parameter(shape[, attr, dtype, ...])	为该层创建参数。
create_tensor([name, persistable, dtype])	为该层创建张量。
create_variable([name, persistable, dtype])	为该层创建张量。
eval()	将该层及其所有子层设置为评估模式。
extra_repr()	该层的额外表示，您可以自定义实现自己的层。
forward(logmel[, batched, target, overlap, ...])	定义每次调用时执行的计算。
full_name()	此层的完整名称，由 name_scope + "/" + MyLayer.__class__.__name__ 组成
load_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化缓存。
named_buffers([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有缓冲区，生成名称和张量的元组。
named_children()	返回一个直接子层的迭代器，同时提供层的名称和层本身。
named_parameters([prefix, include_sublayers])	返回一个迭代器，遍历层中的所有参数，生成名称和参数的元组。
named_sublayers([prefix, include_self, ...])	返回Layer中所有子层的迭代器，生成名称和子层的元组。
parameters([include_sublayers])	返回当前层及其子层的所有参数的列表。
register_buffer(name, tensor[, persistable])	将一个张量注册为该层的缓冲区。
register_forward_post_hook(hook)	为层注册一个前向后钩子。
register_forward_pre_hook(hook)	为层注册一个前向预钩子。
set_dict(state_dict[, use_structured_name])	从 state_dict 设置参数和可持久化的缓冲区。
set_state_dict(state_dict[, use_structured_name])	从state_dict设置参数和持久化缓冲区。
state_dict([destination, include_sublayers, ...])	获取当前层及其子层的所有参数和可持久化缓冲区。
sublayers([include_self])	返回子层的列表。
to([device, dtype, blocking])	通过给定的设备、数据类型和阻塞方式转换层的参数和缓冲区。
to_static_state_dict([destination, ...])	获取当前层及其子层的所有参数和缓冲区。
train()	将此层及其所有子层设置为训练模式。

向后
注册状态字典钩子

forward(logmel, batched: bool = True, target: int = 12000, overlap: int = 600, mu_law: bool = True, gen_display: bool = False)

定义每次调用时执行的计算。应该被所有子类重写。

Parameters:

*inputs(tuple): 解包的元组参数 **kwargs(dict): 解包的字典参数