批量函数

Gradio 支持传递批量函数的能力。批量函数是指那些接收输入列表并返回预测列表的函数。

例如，这里有一个批处理函数，它接收两个输入列表（一个单词列表和一个整数列表），并返回一个修剪后的单词列表作为输出：

import time

def trim_words(words, lens):
    trimmed_words = []
    time.sleep(5)
    for w, l in zip(words, lens):
        trimmed_words.append(w[:int(l)])
    return [trimmed_words]

使用批处理函数的优势在于，如果你启用了队列，Gradio服务器可以自动批处理传入的请求并并行处理它们，从而可能加快你的演示速度。以下是Gradio代码的样子（注意batch=True和max_batch_size=16）

使用gr.Interface类：

demo = gr.Interface(
    fn=trim_words, 
    inputs=["textbox", "number"], 
    outputs=["output"],
    batch=True, 
    max_batch_size=16
)

demo.launch()

使用gr.Blocks类：

import gradio as gr

with gr.Blocks() as demo:
    with gr.Row():
        word = gr.Textbox(label="word")
        leng = gr.Number(label="leng")
        output = gr.Textbox(label="Output")
    with gr.Row():
        run = gr.Button()

    event = run.click(trim_words, [word, leng], output, batch=True, max_batch_size=16)

demo.launch()

在上面的例子中，可以并行处理16个请求（总推理时间为5秒），而不是每个请求单独处理（总推理时间为80秒）。许多Hugging Face的transformers和diffusers模型与Gradio的批处理模式非常自然地配合使用：这里有一个使用diffusers批量生成图像的示例演示