函数式 API 概念¶
概述¶
函数式 API 允许你以最小的代码更改将 LangGraph 的关键功能——持久化、记忆、人机协同和流式传输——添加到你的应用程序中。
它旨在将这些功能集成到可能使用标准语言原语进行分支和控制流的现有代码中,例如 if 语句、for 循环和函数调用。与许多需要将代码重组为显式管道或 DAG 的数据编排框架不同,函数式 API 允许你在不强制执行严格执行模型的情况下合并这些功能。
函数式 API 使用两个关键构建块:
@entrypoint– 将函数标记为工作流的起点,封装逻辑并管理执行流,包括处理长时间运行的任务和中断。@task– 表示离散的工作单元,例如 API 调用或数据处理步骤,可以在入口点内异步执行。任务返回一个类似 future 的对象,可以异步等待或同步解析。
entrypoint– 入口点封装工作流逻辑并管理执行流,包括处理长时间运行的任务和中断。task– 表示离散的工作单元,例如 API 调用或数据处理步骤,可以在入口点内异步执行。任务返回一个类似 future 的对象,可以异步等待或同步解析。
这为构建具有状态管理和流式传输的工作流提供了最小的抽象。
Tip
有关如何使用函数式 API 的信息,请参阅使用函数式 API。
函数式 API 与图 API¶
对于喜欢更声明式方法的用户,LangGraph 的图 API允许你使用图范式定义工作流。两个 API 共享相同的底层运行时,因此你可以在同一应用程序中一起使用它们。
以下是一些关键区别:
- 控制流:函数式 API 不需要考虑图结构。你可以使用标准 Python 构造来定义工作流。这通常会减少你需要编写的代码量。
- 短期记忆:图 API 需要声明一个状态,并可能需要定义归约器来管理对图状态的更新。
@entrypoint和@tasks不需要显式的状态管理,因为它们的状态范围限定于函数,并且不在函数之间共享。 - 检查点:两个 API 都生成和使用检查点。在**图 API** 中,每个超步之后都会生成一个新的检查点。在**函数式 API** 中,当执行任务时,它们的结果将保存到与给定入口点关联的现有检查点中,而不是创建新的检查点。
- 可视化:图 API 可以轻松地将工作流可视化为图,这对于调试、理解工作流以及与他人分享很有用。函数式 API 不支持可视化,因为图是在运行时动态生成的。
示例¶
下面我们演示一个简单的应用程序,它编写一篇文章并中断以请求人工审查。
from langgraph.checkpoint.memory import InMemorySaver
from langgraph.func import entrypoint, task
from langgraph.types import interrupt
@task
def write_essay(topic: str) -> str:
"""Write an essay about the given topic."""
time.sleep(1) # A placeholder for a long-running task.
return f"An essay about topic: {topic}"
@entrypoint(checkpointer=InMemorySaver())
def workflow(topic: str) -> dict:
"""A simple workflow that writes an essay and asks for a review."""
essay = write_essay("cat").result()
is_approved = interrupt({
# Any json-serializable payload provided to interrupt as argument.
# It will be surfaced on the client side as an Interrupt when streaming data
# from the workflow.
"essay": essay, # The essay we want reviewed.
# We can add any additional information that we need.
# For example, introduce a key called "action" with some instructions.
"action": "Please approve/reject the essay",
})
return {
"essay": essay, # The essay that was generated
"is_approved": is_approved, # Response from HIL
}
import { MemorySaver, entrypoint, task, interrupt } from "@langchain/langgraph";
const writeEssay = task("writeEssay", async (topic: string) => {
// A placeholder for a long-running task.
await new Promise((resolve) => setTimeout(resolve, 1000));
return `An essay about topic: ${topic}`;
});
const workflow = entrypoint(
{ checkpointer: new MemorySaver(), name: "workflow" },
async (topic: string) => {
const essay = await writeEssay(topic);
const isApproved = interrupt({
// Any json-serializable payload provided to interrupt as argument.
// It will be surfaced on the client side as an Interrupt when streaming data
// from the workflow.
essay, // The essay we want reviewed.
// We can add any additional information that we need.
// For example, introduce a key called "action" with some instructions.
action: "Please approve/reject the essay",
});
return {
essay, // The essay that was generated
isApproved, // Response from HIL
};
}
);
详细说明
此工作流将编写一篇关于主题 "cat" 的文章,然后暂停以获得人工审查。工作流可以无限期中断,直到提供审查。
当工作流恢复时,它从一开始执行,但因为 writeEssay 任务的结果已经保存,任务结果将从检查点加载,而不是重新计算。
import time
import uuid
from langgraph.func import entrypoint, task
from langgraph.types import interrupt
from langgraph.checkpoint.memory import InMemorySaver
@task
def write_essay(topic: str) -> str:
"""Write an essay about the given topic."""
time.sleep(1) # This is a placeholder for a long-running task.
return f"An essay about topic: {topic}"
@entrypoint(checkpointer=InMemorySaver())
def workflow(topic: str) -> dict:
"""A simple workflow that writes an essay and asks for a review."""
essay = write_essay("cat").result()
is_approved = interrupt(
{
# Any json-serializable payload provided to interrupt as argument.
# It will be surfaced on the client side as an Interrupt when streaming data
# from the workflow.
"essay": essay, # The essay we want reviewed.
# We can add any additional information that we need.
# For example, introduce a key called "action" with some instructions.
"action": "Please approve/reject the essay",
}
)
return {
"essay": essay, # The essay that was generated
"is_approved": is_approved, # Response from HIL
}
thread_id = str(uuid.uuid4())
config = {"configurable": {"thread_id": thread_id}}
for item in workflow.stream("cat", config):
print(item)
# > {'write_essay': 'An essay about topic: cat'}
# > {
# > '__interrupt__': (
# > Interrupt(
# > value={
# > 'essay': 'An essay about topic: cat',
# > 'action': 'Please approve/reject the essay'
# > },
# > id='b9b2b9d788f482663ced6dc755c9e981'
# > ),
# > )
# > }
文章已经编写完成,准备审查。一旦提供审查,我们可以恢复工作流:
from langgraph.types import Command
# Get review from a user (e.g., via a UI)
# In this case, we're using a bool, but this can be any json-serializable value.
human_review = True
for item in workflow.stream(Command(resume=human_review), config):
print(item)
工作流已完成,审查已添加到文章中。
import { v4 as uuidv4 } from "uuid";
import { MemorySaver, entrypoint, task, interrupt } from "@langchain/langgraph";
const writeEssay = task("writeEssay", async (topic: string) => {
// This is a placeholder for a long-running task.
await new Promise(resolve => setTimeout(resolve, 1000));
return `An essay about topic: ${topic}`;
});
const workflow = entrypoint(
{ checkpointer: new MemorySaver(), name: "workflow" },
async (topic: string) => {
const essay = await writeEssay(topic);
const isApproved = interrupt({
// Any json-serializable payload provided to interrupt as argument.
// It will be surfaced on the client side as an Interrupt when streaming data
// from the workflow.
essay, // The essay we want reviewed.
// We can add any additional information that we need.
// For example, introduce a key called "action" with some instructions.
action: "Please approve/reject the essay",
});
return {
essay, // The essay that was generated
isApproved, // Response from HIL
};
}
);
const threadId = uuidv4();
const config = {
configurable: {
thread_id: threadId
}
};
for await (const item of workflow.stream("cat", config)) {
console.log(item);
}
{ writeEssay: 'An essay about topic: cat' }
{
__interrupt__: [{
value: { essay: 'An essay about topic: cat', action: 'Please approve/reject the essay' },
resumable: true,
ns: ['workflow:f7b8508b-21c0-8b4c-5958-4e8de74d2684'],
when: 'during'
}]
}
文章已经编写完成,准备审查。一旦提供审查,我们可以恢复工作流:
import { Command } from "@langchain/langgraph";
// Get review from a user (e.g., via a UI)
// In this case, we're using a bool, but this can be any json-serializable value.
const humanReview = true;
for await (const item of workflow.stream(new Command({ resume: humanReview }), config)) {
console.log(item);
}
工作流已完成,审查已添加到文章中。
入口点¶
@[@entrypoint][entrypoint] 装饰器可用于从函数创建工作流。它封装工作流逻辑并管理执行流,包括处理_长时间运行的任务_和中断。
@[entrypoint][] 函数可用于从函数创建工作流。它封装工作流逻辑并管理执行流,包括处理_长时间运行的任务_和中断。
定义¶
通过使用 @entrypoint 装饰器装饰函数来定义**入口点**。
该函数**必须接受单个位置参数**,该参数用作工作流输入。如果需要传递多个数据片段,请使用字典作为第一个参数的输入类型。
使用 entrypoint 装饰函数会生成一个 @[Pregel][Pregel.stream] 实例,该实例有助于管理工作流的执行(例如,处理流式传输、恢复和检查点)。
你通常希望将**检查点器**传递给 @entrypoint 装饰器以启用持久化并使用**人机协同**等功能。
通过调用 entrypoint 函数并传入配置和函数来定义**入口点**。
该函数**必须接受单个位置参数**,该参数用作工作流输入。如果需要传递多个数据片段,请使用对象作为第一个参数的输入类型。
使用函数创建入口点会生成一个工作流实例,该实例有助于管理工作流的执行(例如,处理流式传输、恢复和检查点)。
你通常希望将**检查点器**传递给 entrypoint 函数以启用持久化并使用**人机协同**等功能。
import { entrypoint } from "@langchain/langgraph";
const myWorkflow = entrypoint(
{ checkpointer, name: "workflow" },
async (someInput: Record<string, any>): Promise<number> => {
// some logic that may involve long-running tasks like API calls,
// and may be interrupted for human-in-the-loop
return result;
}
);
序列化
入口点的**输入**和**输出**必须是 JSON 可序列化的,以支持检查点。有关更多详细信息,请参阅序列化部分。
可注入参数¶
在声明 entrypoint 时,你可以请求访问将在运行时自动注入的其他参数。这些参数包括:
| 参数 | 描述 |
|---|---|
| previous | 访问与给定线程的上一个 checkpoint 关联的状态。请参阅短期记忆。 |
| store | [BaseStore][langgraph.store.base.BaseStore] 的实例。对长期记忆很有用。 |
| writer | 用于在使用 Async Python < 3.11 时访问 StreamWriter。有关详细信息,请参阅使用函数式 API 进行流式传输。 |
| config | 用于访问运行时配置。有关信息,请参阅 RunnableConfig。 |
Important
使用适当的名称和类型注释声明参数。
请求可注入参数
from langchain_core.runnables import RunnableConfig
from langgraph.func import entrypoint
from langgraph.store.base import BaseStore
from langgraph.store.memory import InMemoryStore
in_memory_store = InMemoryStore(...) # An instance of InMemoryStore for long-term memory
@entrypoint(
checkpointer=checkpointer, # Specify the checkpointer
store=in_memory_store # Specify the store
)
def my_workflow(
some_input: dict, # The input (e.g., passed via `invoke`)
*,
previous: Any = None, # For short-term memory
store: BaseStore, # For long-term memory
writer: StreamWriter, # For streaming custom data
config: RunnableConfig # For accessing the configuration passed to the entrypoint
) -> ...:
执行¶
使用 @entrypoint 会产生一个 @[Pregel][Pregel.stream] 对象,可以使用 invoke、ainvoke、stream 和 astream 方法执行。
使用 entrypoint 函数将返回一个可以使用 invoke 和 stream 方法执行的对象。
恢复¶
在 @interrupt 后恢复执行可以通过将**恢复**值传递给 @[Command] 原语来完成。
在 @interrupt 后恢复执行可以通过将**恢复**值传递给 @[Command][] 原语来完成。
从错误后恢复
要从错误后恢复,请使用 None 和相同的**线程 ID**(config)运行 entrypoint。
这假定底层**错误**已经解决,执行可以成功进行。
从错误后恢复
要从错误后恢复,请使用 null 和相同的**线程 ID**(config)运行 entrypoint。
这假定底层**错误**已经解决,执行可以成功进行。
短期记忆¶
当使用 checkpointer 定义 entrypoint 时,它会在同一**线程 ID** 上的连续调用之间将信息存储在检查点中。
这允许使用 previous 参数访问上一次调用的状态。
默认情况下,previous 参数是上一次调用的返回值。
@entrypoint(checkpointer=checkpointer)
def my_workflow(number: int, *, previous: Any = None) -> int:
previous = previous or 0
return number + previous
config = {
"configurable": {
"thread_id": "some_thread_id"
}
}
my_workflow.invoke(1, config) # 1 (previous was None)
my_workflow.invoke(2, config) # 3 (previous was 1 from the previous invocation)
这允许使用 getPreviousState 函数访问上一次调用的状态。
默认情况下,getPreviousState 函数返回上一次调用的返回值。
import { entrypoint, getPreviousState } from "@langchain/langgraph";
const myWorkflow = entrypoint(
{ checkpointer, name: "workflow" },
async (number: number) => {
const previous = getPreviousState<number>() ?? 0;
return number + previous;
}
);
const config = {
configurable: {
thread_id: "some_thread_id",
},
};
await myWorkflow.invoke(1, config); // 1 (previous was undefined)
await myWorkflow.invoke(2, config); // 3 (previous was 1 from the previous invocation)
entrypoint.final¶
@[entrypoint.final][] 是一个特殊的原语,可以从入口点返回,并允许**解耦**在**检查点中保存的值**与**入口点的返回值**。
第一个值是入口点的返回值,第二个值是将保存在检查点中的值。类型注释是 entrypoint.final[return_type, save_type]。
@entrypoint(checkpointer=checkpointer)
def my_workflow(number: int, *, previous: Any = None) -> entrypoint.final[int, int]:
previous = previous or 0
# This will return the previous value to the caller, saving
# 2 * number to the checkpoint, which will be used in the next invocation
# for the `previous` parameter.
return entrypoint.final(value=previous, save=2 * number)
config = {
"configurable": {
"thread_id": "1"
}
}
my_workflow.invoke(3, config) # 0 (previous was None)
my_workflow.invoke(1, config) # 6 (previous was 3 * 2 from the previous invocation)
@[entrypoint.final][] 是一个特殊的原语,可以从入口点返回,并允许**解耦**在**检查点中保存的值**与**入口点的返回值**。
第一个值是入口点的返回值,第二个值是将保存在检查点中的值。
import { entrypoint, getPreviousState } from "@langchain/langgraph";
const myWorkflow = entrypoint(
{ checkpointer, name: "workflow" },
async (number: number) => {
const previous = getPreviousState<number>() ?? 0;
// This will return the previous value to the caller, saving
// 2 * number to the checkpoint, which will be used in the next invocation
// for the `previous` parameter.
return entrypoint.final({
value: previous,
save: 2 * number,
});
}
);
const config = {
configurable: {
thread_id: "1",
},
};
await myWorkflow.invoke(3, config); // 0 (previous was undefined)
await myWorkflow.invoke(1, config); // 6 (previous was 3 * 2 from the previous invocation)
任务¶
**任务**表示离散的工作单元,例如 API 调用或数据处理步骤。它具有两个关键特征:
- 异步执行:任务旨在异步执行,允许多个操作并发运行而不会阻塞。
- 检查点:任务结果保存到检查点,从而可以从最后保存的状态恢复工作流。(有关更多详细信息,请参阅持久化)。
定义¶
使用 @task 装饰器定义任务,该装饰器包装常规 Python 函数。
from langgraph.func import task
@task()
def slow_computation(input_value):
# Simulate a long-running operation
...
return result
使用 task 函数定义任务,该函数包装常规函数。
import { task } from "@langchain/langgraph";
const slowComputation = task("slowComputation", async (inputValue: any) => {
// Simulate a long-running operation
return result;
});
序列化
任务的**输出**必须是 JSON 可序列化的,以支持检查点。
执行¶
任务**只能从**入口点、另一个**任务**或状态图节点内调用。
任务_不能_直接从主应用程序代码调用。
当你调用**任务**时,它会_立即_返回一个 future 对象。Future 是稍后将可用的结果的占位符。
要获取**任务**的结果,你可以同步等待它(使用 result())或异步等待它(使用 await)。
当你调用**任务**时,它返回一个可以等待的 Promise。
const myWorkflow = entrypoint(
{ checkpointer, name: "workflow" },
async (someInput: number): Promise<number> => {
return await slowComputation(someInput);
}
);
何时使用任务¶
**任务**在以下场景中很有用:
- 检查点:当你需要将长时间运行的操作的结果保存到检查点时,这样你就不需要在恢复工作流时重新计算它。
- 人机协同:如果你正在构建需要人工干预的工作流,你必须使用**任务**来封装任何随机性(例如 API 调用),以确保工作流可以正确恢复。有关更多详细信息,请参阅确定性部分。
- 并行执行:对于 I/O 绑定的任务,**任务**可以并行执行,允许多个操作并发运行而不会阻塞(例如调用多个 API)。
- 可观察性:将操作包装在**任务**中提供了一种跟踪工作流进度和使用 LangSmith 监控各个操作执行的方法。
- 可重试工作:当需要重试工作以处理失败或不一致性时,**任务**提供了一种封装和管理重试逻辑的方法。
序列化¶
LangGraph 中的序列化有两个关键方面:
entrypoint输入和输出必须是 JSON 可序列化的。task输出必须是 JSON 可序列化的。
这些要求对于启用检查点和工作流恢复是必要的。使用 Python 原语,如字典、列表、字符串、数字和布尔值,以确保你的输入和输出是可序列化的。
这些要求对于启用检查点和工作流恢复是必要的。使用原语,如对象、数组、字符串、数字和布尔值,以确保你的输入和输出是可序列化的。
序列化可确保工作流状态(例如任务结果和中间值)可以可靠地保存和恢复。这对于启用人机协同交互、容错和并行执行至关重要。
如果工作流配置了检查点器,提供不可序列化的输入或输出将导致运行时错误。
确定性¶
要利用**人机协同**等功能,任何随机性都应封装在**任务**内部。这保证了当执行暂停(例如,用于人机协同)然后恢复时,它将遵循相同的_步骤序列_,即使**任务**结果是非确定性的。
LangGraph 通过在执行时持久化**任务**和子图结果来实现此行为。精心设计的工作流可确保恢复执行遵循相同的_步骤序列_,从而允许正确检索先前计算的结果而无需重新执行它们。这对于长时间运行的**任务**或具有非确定性结果的**任务**特别有用,因为它避免了重复先前完成的工作并允许从本质上相同的位置恢复。
虽然工作流的不同运行可以产生不同的结果,但恢复**特定**运行应始终遵循相同的记录步骤序列。这允许 LangGraph 高效地查找在图被中断之前执行的**任务**和**子图**结果,并避免重新计算它们。
幂等性¶
幂等性可确保多次运行相同的操作会产生相同的结果。这有助于防止重复的 API 调用和冗余处理,如果由于失败而重新运行某个步骤。始终将 API 调用放在**任务**函数内以进行检查点,并将它们设计为幂等的,以防重新执行。如果**任务**启动但未成功完成,则可能发生重新执行。然后,如果工作流恢复,**任务**将再次运行。使用幂等性键或验证现有结果以避免重复。
常见陷阱¶
处理副作用¶
将副作用(例如写入文件、发送电子邮件)封装在任务中,以确保在恢复工作流时不会多次执行它们。
在此示例中,副作用(写入文件)直接包含在工作流中,因此在恢复工作流时将第二次执行。
@entrypoint(checkpointer=checkpointer)
def my_workflow(inputs: dict) -> int:
# This code will be executed a second time when resuming the workflow.
# Which is likely not what you want.
# highlight-next-line
with open("output.txt", "w") as f:
# highlight-next-line
f.write("Side effect executed")
value = interrupt("question")
return value
import { entrypoint, interrupt } from "@langchain/langgraph";
import fs from "fs";
const myWorkflow = entrypoint(
{ checkpointer, name: "workflow },
async (inputs: Record<string, any>) => {
// This code will be executed a second time when resuming the workflow.
// Which is likely not what you want.
fs.writeFileSync("output.txt", "Side effect executed");
const value = interrupt("question");
return value;
}
);
在此示例中,副作用封装在任务中,确保在恢复时一致执行。
from langgraph.func import task
# highlight-next-line
@task
# highlight-next-line
def write_to_file():
with open("output.txt", "w") as f:
f.write("Side effect executed")
@entrypoint(checkpointer=checkpointer)
def my_workflow(inputs: dict) -> int:
# The side effect is now encapsulated in a task.
write_to_file().result()
value = interrupt("question")
return value
import { entrypoint, task, interrupt } from "@langchain/langgraph";
import * as fs from "fs";
const writeToFile = task("writeToFile", async () => {
fs.writeFileSync("output.txt", "Side effect executed");
});
const myWorkflow = entrypoint(
{ checkpointer, name: "workflow" },
async (inputs: Record<string, any>) => {
// The side effect is now encapsulated in a task.
await writeToFile();
const value = interrupt("question");
return value;
}
);
非确定性控制流¶
每次可能产生不同结果的操作(如获取当前时间或随机数)应封装在任务中,以确保在恢复时返回相同的结果。
- 在任务中:获取随机数 (5) → 中断 → 恢复 → (再次返回 5) → ...
- 不在任务中:获取随机数 (5) → 中断 → 恢复 → 获取新随机数 (7) → ...
这在使用具有多个中断调用的**人机协同**工作流时特别重要。LangGraph 为每个任务/入口点保留一个恢复值列表。当遇到中断时,它与相应的恢复值匹配。此匹配严格基于**索引**,因此恢复值的顺序应与中断的顺序匹配。
这在使用具有多个中断调用的**人机协同**工作流时特别重要。LangGraph 为每个任务/入口点保留一个恢复值列表。当遇到中断时,它与相应的恢复值匹配。此匹配严格基于**索引**,因此恢复值的顺序应与中断的顺序匹配。
如果在恢复时未保持执行顺序,一个 interrupt 调用可能会与错误的 resume 值匹配,从而导致不正确的结果。
有关更多详细信息,请阅读确定性部分。
在此示例中,工作流使用当前时间来确定要执行哪个任务。这是非确定性的,因为工作流的结果取决于执行时的时间。
from langgraph.func import entrypoint
@entrypoint(checkpointer=checkpointer)
def my_workflow(inputs: dict) -> int:
t0 = inputs["t0"]
# highlight-next-line
t1 = time.time()
delta_t = t1 - t0
if delta_t > 1:
result = slow_task(1).result()
value = interrupt("question")
else:
result = slow_task(2).result()
value = interrupt("question")
return {
"result": result,
"value": value
}
import { entrypoint, interrupt } from "@langchain/langgraph";
const myWorkflow = entrypoint(
{ checkpointer, name: "workflow" },
async (inputs: { t0: number }) => {
const t1 = Date.now();
const deltaT = t1 - inputs.t0;
if (deltaT > 1000) {
const result = await slowTask(1);
const value = interrupt("question");
return { result, value };
} else {
const result = await slowTask(2);
const value = interrupt("question");
return { result, value };
}
}
);
在此示例中,工作流使用输入 t0 来确定要执行哪个任务。这是确定性的,因为工作流的结果仅取决于输入。
import time
from langgraph.func import task
# highlight-next-line
@task
# highlight-next-line
def get_time() -> float:
return time.time()
@entrypoint(checkpointer=checkpointer)
def my_workflow(inputs: dict) -> int:
t0 = inputs["t0"]
# highlight-next-line
t1 = get_time().result()
delta_t = t1 - t0
if delta_t > 1:
result = slow_task(1).result()
value = interrupt("question")
else:
result = slow_task(2).result()
value = interrupt("question")
return {
"result": result,
"value": value
}
在此示例中,工作流使用输入 t0 来确定要执行哪个任务。这是确定性的,因为工作流的结果仅取决于输入。
import { entrypoint, task, interrupt } from "@langchain/langgraph";
const getTime = task("getTime", () => Date.now());
const myWorkflow = entrypoint(
{ checkpointer, name: "workflow" },
async (inputs: { t0: number }): Promise<any> => {
const t1 = await getTime();
const deltaT = t1 - inputs.t0;
if (deltaT > 1000) {
const result = await slowTask(1);
const value = interrupt("question");
return { result, value };
} else {
const result = await slowTask(2);
const value = interrupt("question");
return { result, value };
}
}
);