Wywoływanie narzędzi w LangChain: mechanizm działania aplikacji agentowych
Zarejestruj funkcje Pythona jako narzędzia LangChain i uruchom czterostopniowy cykl, w którym model wybiera narzędzia, te są wykonywane zewnętrznie, a wyniki wracają w postaci wiadomości.
Źródła: Agentic AI with LangChain — Part 3: Tool Calling in LangChain
To trzeci artykuł z serii o sztucznej inteligencji agentowej z użyciem LangChain. Część 2 opisała proces pracy typu RAG z agentem przy użyciu LangGraph. Kolejnym krokiem jest rozszerzenie zastosowania na kolejne dziedziny – gotowanie, pływanie, muzykę klasyczną, a nawet aktualne warunki pogodowe w miastach na całym świecie – bez przytłaczania grafu nowymi węzłami.
Zgodnie z wzorem z Części 2 można dodać po jednym węźle do wyszukiwania danych na każdą dziedzinę, z których każdy będzie miał własny indeks Pinecone, plus węzeł pogodowy łączący się z publicznym API. W miarę wzrostu liczby węzłów rosną również ich połączenia i gałęzie, co utrudnia utrzymanie grafu.
Wykorzystanie narzędzi jest rozwiązaniem. Zamiast jednego węzła na funkcję, należy zarejestrować te funkcje jako narzędzia LangChain i pozwolić modelowi zdecydować, kiedy je wywołać, jak użyć uzyskanych wyników oraz jak włączyć je do ostatecznej odpowiedzi. To upraszcza proces pracy i rozszerza możliwości modelu dzięki dokładnym obliczeniom, zapytaniom do bazy danych, wyszukiwaniu w internecie oraz API w czasie rzeczywistym.
Następne fragmenty omawiają podstawowe koncepcje oraz pętlę wywoływania narzędzi w LangChain. Ta podstawa przygotowuje grunt pod następny artykuł poświęcony ReAct. Gdy zrozumiemy ReAct, proces pracy z części 2 można uproszczyć, stosując te same zasady. Kod znajduje się w repozytorium na GitHubie.
Tematy:
- Czym jest wywoływanie narzędzi i dlaczego jest to ważne.
- Jak implementować narzędzia LangChain.
- Jak działa czterostopniowa pętla wywoływania narzędzi.
Słownictwo
- Narzędzie LangChain: funkcja w Pythonie ozdobiona anotacją
@tool, która udostępnia modelowi jego schemat oraz instrukcje użycia. - Wywołanie narzędzia: mechanizm, za pomocą którego model żąda uruchomienia zewnętrznej funkcji.
- Wiadomość narzędzia: typ wiadomości, który przekazuje wyniki narzędzia z powrotem do modelu.
- Pętla wywoływania narzędzi: cykl, w którym model wybiera narzędzie, to narzędzie jest uruchamiane poza modelem, następnie wracają wyniki, które model włącza do odpowiedzi.
Ustawienia
Stwórz plik .env zawierający klucze OpenAI i Tavily.
OPENAI_API_KEY="<Your OpenAI API Key>"
TAVILY_API_KEY=<Your TAVILY API Key>
Ładuj je za pomocą klasy ustawień Pydantic.
class BaseConfig(BaseSettings):
OPENAI_API_KEY: Optional[str]
PINECONE_API_KEY: Optional[str]
TAVILY_API_KEY: Optional[str]
model_config = SettingsConfigDict(env_file=".env", extra="ignore")
Projekt przechowuje narzędzia w pakiecie tools, wraz z prostymi przykładami, takimi jak pomocnik do obliczania sumy i narzędzie do sprawdzania pogody.
project/
|
├── tools
│ ├── get_sum.py # a simple LangChain tool example
| └── weather.py # get_weather LangChain tool using open source APIs
|
|── tool_call.py # implement tool-calling loop using LangChain tools
├── config.py # pydantic BaseConfig
├── .env # environment variable definition
├── .gitignore
└── requirements.txt # package requirements
Czym jest narzędzie LangChain
Narzędzie to zwykła funkcja w Pythonie opatrzona dekoratorem @tool. Dekorator otacza funkcję, tworzy schemat na podstawie dokumentacji i wskazówek typów oraz dostarcza modelowi instrukcji dotyczących jej wywołania.
from langchain.tools import tool
@tool
def get_sum(a: int, b: int) -> int:
"""
get the summation of two integers
:param a: int, input integer
:param b: int, input integer
:return: int, the sum of a and b
"""
return a + b
Narzędzie pogodowe
get_weather wykorzystuje bezpłatną API Open-Meteo. Wyszukuje współrzędne miasta, a następnie pobiera aktualną pogodę. Ten wzorzec – najpierw ustalenie, potem pobranie danych – jest typowy dla narzędzi w czasie rzeczywistym.
Pętla wywoływania narzędzi
Gdy narzędzia już istnieją, kolejnym pytaniem jest to, w jaki sposób model nimi korzysta. Odpowiedzią jest czterostopniowy cykl.
- Użytkownik wysyła żądanie.
- Model decyduje, które narzędzie lub narzędzia należy wywołać, i wysyła wiadomość z nazwami oraz argumentami.
- Narzędzia działają poza modelem, a ich wyniki wracają jako wiadomości narzędziowe.
- Model łączy te wyniki i tworzy ostateczną odpowiedź.
Model nigdy sam nie wykonuje narzędzi. Wszystko działa na zewnątrz, a wyniki wracają jako wiadomości narzędziowe, które model następnie analizuje.
Model może również poprosić o kilka narzędzi w jednej odpowiedzi, co nazywa się równoległymi wywołaniami narzędzi. Gdy zostanie poproszony o temperaturę w Bostonie oraz sumę trzech i pięciu, może jednocześnie wywołać funkcje get_weather i get_sum; pętla uruchamia obie te funkcje przed udzieleniem odpowiedzi.
Wdrożenie pętli w LangChain
Klasa WeatherAssistant obejmuje funkcje dotyczące pogody i wyszukiwania w internecie przy użyciu funkcji get_weather i tavily_search.
LLM i narzędzia
Konstruktor konfiguruje model OpenAI, słownik narzędzi, ograniczony model LLM, który może je wywoływać, listę wiadomości oraz instrukcje systemowe, które wskazują modelowi, kiedy użyć danego narzędzia.
class WeatherAssistant:
def __init__(self):
# initialize llm
self.llm = ChatOpenAI(api_key=api_key, model="gpt-4o-mini", temperature=0)
# initialize a tool dictionary
self.tools = {"get_weather": get_weather,
"tavily_search": TavilySearch(max_results=3, tavily_api_key=TAVILY_API_KEY)}
# bind LangChain tools to llm
self.llm_with_tools = self.llm.bind_tools(list(self.tools.values()))
# initialize messages to store message list
self.messages = []
# System prompt
self.system_prompt = f"""You are a helpful assistant for question-answering tasks.
When users ask about weather, use the get_weather tool to get weather. For other questions,
use web_search. If you don't know the answer, just say that you don't know.
Be conversational and helpful in your responses."""
self.messages.append(SystemMessage(content=self.system_prompt))
Metoda czatu
chat dodaje wiadomość użytkownika, wywołuje model, a jeśli istnieją żądania narzędzi, uruchamia każde z nich w pętli, dodając każdy wynik jako ToolMessage, po czym ponownie wywołuje model w celu uzyskania ostatecznej odpowiedzi. Ten wzorzec obsługuje zarówno pojedyncze, jak i równoległe żądania.
async def chat(self, message: str):
# Wrap User message in a HumanMessage and add it to message list
self.messages.append(HumanMessage(content=message))
# Get AI response (it may or may not contain tool calls)
response = await self.llm_with_tools.ainvoke(self.messages)
self.messages.append(response)
# If there is any tool calls in the AI response
if response.tool_calls:
# process tool calls
for tool_call in response.tool_calls:
# retrieve function name from tool_call, then
# retrieve the tool from tool dictionary, and invoke it,
# append resulting tool message to message list
tool = self.tools[tool_call["name"]]
tool_result = await tool.ainvoke(tool_call)
self.messages.append(tool_result)
# Get final response after tool execution
final_response = await self.llm_with_tools.ainvoke(self.messages)
self.messages.append(final_response)
Szybki test
Niewielki skrypt asynchroniczny tworzy asystenta i pyta o temperaturę w Tokio.
async def main():
print("hello tool calling!")
assistant = WeatherAssistant()
message = "What is the temperature in Tokyo?"
await assistant.chat(message)
for msg in assistant.messages:
msg.pretty_print()
if __name__ == "__main__":
asyncio.run(main())
Lista wiadomości pokazuje wtedy jasną sekwencję: wiadomość od człowieka z pytaniem, wiadomość od AI z wywołaniem narzędzia get_weather, wiadomość od narzędzia zawierająca dane pogodowe oraz ostateczna wiadomość od AI z wypowiedzianą odpowiedzią.
Uwaga dotycząca błędów i ponownych prób\n\nJeśli narzędzie wywoła błąd, pętla powinna przechwycić tę wyjątkową sytuację, przekształcić ją w czytelną wiadomość od narzędzia i pozwolić modelowi zdecydować, czy spróbować ponownie, czy przeprosić. Słupe ponownych prób z tymi samymi błędnymi argumentami marnuje czas; lepiej pokazać tekst błędu, aby model mógł się dostosować.\n\n## Dlaczego to ma znaczenie dla serii
Wywoływanie narzędzi stanowi podstawę systemu ReAct oraz każdego agenta, który sam decyduje o swoich działaniach. Gdy ten cykl zostanie ustalony, dodanie nowej funkcjonalności oznacza napisanie kolejnej funkcji @tool, a nie dodanie nowego węzła grafu. To właśnie uproszczenie było potrzebne w złożonym procesie pracy opisanym w Części 2. Gdy narzędzia są zarejestrowane raz, nowe domeny przestają być nowymi węzłami grafu i stają się nowymi funkcjami, które model może odkryć na podstawie ich schematów i dokumentacji. W następnym artykule zostanie rozwinięty ten cykl przy użyciu wzorca ReAct, a następnie powróci się do grafu z Części 2, aby pokazać, jak wiele elementów połączeniowych znika, gdy decyzje są podejmowane poprzez wywoływanie narzędzi.
Literatura pokrewna
- Agentic RAG w LangGraph: oceniające elementy, warunkowe routowanie i alternatywa w postaci wyszukiwania w sieci — Przenieś liniową architekturę RAG z LangChain do StateGraph w LangGraph z wykorzystaniem oceniających elementów LLM, warunkowych połączeń i krawędzi, testów oraz punktu końcowego FastAPI, który informuje o pochodzeniu danych.
- Prace z wieloma agentami w LangGraph: porównanie modeli swarm i supervisor — Podziel proces pracy w LangGraph na podagenty z funkcją przechowywania stanów, a następnie stwórz asystenta finansowego działającego zarówno jako grupa agentów, jak i supervisor, aby sprawdzić, w którym momencie każdy z tych modeli przestaje być skuteczny.