Головна / Статті

Виклик інструментів у LangChain: механізм, що лежить в основі агентних додатків

Зареєструйте функції Python як інструменти LangChain та запустіть чотирьохкроковий цикл, під час якого модель обирає інструменти, вони виконуються ззовні, а результати повертаються у вигляді повідомлень.

Видавець: REACTAPP.TOP6 хв читання1280 слів

Джерела: Agentic AI with LangChain — Part 3: Tool Calling in LangChain

Це третя частина серії «Агентні ШІ з LangChain». У частині 2 була створена агентна робоча схема RAG за допомогою LangGraph. Наступним кроком є розширення на більше галузей – кулінарія, плавання, класична музика, а навіть актуальна погода у містах світу – не допускаючи при цьому перевантаження графа новими вузлами.

Згідно з підходом частини 2, можна додавати по одному вузлу пошуку на кожну галузь, кожен зі своїм власним індексом Pinecone, а також вузол погоди, який запитує публічний API. У міру збільшення кількості вузлів зростає й кількість їхніх з’єднань та гілок, що ускладнює підтримку графа.

Виклик інструментів — це вихід із ситуації. Замість одного вузла на кожну функцію реєструйте ці функції як інструменти LangChain та дозвольте моделі вирішувати, коли їх викликати, як використовувати результати та як інтегрувати їх у кінцеву відповідь. Це спрощує робочий процес та розширює можливості моделі завдяки точним обчисленням, запитам до баз даних, пошуку в Інтернеті та API в реальному часі.

У наступному розділі розглядаються основні ідеї та цикл виклику інструментів у LangChain. Ця основа підготовлює ґрунт для наступної статті про ReAct. Коли ми зрозуміємо ReAct, робочий процес у частині 2 можна буде спростити, використовуючи ті самі ідеї. Код знаходиться у репозиторії GitHub.

Теми:

  • Що таке виклик інструментів та чому це важливо.
  • Як реалізувати інструменти LangChain.
  • Як працює чотирикроковий цикл виклику інструментів.

Словниковий запас

  • Інструмент LangChain: функція на Python, прикрашена анотацією @tool, яка розкриває моделі її схему та інструкції використання.
  • Виклик інструменту: механізм, за допомогою якого модель запитує про виконання зовнішньої функції.
  • Повідомлення інструменту: тип повідомлення, який передає результати інструменту назад до моделі.
  • Цикл виклику інструменту: процес, у якому модель обирає інструмент, інструмент виконується поза моделлю, повертаються результати, які потім використовуються моделлю для формування відповіді.

Налаштування

Створіть файл .env з ключами OpenAI та Tavily.

OPENAI_API_KEY="<Your OpenAI API Key>"
TAVILY_API_KEY=<Your TAVILY API Key>

Завантажуйте їх через клас налаштувань Pydantic.

class BaseConfig(BaseSettings):
    OPENAI_API_KEY: Optional[str]
    PINECONE_API_KEY: Optional[str]
    TAVILY_API_KEY: Optional[str]

model_config = SettingsConfigDict(env_file=".env", extra="ignore")

Проєкт зберігає інструменти в пакеті tools, разом із простими прикладами, такими як функція для підсумовування та інструмент для перевірки погоди.

project/
|
├── tools
│   ├── get_sum.py    # a simple LangChain tool example
|   └── weather.py    # get_weather LangChain tool using open source APIs
|
|── tool_call.py      # implement tool-calling loop using LangChain tools
├── config.py         # pydantic BaseConfig
├── .env              # environment variable definition
├── .gitignore
└── requirements.txt  # package requirements

Що таке інструмент LangChain

Інструмент — це звичайна функція на Python із декоратором @tool. Цей декоратор обгортає функцію, створює схему на основі документації та підказок щодо типів та надає моделі інструкції щодо її виклику.

from langchain.tools import tool


@tool
def get_sum(a: int, b: int) -> int:
    """
    get the summation of two integers
    :param a: int, input integer
    :param b: int, input integer
    :return: int, the sum of a and b
    """
    return a + b

Інструмент погоди

get_weather використовує безкоштовний API Open-Meteo. Він знаходить координати міста, а потім отримує інформацію про поточну погоду. Така схема — спочатку знаходження даних, потім їх отримання — є типовою для інструментів у реальному часі.

Цикл виклику інструментів

Як тільки інструменти створені, наступне питання — як модель ними користується. Відповідь — це чотирикроковий цикл.

  1. Користувач надсилає запит.
  2. Модель вирішує, який інструмент чи інструменти потрібно викликати, та надсилає повідомлення з іменами та аргументами.
  3. Інструменти працюють поза межами моделі, а їхні результати повертаються у вигляді повідомлень від інструментів.
  4. Модель об’єднує ці результати та формує остаточну відповідь.

Модель ніколи не виконує інструменти сама. Усе відбувається ззовні, а результати повертаються у вигляді повідомлень від інструментів, які потім аналізується моделлю.

Модель також може запитати кілька інструментів у одній відповіді, що називається паралельними викликами інструментів. Якщо її попросити надати температуру в Бостоні та суму трьох і п’яти, вона може одночасно викликати як get_weather, так і get_sum; ці виклики виконуються перед наданням відповіді.

Реалізація циклу в LangChain

Клас WeatherAssistant об’єднує функції отримання метеорологічних даних та пошуку в Інтернеті за допомогою get_weather та tavily_search.

LLM та інструменти

У конструкторі встановлюється модель OpenAI, словник інструментів, обмежений LLM, який може їх викликати, список повідомлень та системний запит, який вказує моделі, коли використовувати кожен інструмент.

class WeatherAssistant:
    def __init__(self):

        # initialize llm
        self.llm = ChatOpenAI(api_key=api_key, model="gpt-4o-mini", temperature=0)

        # initialize a tool dictionary
        self.tools = {"get_weather": get_weather,
                      "tavily_search": TavilySearch(max_results=3, tavily_api_key=TAVILY_API_KEY)}
        # bind LangChain tools to llm
        self.llm_with_tools = self.llm.bind_tools(list(self.tools.values()))

        # initialize messages to store message list
        self.messages = []

        # System prompt
        self.system_prompt = f"""You are a helpful assistant for question-answering tasks.
        When users ask about weather, use the get_weather tool to get weather. For other questions,
        use web_search. If you don't know the answer, just say that you don't know.
        Be conversational and helpful in your responses."""

        self.messages.append(SystemMessage(content=self.system_prompt))

Метод чату

chat додає повідомлення користувача, запускає модель, а якщо є виклики інструментів, то у циклі виконує кожен інструмент, додає кожен результат як ToolMessage, а потім знову запускає модель для отримання кінцевої відповіді. Ця схема підтримує як одночасні, так і паралельні виклики.

async def chat(self, message: str):
    # Wrap User message in a HumanMessage and add it to message list
    self.messages.append(HumanMessage(content=message))

    # Get AI response (it may or may not contain tool calls)
    response = await self.llm_with_tools.ainvoke(self.messages)
    self.messages.append(response)

    # If there is any tool calls in the AI response
    if response.tool_calls:

        # process tool calls
        for tool_call in response.tool_calls:

            # retrieve function name from tool_call, then
            # retrieve the tool from tool dictionary, and invoke it,
            # append resulting tool message to message list
            tool = self.tools[tool_call["name"]]
            tool_result = await tool.ainvoke(tool_call)
            self.messages.append(tool_result)

        # Get final response after tool execution
        final_response = await self.llm_with_tools.ainvoke(self.messages)
        self.messages.append(final_response)

Швидкий тест

Невелика асинхронна функція створює асистента та запитує про температуру в Токіо.

async def main():
    print("hello tool calling!")
    assistant = WeatherAssistant()
    message = "What is the temperature in Tokyo?"
    await assistant.chat(message)
    for msg in assistant.messages:
        msg.pretty_print()
if __name__ == "__main__":
    asyncio.run(main())

Список повідомлень потім показує чітку послідовність: людське повідомлення з запитанням, повідомлення від ШІ з викликом інструменту get_weather, повідомлення від інструменту з даними про погоду та останнє повідомлення від ШІ з усною відповіддю.

Примітка щодо помилок та повторних спроб\n\nЯкщо інструмент винесе помилку, цикл має захопити цю виняткову ситуацію, перетворити її на зрозуміле повідомлення від інструменту та дати моделі можливість вирішити, чи спробувати знову, чи вибачитися. Сліпі повторні спроби з тими самими некоректними аргументами марнують час; краще відобразити текст про невдачу, щоб модель могла скоригувати свою роботу.\n\n## Чому це важливо для серії

Виклик інструментів є основою підходу ReAct та будь-якого агента, який сам вирішує свої дії. Як тільки цей цикл стає міцним, додавання нової функціональності означає створення ще однієї функції @tool, а не ще одного вузла графа. Саме це спрощення було необхідним для складного робочого процесу, описаного у Частині 2. Після одноразової реєстрації інструментів нові сфери більше не є новими вузлами графа, а стають новими функціями, які модель може виявити з їхніх схем та документації. У наступній статті буде розглянуто цей цикл з використанням паттерну ReAct, а потім повернеться до графа Частини 2, щоб показати, наскільки зменшується кількість необхідних з’єднань, коли прийняття рішень здійснюється через виклик інструментів.