Галоўная / Артыкулы

Выклік інструментаў у LangChain: цыкл за агентнымі праграмамі

Рэгіструем функцыі Python як інструменты LangChain і запускаем чатырохкрокавы цыкл: мадэль выбірае інструменты, яны выконваюцца звонку, а вынікі вяртаюцца як паведамленні.

Выдавец: REACTAPP.TOP6 хв чытання1280 слоў

Крыніцы: Agentic AI with LangChain — Part 3: Tool Calling in LangChain

Эта ўрадзіна — трэцяя ў серыі «Агентныя AI з LangChain». У другай частцы была створана агентная рабочая схема RAG з выкарыстоўванням LangGraph. Наступны крок — распрацаваць гэтыя тэхналогіі ў большай колькасці домэнаў: гатованні, плаванні, класычной музыцы, а таксама для прымітання падлеглых пагодных умоў у горадах усьго света, не пераплутваючы граф ад новых вузлаў.

Следуючы прыкладу другай частцы, можна дадаць по аднаму вузлу для выкарыстоўвання інформацыі з кожнага домэна, пры чым кожны з іх будзе маць свой індэкс Pinecone, а таксама вузел для пагодных даных, які будзе запрашваць інфармацыю з публічнага API. Калі колькасць вузлаў зрастае, зростае і колькасць ўзаемных звязоў, і стае складна падтрымваць граф.

Вікорыстання інструментаў ёсць ефектывнім способом вірышэння проблем. Замест створэння окрэмого вузла для кожноі функціі іх слід зарэеструваты як інструменты LangChain, шчоб мадэль сама вірышувала, колі іх віклікаты, як вікорыстовуваты рэзультаты і як інтэгруваты іх у кінцеву відповідзь. Гэта спрошчуе робочый працэс і дозволяе вікорыстовуваты точні розрахункі, запіты до баз даных, пошук у Інтэрнэты і API в рэальному часі.

У наступніх роздылах розглядаюцца основні ідэі і цыкл вікліку інструментаў у LangChain. Гэтая основа стане підгрунцям для наступноі статты про ReAct. Зрозумівшы прынцыпі ReAct, можна спростыты робочый працэс за допомогою тых саміх ідэй. Код знаходыцца у рэпазіторыі на GitHub.

Тэмі:

  • Што таке віклік інструментаў і чому гэта важліво.
  • Як рэалізуваты інструменты LangChain.
  • Як працюе чотырьохкроковій цыкл вікліку інструментаў.

Словнік

  • Інструмент LangChain: функцыя на Python, адэкораваная з @tool, якая выклікае ў модэль яго схему і інструкцыі па вікорыстоўванні.
  • Выклік інструмента: механізм, праз які модэль просіць запрацаваць зовнішню функцыю.
  • Паведамленне інструмента: тып паведамлення, якое перадае рэзультаты інструмента назад у модэль.
  • Цыкл выкліку інструмента: цыкл, у яком модэль выбірае інструмент, інструмент запрацоўвае па зовнішні, рэзультат вяртаецца, а модэль уключае яго ў адказ.

Настройка

Створыце файл .env з ключамі OpenAI і Tavily.

OPENAI_API_KEY="<Your OpenAI API Key>"
TAVILY_API_KEY=<Your TAVILY API Key>

Завантажыце іх праз клас налашчэнняў Pydantic.

class BaseConfig(BaseSettings):
    OPENAI_API_KEY: Optional[str]
    PINECONE_API_KEY: Optional[str]
    TAVILY_API_KEY: Optional[str]

model_config = SettingsConfigDict(env_file=".env", extra="ignore")

Праект зберагае інструменты ў пакеце tools, пры чым існуюць простыя прыклады, такія як функцыя для вычыслення сумы і інструмент для пераказу паветарства.

project/
|
├── tools
│   ├── get_sum.py    # a simple LangChain tool example
|   └── weather.py    # get_weather LangChain tool using open source APIs
|
|── tool_call.py      # implement tool-calling loop using LangChain tools
├── config.py         # pydantic BaseConfig
├── .env              # environment variable definition
├── .gitignore
└── requirements.txt  # package requirements

Што такое інструмент LangChain

Інструмент — гэта звычная функцыя на Python, якая мае дэкаратар @tool. Дэкоратар абгружае функцыю, стварае схему на адазе документацыі і падказках пра тыпы, а таксама дае модэлю інструкцыі ўспрыему яе.

from langchain.tools import tool


@tool
def get_sum(a: int, b: int) -> int:
    """
    get the summation of two integers
    :param a: int, input integer
    :param b: int, input integer
    :return: int, the sum of a and b
    """
    return a + b

Інструмент для пагляду на парадгэз

get_weather выкарыстоўвае безплатны API Open-Meteo. Ён шукае коордынаты горада, а потым запрашвае актуальны парадгэз. Такі падход — спачатку вычысленне, а потым запрашэнне — ўзніклы для інструментаў у рэальным часе.

Цыкл вызываў інструментаў

Калі інструменты вучынены, наступныя пытанні — як модэль іх выкарыстоўвае. Адпаведзь — чатырохэтапны цыкл.

  1. Пользоватэль адправляе запіт.
  2. Модэль выбірае, які інструмент або інструменты запрашваць, і выдае паведамленне з іменамі і аргументамі.
  3. Інструменты працуюць па званнях мадэлі, а ўсе яныя рынуткі вяртаюцца у вачынку паведамленняў інструментаў.
  4. Модэль адбірае гэтыя рынуткі і стварае заканчоўны адпаведзь.

Модэль ніколі сама не выкананяе інструменты. Усё працуе званнях, а выходныя даны вяртаюцца у вачынку паведамленняў інструментаў, якія потым аналізуецца мадэляй.

Мадэль таксама можа запрашваць калькі лясоў у адной адпаведзі, што называецца паралельнымі вызовамі лясоў. Калі яе пытаюць пра тэмпературу Бостона і суму трох і пяці, яна можа адразу выканаць get_weather і get_sum; цыкл выканае якія-то з іх прычаму адпаведзення.

Рэалізацыя цыклу ў LangChain

Клас WeatherAssistant абгружае можнасці збору інформацыі пра пагоду і пошуку ў Інтэрнэце за дапамогою get_weather і tavily_search.

LLM і лясы

Канстрактар стварае мадэль OpenAI, слоўнік лясоў, LLM, які можа іх вызываць, спіс паведамленняў і сістэмны прыказ, які падказвае модэлі, калі выкарыстоўваць кожны ляс.

class WeatherAssistant:
    def __init__(self):

        # initialize llm
        self.llm = ChatOpenAI(api_key=api_key, model="gpt-4o-mini", temperature=0)

        # initialize a tool dictionary
        self.tools = {"get_weather": get_weather,
                      "tavily_search": TavilySearch(max_results=3, tavily_api_key=TAVILY_API_KEY)}
        # bind LangChain tools to llm
        self.llm_with_tools = self.llm.bind_tools(list(self.tools.values()))

        # initialize messages to store message list
        self.messages = []

        # System prompt
        self.system_prompt = f"""You are a helpful assistant for question-answering tasks.
        When users ask about weather, use the get_weather tool to get weather. For other questions,
        use web_search. If you don't know the answer, just say that you don't know.
        Be conversational and helpful in your responses."""

        self.messages.append(SystemMessage(content=self.system_prompt))

Метод чату

chat дадзеўляе паведамленне карыстальніка, запускае модэль, а калі ёсць вызовы інструментаў, то выконвае кожны інструмент у цыкле, дадзеўляе кожны рэзультат як ToolMessage, пасля чаго знову запускае модэль для фінальнай адпаведзі. Гэты патэрн падтрымлівае як адзіны, так і паралельныы вызывы.

async def chat(self, message: str):
    # Wrap User message in a HumanMessage and add it to message list
    self.messages.append(HumanMessage(content=message))

    # Get AI response (it may or may not contain tool calls)
    response = await self.llm_with_tools.ainvoke(self.messages)
    self.messages.append(response)

    # If there is any tool calls in the AI response
    if response.tool_calls:

        # process tool calls
        for tool_call in response.tool_calls:

            # retrieve function name from tool_call, then
            # retrieve the tool from tool dictionary, and invoke it,
            # append resulting tool message to message list
            tool = self.tools[tool_call["name"]]
            tool_result = await tool.ainvoke(tool_call)
            self.messages.append(tool_result)

        # Get final response after tool execution
        final_response = await self.llm_with_tools.ainvoke(self.messages)
        self.messages.append(final_response)

Короткі тэст

Маленькі асінхронны код стварае асістэнта і запытае пра тэпературу Токія.

async def main():
    print("hello tool calling!")
    assistant = WeatherAssistant()
    message = "What is the temperature in Tokyo?"
    await assistant.chat(message)
    for msg in assistant.messages:
        msg.pretty_print()
if __name__ == "__main__":
    asyncio.run(main())

Спісак паведамленняў пасля чаго паказвае чыстую абаротку: паведамленне ад чалавека з запытаннем, паведамленне ад AI з вызывам інструмента get_weather, паведамленне інструмента з данымі пра пагоду і заканчэўнае паведамленне ад AI з уснай адпаведзю.

Прымечанне пра адказы на адказы і павторныя спробы\n\nКалі інструмент выклікае адказ на адказ, цыкл павінен пераспрацаваць гэтую адказ на адказ, ператворыць яе на чыстае паведамленне інструмента і дазволіць модэлю выбраць, чы хацецца прабаваць знову чы ўжо выбачыцца. Слепыя павторныя спробы з тымі ж некорэктнымі аргументамі марнуюць час; лепшая паказаць тэкст адказу на адказ, каб модэль могла яго скорэктаваць.\n\n## Чаму гэта важна для серыі

Выклік інструмента ўтварае аднойчынную базу для ReAct і для будзь-яга агента, які сам прымечае сваі дзеянні. Калі цыкл стане надзеяным, дадзенне новай можлівасці значыць напісанне ўтолькі што новай функцыі @tool, а не новага вузла графа. Гэта тае спрасцэнне, на якое чакаў перапоўнены працэс выканання з Партыі 2. Калі інструменты зарэгістрованы ўсёраз, новыя домены перастаюць быць новымі вузламі графа і стаюць новымі функцыямі, якія мадэль можа знайсці за дапамогою ўсіх іх схем і докстрынгаў. Наступная артыкул будуе на гэтым цыкле з патэрнам ReAct, а потым вяртаецца да графа з Партыі 2, ўбачываючы, насколькі зменшуецца колькасць з’еднанняў, калі выклік інструмента берае на сябе прымечанні.