Strona główna / Artykuły

API dla agentów, głos pełnoduplekstowy, SWE-2 i routowanie Copilot Auto: Tydzień w rozwoju sztucznej inteligencji

Zarządzana przez OpenAI API dla agentów oraz warstwa głosowa GPT-Live-1, twierdzenia dotyczące wydajności Cognition SWE-2 i ustawienia routingu Copilot Auto, wraz z praktycznymi uwagami na temat kosztów, bezpieczeństwa i oceny.

Wydawca: REACTAPP.TOP7 min czytania1619 słów

Źródła: AI Dev Weekly #26: Agents API, Full-Duplex Voice, SWE-2 and Cost-Aware Copilot

Modele przestały być całym produktem. OpenAI wynajmuje teraz zarządzany cykl agentów, który napędza Codex, wraz z warstwą głosową utrzymującą rozmowę w toku, podczas gdy agent pracuje w tle. SWE-2 firmy Cognition stara się kończyć zadania programistyczne z mniejszą liczbą błędów. GitHub Copilot pozwala programistom wybrać kompromis pomiędzy niską a wysoką jakością zamiast wybierać modele pojedynczo. Wszystkie cztery rozwiązania dotykają tego samego pytania: co zespół powinien mieć we własnym zestawie agentów, a co powinien przekazać innym? Przedmiot ten jest omawiany od 10 do 17 września.

1. OpenAI umieszcza narzędzie Codex za API Agents

10 września OpenAI wprowadziło Agents API w publiczną wersję beta. Jest to zarządzany środowisko wykonywania dla trwałej pracy agentów i nie powinno być mylone z Agents SDK pod nową nazwą. OpenAI zajmuje się orkiestracją sesji, kompresją i przywracaniem kontekstu, natomiast aplikacja dostarcza narzędzia i decyduje o tym, jak agent wpisuje się w produkt.

Przegląd opracowany przez OpenAI dzieli projekt na cztery elementy: konfigurację agenta, środowisko, w którym działa, trwałą sesję oraz strumień zdarzeń i elementów przechodzących przez tę sesję. Aktualizacje mogą przychodzić poprzez strumieniowanie lub webhook. Sesja przyjmuje nowe zadania na podstawie tego, co już wie, więc nic nie rozpoczyna się od pustego kontekstu.

Przewodnik architektoniczny określa, gdzie odbywa się wykonywanie. Istnieją trzy opcje:

  • Bez środowiska narzędzie to łączy się z odległymi połączeniami MCP oraz narzędziami funkcjonalnymi, którymi sama zajmuje się aplikacja. Pliki shell i przestrzeni roboczej nie są dostępne.
  • W środowisku hostowanym przez OpenAI firma ta konfiguruje środowisko sandbox, w którym uruchamiany jest kod, edytowane pliki oraz tworzone artefakty.
  • W środowisku samoodbiornym executor znajdujący się na twojej własnej infrastrukturze łączy się z systemem, podczas gdy OpenAI nadal zarządza narzędziem. Za konfigurację, ponowne łączenie, wyłączanie oraz przechowywanie plików odpowiadasz ty.

Ostatnia opcja nie oznacza samodzielnego hostowania całego agenta. Przeniesienie wykonywania zadań do prywatnej sieci nie przenosi wraz z nim warstwy zarządzania orkiestracją.

Rachunek obejmuje stawki API wybranego modelu, standardowe opłaty za narzędzia oraz ceny kontenerów, gdy sandbox jest hostowany przez OpenAI. Realistyczny budżet uwzględnia cały proces działania z użyciem podagentów i prób ponownych, ponieważ jedna sesja to znacznie więcej niż tylko jedna odpowiedź modelu.

Dokumentacja bezpieczeństwa ostrzega również, że kod napisany przez agenta może odczytać wszelkie dane uwierzytelniające dostępne w jego środowisku. Klucz API aplikacji powinien znajdować się poza sandboxem, destynacje wyjściowe powinny być ograniczone, a dane uwierzytelniające stron trzecich powinny być przekazywane za pośrednictwem brokerów, jeśli to możliwe. Sandbox nie chroni tajemnic, gdy już zostaną one wstrzyknięte do procesu.

Wniosek: Tutaj zmienia się kalkulacja pomiędzy budową a zakupem. Odzyskiwanie sesji i kompresja kosztują dużo w utrzymaniu, więc ich wynajem jest rozsądny. Autorytatywne dane biznesowe oraz zatwierdzenie nieodwracalnych działań powinny znajdować się w samej aplikacji. Rozpoczęcie od użytkownika o prawach tylko do odczytu jest mądrzejsze niż natychmiastowe przejście na agenta, który naprawia problemy. Prawdziwe porównanie dotyczy zakupu środowiska do programowania w porównaniu z wbudowaniem silnika agenta w własny produkt.

2. GPT-Live-1 oddziela rozmowę od pracy

GPT-Live-1 stał się powszechnie dostępny w API tego samego dnia. Jego główną cechą jest pełna dwukierunkowość komunikacji. Model głosowy słucha podczas mówienia, dzięki czemu rozmowa trwa nadal, podczas gdy agent w tle przetwarza informacje za pomocą narzędzi.

W materiałach wprowadzających od OpenAI przykładem przeciwstawnym jest Realtime, w którym jeden model obsługuje mowę, rozumowanie i wybór narzędzi. W trybie Live można oddzielnie wybrać backend. Ktoś może zadać pytanie dotyczące zamówienia, poprawić jakiś szczegół w trakcie wyszukiwania i otrzymać odpowiedź bez przerwy spowodowanej wywołaniem narzędzia.

Przewodnik dotyczący delegacji opisuje dwa tryby:

  • Delegacja odpowiedzi: Live tworzy żądania do skonfigurowanego backendu OpenAI i przekazuje odpowiedzi z powrotem do procesu.
  • Delegacja klienta: aplikacja buduje kontekst, uruchamia swój własny agent lub usługę i przekazuje wynik. Wybierz ten tryb, gdy konieczne są routowanie lub weryfikacje przed tym, jak wynik z backendu dotrze do modelu mowy.

Delegacja klienta wiąże się z subtelnym wymogiem integracyjnym: wydarzenia delegacji zawierają metadane, a nie tekst zadań. Zapytania do backendu powinny być budowane na podstawie wydarzeń transkrypcji oraz stanu aplikacji, ponieważ to wydarzenie nie stanowi gotowego ładunku polecenia.

Zgodnie z stroną opisującą model, sesje głosowe kosztują 0,05 dolara za minutę, naliczane co sekundę, a dodatkowo obciążają kosztami używanie modelu i narzędzi backendowych. Dziesięć minut rozmowy kosztuje zatem 0,50 dolara tylko za transmisję głosową, jeszcze przed uwzględnieniem procesowania informacji, narzędzi czy usług hostingu.

Niezależnie od sytuacji uprawnienia, potwierdzenia oraz stan zadań pozostają w aplikacji. Nawet gdy wyniki z backendu są jeszcze w fazie sprawdzania, nic nie zmusza modelu głosowego do milczenia podczas weryfikacji, dlatego testy powinny badać to, co mówi asystent przed potwierdzeniem działania, a nie tylko to, czy narzędzie ostatecznie odniosło sukces.

Wniosek: Głos staje się interfejsem poprzez agenta, zamiast być ściśle powiązanym procesem przetwarzania mowy, co nadaje się do zadań wsparcia klienta oraz do współpracy programistów bez użycia rąk. Pierwsza ocena powinna sprawdzić, jak radzi sobie z przerwami, zmianami instrukcji podczas wolnego wyszukiwania oraz czy asystent prawidłowo rozróżnia zlecenia od tych, które zostały już wykonane. Naturalna rozmowa ma wartość tylko wtedy, gdy stan zadania pozostaje dokładny. To pytanie różni się od wyboru silnika konwersji mowy na tekst.

3. Cognition SWE-2 dąży do mniejszej liczby kroków, a nie tylko wyższej oceny

Cognition ogłosiło SWE-2 10 września. Najpierw trafi ono do Devin Desktop i CLI, a następnie do Devin Web i Fusion. Zgodnie z postem z premiery, model został dodatkowo przeszkolony na podstawie Kimi K3 i potrafi identyfikować różne poziomy wysiłku rozumowania podczas jednego procesu uczenia się przez wzmocnienie.

Liczba operacyjna jest wyraźnie lepsza. W testie FrontierCode 1.1 Main przy średnim nakładzie pracy, SWE-2 wymagał o 58% mniej obrotów i kosztował o 81% mniej niż SWE-1.7. W teście Cognition SWE-2 uzyskał wynik 50,0%, natomiast w teście Terminal-Bench 4 tylko 27,3%, co znacznie ustępuje najsilniejszym modelom w ramach tego samego porównania.

Ty teście pochodzą od wydawcy i łączą wyniki publiczne z testami wewnętrznymi przeprowadzanymi za pomocą specjalnych narzędzi do testowania modeli, dlatego nie stanowią niezależnej, jednolitej listy rankingowej. Ogłoszenie nie zawiera informacji o cenach API dla SWE-2 ani plików z wagami modelu do pobrania.

Wniosek: Cenną umiejętnością dla agenta programistycznego jest umiejętność rozpoznania momentu, w którym kończy się eksploracja i zaczyna edycja. Unikanie powtarzających się odczytów repozytorium oraz zbędnych wywołań narzędzi może być ważniejsze niż obniżanie kosztów tokenów. Mniej rund nie zawsze oznacza lepszą pracę, ponieważ może to wynikać z pominięcia weryfikacji. Zrównoważone testy obejmują małą poprawkę błędu, migrację oraz refaktoryzację, które muszą zachować dotychczasowe zachowanie produktu, przy jednoczesnym rejestrowaniu tego, co zostało zaakceptowane, jakie testy zostały pominięte, co poprawili recenzenci oraz w jaki sposób produkt faktycznie był używany. Należy testować aktualne możliwości Devin, a nie nieistniejący oddzielny punkt końcowy.

4. Copilot Auto otrzymuje kontrolę jakości w stosunku do kosztów

14 września GitHub wprowadził trzy preferencje automatycznego routingu. Opcja Efektywność obniża koszty, Opcja Równowaga bierze pod uwagę koszt, jakość i opóźnienie, natomiast Opcja Inteligencja faworyzuje jakość. Zgodnie z ogłoszeniem, VS Code, Copilot CLI oraz aplikacja Copilot stopniowo otrzymują tę funkcję.

Dwie z ograniczeń pochodzą z dokumentacji dotyczącej automatycznego routingu. Proces routingu nadal uwzględnia zasady dostępu do planu oraz polityki administratora, a także działa w ramach naturalnych granic pamięci cache, dzięki czemu koszty związane z pamięcią cache nie rosną. Polityka dotycząca modeli ograniczonych w organizacji nie jest ignorowana.

Preferencja ta również nie stanowi limitu wydatków. Opcja Efektywność może wybrać bardziej wydajny model, gdy zadanie tego wymaga, a Opcja Inteligencja nie gwarantuje użycia największego modelu przy każdej odpowiedzi. Wybrany model oraz rzeczywiste użycie wymagają analizy przed wyciąganiem wniosków na podstawie tej etykiety.

Wniosek: Ustawienie to jest lepsze niż zmuszanie każdego programisty do zapamiętywania rankingu modeli, chociaż utrudnia porównania, o ile nie są rejestrowane wybory ścieżek. Wykonywanie identycznych zadań reprezentatywnych w ramach każdej preferencji oraz porównywanie kosztu za przyjętą zmianę, opóźnienia i wysiłku recenzenta daje rzeczywiste dane. Wyraźny wybór modelu pozostaje odpowiedni tam, gdzie wyniki muszą być powtarzalne. Preferencje ścieżek i zasady fakturowania to odrębne kwestie.

Główne punkty

  • Automatyzacje agenta VS Code. Wersja 1.137 wprowadza jako wersję wstępną powtarzające się zadania co godzinę, codziennie i co tydzień. Raporty konserwacyjne lub projekty pull request nadają się do pierwszej próby, a zasady dotyczące nakładających się wykonywań powinny być ustalone z góry. Notatki o wydaniu tygodniowym wymieniają również lokalne, chmurowe i złożone ścieżki routingu HydraFusion w eksperymentalnym menu CLI, co jest czymś odrębnym od powyżej opisanych ustawień Auto.
  • Przegląd kodu Copilot. Podczas ponownego przeglądu zamkną komentarze, które już przetworzył, oraz udostępni narzędzia shell do budowania, testowania i skryptów specjalistycznych, działające za firewall agenta. GitHub dodaje również zespół agentów do przeglądów w wersji Lite. Dodatkowa weryfikacja jest pomocna, ale wymaganie przeglądu przez człowieka to inna ustawienie repozytorium.
  • Zarządzanie kluczami API. 15 września OpenAI wprowadziło kontrole organizacyjne i projektowe, które ograniczają tworzenie nowych kluczy do kont usługowych, kluczy projektowych należących do użytkowników lub całkowicie ich zakazują. Zasady organizacyjne mają pierwszeństwo, a już wydane klucze pozostają bez zmian. Kontrole dotyczące terminu ważności kluczy z 10 września pojawiły się w dzienniku zmian API. Blokowanie nowych kluczy nie powoduje rotacji starych uprawnień.
  • Częste pytania

    Czy API Agents to po prostu przemianowane SDK Agents? Nie. API dostarcza narzędzie zarządzane przez OpenAI oraz trwałe sesje, natomiast SDK oferuje elementy budulcowe do orkiestracji kontrolowanej przez aplikację. API nadal znajduje się w fazie publicznego beta.

    Czy agent backendowy jest uwzględniony w cenie GPT-Live-1? Nie. Usługa głosowa kosztuje 0,05 dolarów za minutę, naliczanej sekundowo, natomiast użycie modelu backendowego i narzędzi jest naliczane oddzielnie.

    Czy SWE-2 można pobrać lub używać za pośrednictwem własnej API? W komunikacie o uruchomieniu nie podano ani wagi, ani cen samodzielnej API, więc ocena musi odbywać się poprzez udokumentowane interfejsy Devin.

    Czy wybór opcji Efficiency zmniejsza rachunek miesięczny? Wcale nie. Umożliwia ona kierowanie ruchem bez ograniczeń kosztowych. Opłaty zależą od wybranego modelu, dlatego należy mierzyć zużycie i samodzielnie kontrolować budżet.