Практычныя прытамулкі: DS-STAR: Як Google створыў агента для науки пра даныя, які фактычна

Існавайце гэта як перапрацоўаны варыянт ідэй з статті “DS-STAR: How Google built a Data Science agent that actually works” для працаваючых з апаратам: чыстыя этапы, арганізаваныя блакіты коду і прыметкі з восстанавлення, якія застаюцца пасля перадачы задання. Этап “Агульныя відзнаки” найэфектывней працюе, калі яго розглядаць як меркаваную плошчу. Запісаце адну ідеальную транскрыпцыю, адзін прыклад неудачы і прыметкі з вярнення да пачатковага стану прычаму расшырэння масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіце, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задання.

Дзе можна знайсці статтю?

Для этапа «Дзе можна знайсці» неабяжна ўскладненне параметраў, власніка крока і крэатывных крытарыяў пры змены коду. Аператары должны магчымае перзапускіць крок з вядомай точкі контролю, не падозрываючы схованы статус. Спрыяйце гэтаму этапу як кантракту між параметрамі і перакананымі выходамі. Дайце назву артыфактам, ускладненне перакананняў пра успех і адмовіцеся ад тыхнай частковай завершэння без паведамлення. Заставіце людзкую апраўду на тых кроках, дзе витыкаюць грошы або змінююцыся даныя для працы. Кампайляванне на час не ўзроўнаваліся з абсолютным завершэнням задачы.

Што будзе абранае ў гэтым паблыку?

Для таго, калі будзе выканана работа гэтога блогу, пярэд змінайом код неабходна ўзначыць вхідныя даны, адпаведальнага за кожны крок і критэрыя завершэння. Аператары должны магчымае перайсці на гэты крок з вядомага пункта контролю, не прыпускаючы стану, які залишаецца незрозумелым. Запісваюць час выканання і вартасць токена або запыту празаўсёды разам з функцыйнальнымі рэзультатамі. Відразлівае прадставленне вартасцей запобегае неспакою, калі процес пераходзіць з дэмовай среды ў спяльнаваныя сераўеры. Неабходна людская апрацоўка тых крокаў, якія выкорыстоўваюць грошы або зміняюць даны ў працоўный сервіс. Працэс складання коду сам по сабе не гарантуе полнай адпаведнасці з бізнес-трэбованнямі.

Мета статты

Для цялей стадіі напісання артыкула неабходна прадзефінаванне вхідных дадзеных, адміністратара крока і крытэра завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба знаходзіць паза кодам прыкладнення. Файлы серавэра, хранілішча секретных дадзеных і флагі функцыйяў павінны быць у адном месца, якое аперацыйныя працавнікі могу пераглядаць, не чытаючы весь ланцуг задач. Прызначайце людскія апраўды для рэлей, якіе витрачаюць грошы або зменяюць даны у працоўным режыме. Підключэння пад час компілявання не ўзроўнаўваецца з полным адпаведнам станом бізнесу. Для цялей стадіі напісання артыкула неабходна прадзефінаванне вхідных дадзеных, адміністратара крока і крытэра завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Валідзіце маленькія, тэставаныя елементы працоўніка ў працоўным режыме замест большых скрыптав. Калі крок не выканаецца, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцуг задач.

Як структураваны агент науки дадзейна DS-STAR

Калі працуеце над этапам дадзейна DS-STAR, спачатку запісайце умовы кантракту: неабяжлівыя вхідныя даны, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі список контролю дапамагае заліцвачыць змяны ў кодзе. Спрэчвайце гэты этап як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце критэрыя успеху і не падзельвайцеся на часткова завершэння без паведамлення. Стварайце контрольныя точкі пасля дорогіх крокаў. Програма для продакцыі не павінна зноў выклікаць той самы календарны вызов LLM, калі аператар праканае пазнейшы вузел.

Дэтальны аналіз DS-STAR

Калі працюеце над стадзіяй глыбокага аналізу DS-STAR, спачатку запісайце умовы контракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага абякання. Такі список контроля дапамагае заліцвачыць змяны ў кодзе.

Запісвайце час выканання і кост токенаў або запытаў праза функцыйнае рэзультат. Відкрытыя даны пра косцы запобегаюць неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды.

Зробіце контрольную пазнаку пасля дорогіх крокаў. Програма не должна зноў нарачываць косты той самай вызову LLM, калі аператар прабуюць зноў выканаць пазнейшы элемент.

3.1. Сям модуляў.

Калі працуеце па 3 1 Сэмь стадзіях, спачатку запісайце «кантракт»: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцваліваць пазнейшыя змены коду. Зберагаеце настройкі за межамі коду прыемлі. Файлы сераўнавання, храненні секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавіць аудыт без неабяжлівага чытання всей структуры. Ставяйце контрольныя пункты пасля дорогіх крокаў. Функцыя вярнення до роботы не должна занова ставіць плату за той самы вызыв LLM, калі аператар перапрыяўляе роботу да наступнага элемента. Калі працуеце па 3 1 Сэмь стадзіях, спачатку запісайце «кантракт»: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцваліваць пазнейшыя змены коду. Волійце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшаў, прычына нявыпання должна вказываць на адну конкрэтную абавязку, а не на заплутаную структуру працы.

Модуль 1. АНАЛІЗАТОР.

Этап Модуля 1 «Аналізавальнік» працюе наявнашчы лепш, калі яго розглядаць як вимерную паверхню. Зафіксавайце адны ідеальны прыклад, адну справу з бягам і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Разглядзайце гэты этап як кантракт межа вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зберагачы стан графа ў простам і типаванам формате. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакойваюць працу пасля перарываў.

You are an expert data analysist.
Generate a Python code that loads and describes the content of {filename}.

# Requirement
- The file can both unstructured or structured data.
- If there are too many structured data, print out just few examples.
- Print out essential informations. For example, print out all the column names.
- The Python code should print out the content of {filename}.
- The code should be a single-file Python program that is self-contained and can be
executed as-is.
- Your response should only contain a single code block.
- Important: You should not include dummy contents since we will debug if error occurs.
- Do not use try: and except: to prevent error. I will debug it later.

Модуль 2. Планавальнік.

Этап Module 2 «Планавальнік» працюе найэфектывней, калі яго розглядаць як вимерную плошчу. Запісаце адна ідеальная версія, адзін прыклад неудачы і запіс працэў павернення да пярвоначальнага стану пры розшырэнні масштаба. Запісвайце часы выканання і кост токеноў або запытаў праза функцыйнае рэзультат. Відразлівае паказанне костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Храніце стан графа простым і з адначыяным типам дадзеных. Вкладаныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакшваюць продажчыку роботу пасля перарываў.

You are an expert data analysist.
In order to answer factoid questions based on the given data, you have to first plan
effectively.

# Question
{question}

# Given data: {filenames}
{filenames #1}
{summaries #1}
...
{filenames #N}
{summaries #N}

# Your task
- Suggest your very first step to answer the question above.
- Your first step does not need to be sufficient to answer the question.
- Just propose a very simple initial step, which can act as a good starting point to
answer the question.
- Your response should only contain an initial step.

You are an expert data analysist.
In order to answer factoid questions based on the given data, you have to first plan
effectively.

Your task is to suggest next plan to do to answer the question.

# Question
{question}

# Given data: {filenames}
{filenames #1}
{summaries #1}
...
{filenames #N}
{summaries #N}

# Current plans
1. {Step 1}
...
k. {Step k}

# Obtained results from the current plans:
{result}

# Your task
- Suggest your next step to answer the question above.
- Your next step does not need to be sufficient to answer the question, but if it
requires only final simple last step you may suggest it.
- Just propose a very simple next step, which can act as a good intermediate point to
answer the question.
- Of course your response can be a plan which could directly answer the question.
- Your response should only contain an next step without any explanation.

Модуль 3. Кодавальнік.

Этап Module 3 The CODER працюе найкраща, калі яго розглядаць як вимерную паверхню. Зберагчыце адны ідеальны прыклад роботы, адны прыклад неудачі і запіс пра відкатанне раней, чым расширваце сферу дзеяння. Зберагчыце настройкі параду ўнутры прыклада програмы. Файлы серавэра, хранільнікі секретных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адрабоўваць аудыт, не чытаючы весь граф. Зберагчыце стан графа у простам і типаванам формате. Вярнутыя структуры данных маскуюць інфармацыю пра тое, який вузел запісаў які поле, і спакоююць продаж чыненняў пасля перерываў. Этап Module 3 The CODER працюе найкраща, калі яго розглядаць як вимерную паверхню. Зберагчыце адны ідеальны прыклад роботы, адны прыклад неудачі і запіс пра відкатанне раней, чым расширваце сферу дзеяння. Валічыце маленькія, тэставаныя елементы працы над вялікімі скрыптамі. Калі якась цэх не выйшла, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі працы.

# Given data:
{filenames}
{filenames #1}
{summaries #1}
...
{filenames #N}
{summaries #N}

# Plan
{plan}

# Your task
- Implement the plan with the given data.
- Your response should be a single markdown Python code (wrapped in ```).
- There should be no additional headings or text in your response.

You are an expert data analysist.
Your task is to implement the next plan with the given data.

# Given data:
{filenames}
{filenames #1}
{summaries #1}
...
{filenames #N}
{summaries #N}

# Base code
```python
{base_code}
```

# Previous plans
1. {Step 1}
...
k. {Step k}

# Current plan to implement
{Step k+1}

# Your task
- Implement the current plan with the given data.
- The implementation should be done based on the base code.
- The base code is an implementation of the previous plans.
- Your response should be a single markdown Python code (wrapped in ```).
- There should be no additional headings or text in your response.

Модуль 4. The DEBUGGER.

Для стадіі DEBUGGER у Модуле 4 неабяжна ўскладненне вхідных дадзей, адпаведальнага за кожны крок і крэтарыяў выходу пры перадзеі коду. Аператары должны магчымаць паўтарнае адрыхленне кроку з вядомага пункту контролю, не спадзяючыся на заштынены стан. Спрэцьвачаеце гэтую стадію як кантракт межа вхіднымі дадзей і паверыцельнымі выходамі. Даўце назвы артыфактам, ускладненне перагляду успеху і адмовіцеся ад тыхнай частковай завершэння без паведамлення. Заставьце людзкія апраўданні для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даныя у працэсе. Компіляцыйныя налашчэнні не ўзроўнаўцяюцься з павнай завершэнням бізнес-процэсаў.

# --> PROMPT TO SUMMARISE THE ERROR
# Error report
{bug}

# Your task
- Remove all unnecessary parts of the above error report.
- We are now running {filename}.py. Do not remove where the error occurred.

# --> PROMPT TO FIX THE ERROR
# Code with an error:
```python
{code}
```

# Error:
{bug}

# Your task
- Please revise the code to fix the error.
- Provide the improved, self-contained Python script again.
- There should be no additional headings or text in your response.
- Do not include dummy contents since we will debug if error occurs.
- All files/documents are in `data/` directory.

Модуль 5. Апраўджальнік.

Для стадіі VERIFIER у Модуле 5 неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры змены коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выконання і кост токена або запыту праза функцыйнальнымі рэзултатамі. Відразы коста з самага пачатку запобегае неспакоўным рахункам, калі траекторыя пераходзіць з дэмавай версіі ў спяльныя среды. Пры кроках, якія витрачаюць грошы або зменяюць даны ў працэсе, неабяжна ўключыць людзкія апраўленні. Прыўязка на час компілявання не ўзначае повнайшага адпрацоўвання бізнес-праблем.

You are an expert data analysist.
Your task is to check whether the current plan and its code implementation is enough to
answer the question.

# Plan
1. {Step 1}
...
k. {Step k}

# Code
```python
{code}
```

# Execution result of code
{result}

# Question
{question}

# Your task
- Verify whether the current plan and its code implementation is enough to answer the
question.
- Your response should be one of 'Yes' or 'No'.
- If it is enough to answer the question, please answer 'Yes'.
- Otherwise, please answer 'No'.

Модуль 6. РУТЭР.

Для стадіі ROUTER у Модуле 6 неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Конфігурацыю трэба залічыць праза код аплікацыі. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь ланцуг аператацый. Неабяжна праўіць людскую апрацоўку для рэлей, якія выкарыстоўваюць грошы або зміняюць даны у працэсе. Прыўязка на час компілявання не є падтверджэннем полной апрацоўкі бізнес-процэса. Для стадіі ROUTER у Модуле 6 неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Валічыце маленькія, тэставальныя елементы пра велікія скрыпты. Калі крок не выйшоў, прычына неабяжна паказвае на адну конкрэтную адпаведальнасць, а не на заплутаны ланцуг аператацый.

You are an expert data analysist.
Since current plan is insufficient to answer the question, your task is to decide how to
refine the plan to answer the question.

# Question
{question}

# Given data:
{filenames}
{filenames #1}
{summaries #1}
...
{filenames #N}
{summaries #N}

# Current plans
1. {Step 1}
...
k. {Step k}

# Obtained results from the current plans:
{result}

# Your task
- If you think one of the steps of current plans is wrong, answer among the following
options: Step 1, Step 2, ..., Step K.
- If you think we should perform new NEXT step, answer as 'Add Step'.
- Your response should only be Step 1 - Step K or Add Step.

Модуль 7. The FINALISER.

Калі працуеце над стадзіяй Модуля 7 The FINALISER, спачатку запісайце контракт: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у случае частковага нявыпання. Такі список пераконтроўкаў дапамагае заліцвачыць пазнейшыя змены ў кодзе. Спрыймайце гэтую стадзію як контракт межа данымі і перакананымі выходамі. Дайце назву рэзультатам, задаце правілы пераканання успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зробіце пераконтроўку пасля дорогіх крокаў. Програма не должна занова ставіць плату за той самы вызыв LLM, калі аператар прабуе зноў запрацаваць з пазнейшым вузлам.

You are an expert data analysist.
You will answer factoid question by loading and referencing the files/documents listed
below. You also have a reference code.

Your task is to make solution code to print out the answer of the question following the
given guideline.

# Given data: {filenames}
{filenames #1}
{summaries #1}
...
{filenames #N}
{summaries #N}

# Reference code
```python{code}
```
# Execution result of reference code
{result}

# Question
{question}

# Guidelines
{guidelines}

# Your task
- Modify the solution code to print out answer to follow the give guidelines.
- If the answer can be obtained from the execution result of the reference code, just
generate a Python code that prints out the desired answer.
- The code should be a single-file Python program that is self-contained and can be
executed as-is.
- Your response should only contain a single code block.
- Do not include dummy contents since we will debug if error occurs.
- Do not use try: and except: to prevent error. I will debug it later.
- All files/documents are in `data/` directory.

Важны акцэнт

Калі працюеце над стадзіяй «Важлівыя акцэнты», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Запісвайце час выканання і кост токена або запыту праза функцыйнальныя рэзултаты. Відразлівасць коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды. Зробіце перапаконтаванне пасля дорогіх крокаў. Система адновлення не должна зноў нарахоўваць кост той самай вызову LLM, калі аператар прабуюць зноў запрацаваць пазнейшы вузел.

3.2. Формулы.

Калі працуеце над стадзіяй 3 2 The formulas, спачатку запісайце контракт: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага неяксамоства. Такі список пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Зберагаеце настройкі за межамі коду прыемлі. Файлы сераўнавання, храненні секрэтных дадзенаў і флагі функций павінны знаходзіцца ў адном месцы, куды аператары можаць адбавіць аудыт без неабяжлівага чытання всей структуры. Ставяйце контрольныя пункты пасля дорогіх крокаў. Функцыя вярнення не павінна зноў выклікаць той самы вызов LLM, калі аператар перапрыямляе роботу да наступнага вузла. Калі працуеце над стадзіяй 3 2 The formulas, спачатку запісайце контракт: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага неяксамоства. Такі список пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Валіце маленькія, тэставаныя елементы працы над вялікімі скрыптамі. Калі крок не выйшаў, прычына неяксамоства павінна вказываць на адную адпаведальнасць, а не на заплутаную лінію обработкі.

3.3. Алгорытм.

Алгорытм на стадії 3 3 працюе найэфектывней, калі яго розглядаць як вимерную паверхню. Зафіксавце адны ідеальны прыклад, адну справу з бягам і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Разглядзайце гэтую стадію як кантракт межа вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і не праграмавайце мовчанкава часткова завершэнне задачы. Храніце стан графа у простам і типаваным формате. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць продажчыку роботы пасля перарываў.

Дэтальны аналіз DS-STAR+

Этап глыбокага анаізу DS-STAR працюе наяўней, калі яго спрыяваць як мерыемую паверхню. Запісаце адна «золатая» транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Запісвайце часы выканання і косты токеноў або запытак па боку ад функцыйнаых рэзультаатаў. Візуабельнасць костоў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмавайнага режыма ў спяльныя среды. Храніце стан графа ў простам і типаваным формате. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакшваюць продажчыку роботу пасля перарываў.

4.2. Алгорытм

Алгорытмічны этап 4 2 працюе найкраща, калі яго розглядаць як вимерную паверхню. Зберагачыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Размяшчайце настройкі за межамі коду прыемліка. Файлы сераўнавальнага сераўса, хранілішчы секрэтных данных і флагі функцый должны знаходзіцца ў аднам месцы, куда аператары можуць адбавляць аудыт без неабяжнага чытання всіх дадзеных. Дзеянне графа должна быць простай і типаванай. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў які поле, і спакоююць продаж чытання пасля перерываў. Алгорытмічны этап 4 2 працюе найкраща, калі яго розглядаць як вимерную паверхню. Зберагачыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісьць крок не выйшла, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.

4.3. Запиты, якія стояць за DS-STAR+

Для стадіі 4 3 «Запросы» неабяжна прадзеўначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры перадзмене коду. Аперацыйныя працавнікі должны магчымае перадзрабатваць крок па вядомай точцы контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрацавляйце гэтую стадію як кантракт межа вхіднымі данымі і падтвердзенымі выходнымі рэзультатамі. Даўце назвы артыфактам, прадзеўначыць перакананні ў успеху і адмовіцеся ад бяспрэчнага частковага завершэння. Калі наступны крок — гэта код або вызов інструмента, валідаванне за дапамою схемы лепша, чым вольная проза з структураванымі выходнымі даннымі.

You are an expert data analysist.
Your task is to write a comprehensive data science report to the given question by using
the files/documents listed below.
In order to do this, you have to first suggest multiple data analysis questions that
should be answered to write the report.

# Given data: {filenames}
{filenames #1}
{summaries #1}
...
{filenames #N}
{summaries #N}

# Question
{question}

# Your task
- Suggest multiple factoid data analysis questions that are required to write the report
really well.
- All the questions should be well-answered using the given data.
- All questions should be answered independently.
- Generate as much as you can.
- Return in valid JSON format:
Questions = {'question': str}
Return: list[Questions]

You are an expert data analysist.
Your task is to complement the given data science report of the given question.
In order to do this, you have to suggest supplementary multiple data analysis questions
that can strengthen to the report.

# Given data: {filenames}
{filenames #1}
{summaries #1}
...
{filenames #N}
{summaries #N}

# Given data science report:
{report}

# Question
{question}

# Your task
- Suggest multiple factoid data analysis questions that are required to complement the
report.
- All questions should contain new information that is not included in the report.
- All the questions should be well-answered using the given data.
- All questions should be answered independently.
- Return in valid JSON format:
Questions = {'question': str}
Return: list[Questions]

You are an expert data analysist.
Your task is to write a **comprehensive data science report** to the given question by
using the data and some relevant informations listed below.

# Relevant informations:
{Sub-Question #1}
{Answer #1}
...
{Sub-Question #M_0}
{Answer #M_0}

# Question that you have to write a comprehensive data science report:
{question}

# Your task:
- The report should be grounded to the given relevant informations.
- For the citation, use the Sub-Question number as a citation number which is in 1 - {len(subquestions)}.
- The data science report should be relevant to given question, should be comprehensive,
and should be insightful.
- The data science report should have nice structure, good readability, and should be
professional.
- Write a very comprehensive data science report to the given above question.

You are an expert data analysist.
Your task is to complement the given data science report of the given question by using
the some relevant informations listed below.

Relevant informations:
{Sub-Question #1}
{Answer #1}
...
{Sub-Question #M_k}
{Answer #M_k}

# Given data science report:
{report}

# Question that you have to write a comprehensive data science report:
{question}

# Your task:
- Do not modify the given report a lot. Just try to add new information.
- The report should be grounded to the given relevant informations.
- Cite with alphabet. For the citation, use the Sub-Question number as a citation
alphabet (e.g., cite with [a] for the Sub-Question 1).
- The data science report should be relevant to given question, should be comprehensive,
and should be insightful.
- The data science report should have nice structure, good readability, and should be
professional.
- Complement the give data science report to the given above question.

Тэсты абляціі

Для стадіі тэстаў абляцыі неабходна перад зменым коду задаць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння. Аперацыёныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць трэба час выконання і кост токенаў аб запытаў разам з функцыйнальнымі рэзултатамі. Відразувыя данні пра косцы запобегаюць неспакоўным рахункам, калі процес пераходзіць з дэмавай версіі ў спяльныя среды. Неабходна людская апраўда для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працоўным серавере. Компіляцыйныя налашчэнні не ўзначаюць павнае адпраўлення задання.

Шмат большае колькасць прабавак для сложнейшых задач

Для большэй колькасы раундаў у складнейшых стадіях неабходна прадзефінаваць вхідныя даны, адпаведальную за крок і крэтынія выходу пры змены коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічыць праз аплякацыйны код. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцияў должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць, не чытаяўшы весь ланцуг. Прызначайце людскія апраўды для рэласаў, якія витрачаюць грошы або зменяюць даны у працэсе. Прыўязка на час компілявання не є падтверджэннем полнайсткі бізнес-процэсаў. Для большэй колькасы раундаў у складнейшых стадіях неабходна прадзефінаваць вхідныя даны, адпаведальную за крок і крэтынія выходу пры змены коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы прыхованы стан. Валіце маленькія, тэставальныя елементы працэсаў над вялікімі скрыптамі. Калі крок не выйшаў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцуг задач.

Неяк.

Прыкладны звіт Google

Калі працюеце над стадзіяй прыкладнага звіту Google, спачатку запісайце умовы кантракту: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрэтывайцеся да гэтай стадзіі як да кантракту межа даннімі і перакананымі выходамі. Дайце назвы элементам, задаце перакананні успеху і адмовіцеся ад тыхоўскага частковага завершэння. Стварайце контрольныя пункты пасля дорогіх крокаў. Система вярнення не павінна знову ставіць рахунак за той самы вызов LLM, калі аператар прабуе зноў запрацаваць з пазнейшым вузлам.

9. Абмежэнні

Калі працюеце над 9-м этапам аналізу лімітацыяў, спачатку запісайце угоду: неабходныя даны, сигнал успеху і тое, што выканаецца у разы частковага невяскання. Такі список контроля дапамагае залічваць змяны ў кодзе чыста і прозрачна. Запісвайце час выканання і кост токеноў або запытаў праза функцыйнае рэзультат. Відразлівая візуабельнасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды. Зробіце перапаконтрацю пасля дорогіх крокаў. Система вярнення працы не должна знову налічваць косты той самай вызову LLM, калі аператар прабуюць зноў выканаць пазнейшы вузел.

Заключныя думкі

Калі працюеце над стадзіяй «Заключныя мыслі», спачатку запісайце умовы кантракта: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Зберагаюце настройкі паза кодам прыемленае. Файлы сераўіса, хранільнікі секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавіць аудыт без неабяжлівага чытання всей структуры. Ставяце контрольныя пункты пасля дорогіх крокаў. Система вярнення праблем не должна занова ставіць плату за той самы вызов LLM, калі аператар перапрыяўляе роботу да наступнага элемента. Калі працюеце над стадзіяй «Заключныя мыслі», спачатку запісайце умовы кантракта: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы працы над вялікімі скрыптамі. Калі якісь крок не выйшаў, прычына нявыпання должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаную структуру працы.

Тепер жадаеце чуць вашу думку

Этап «Зараз» будзе працаваць наякнейша, калі яго спрыяваць як мерыемую паверхню. Запісаце адны ідеальны прыклад, адну справу абяцелі і прыметкі па вярнэнню да пачатковага стану пры розширэнні масштаба. Спрыяйце гэтам этапу як кантракту межа вхіднымі дадзеннямі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зберагачыце стан графа ў простам і типаванам формате. Вярнутыя структуры маскуюць, який вузел запісаў канкрэтны поле, і спакшваюць продажчыку роботу пасля перарываў.

Справы

Этап апелляцый работае наяўней, калі яго спрыяваць як мерыемую плошчу. Запісайце адна ідеальная версія, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Запісвайце часы выконання і косты токеноў або запытаў разам з функцыйнаімі рэзультатамі. Відразлівае паказанне костаў з’являецца рана, таму не будзе неспакою з рахункамі, калі процес перейдзе з дэмовай среды ў спяльнаныя сераўы. Храніце стан графа простым і з адначыяным типам дадзеных. Вкладаныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакшваюць продажчыку роботу пасля перерываў.

Следзіце за нашымі новынамі!

Этап «Stay tuned» працюе найкраща, калі яго розглядаць як вимерную паверхню. Зберагчыце адны ідеальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Зберагчыце настройкі параду ўнутры аплікацыйнага коду. Файлы сераўнавальной среды, хранільнікі секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавляць контроль без неабяжнага чытання всіх дадзеных. Зберагчыце стан графа простым і з адзінаковым типам дадзеных. Вярсткаваныя блокі маскуюць інфармацыю пра тое, канференц-зал напісаў канкрэтны поле, і спакоююць працу пасля перарываў. Этап «Stay tuned» працюе найкраща, калі яго розглядаць як вимерную паверхню. Зберагчыце адны ідеальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі дзеяння.

Чэрніцца для аператывных задач

Калі працюеце над стадзіяй Кантрольнага списку, спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага абярэння. Такі кантрольны список дапамагае заліцьваваць чыстасць пазнейшых змян у кодзе.

Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе етапы контролю і обработка некоректных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.

Зробіце кантрольную паўзу пасля дорогіх крокаў. Система вярнення не павинна зноў нарахоўваць кашты за той самы вызов LLM, калі аператар перапрыбуе пазнейшы вузел.

Фіксавайце версіі залежнасцяў і запісвайце хэш адобраза, які выканаў дэманстрацыю. Возможнасць павторнага стварэння результата лепшая за традыцыйныя знаёмства.

Валічыце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок абярэння, абярэнне павінна вказваць на адну адповядальнасць, а не на заплутаны процес.

Зробіце кантрольную паўзу пасля дорогіх крокаў. Система вярнення не павинна зноў нарахоўваць кашты за той самы вызов LLM, калі аператар перапрыбуе пазнейшы вузел.

Перш чым запускать стак, заморозьце версіі, зафіксавце «золаты» транскрыпты для критычнага шляху і паказвце способы абяроны. У спільных сэрвісах неабходны ліміты частоты запытоў, перакананні ў правільнасці арендавання ресурсоў і чыста вялічына адпаведальнага за ротацыю секрэтных даных. Лепш выбіраць простую надзею на надзейнасць, чым хітрыя експерыментальныя дэманстрацыі.

Прыметкі для 1c1a7b593277: не кладзіце ключы прадаўцаў у репазітарый, задаце верхнюю межу токеноў на кожную сесію і зберагачыце транскрыпты празаўседы ў фіксы, каб пазнейшыя замены модэляў заставаліся порównаннімі.