Як навучыць рэкамендацыйную сістэму, дзе людзі хочуць жыць: геаэмбедынгі

Рынак нерухомасці з мільйонамі аб’ектаў мае проблему з аднаходжэнням патрэбных варыянтаў. З такой колькасцю пропансаванай нерухомасці ключовай задачай являецца паказаць кожнаму чалавеку самэ тое жылы будынак, і для большасці людзей важлівым фактарам являецца месца розташоўкі будынка. У этам апісанні показана, як команда з рэкамендацый на адной з найбольшых платформ з нерухомасці ў Латынскай Амерыце, якая дапамагае жылецам, пакупцам і власнікам здаць чы аб’явіць нерухомасць без звычных бюрократычных процэсаў, перазбудавала спосаб, якім ўсё гэта розумеецца. Раследжэння было прэдставлена на конферэнцыі RecSys 2025 у Празе, а всі цыфры, прыведзеныя ніжэй, ўзятыя з адчынных даных самай команды.

Чаму месца розташоўкі заслуговае на ўвагу

Апытакованне майжэ 800 корыстнікаў на платформе паказала, што больш за палова з іх адназначна прызначылі месца розташоўкі як найважлівышы фактар пад час прыняцця рашэння пра арэнду, перад цэнай, габарытамі і додатковымі умовамі. Гэта здаецца зрозумелым, пры тым месца розташоўкі ўваходзіць у чысло найважчых показнікаў, якія трэба правільна аналізаваць у сістэмах рэкамендацый.

Рэшта гісторыі прысвечае геа-усвядомлёным эмбедынгам: выучаным векторам, якія кодуюць месца розташавання нерухомасці і ступень супадання разных месцаў, такім чынам, што рэкамендавач можа іх выкарыстоўваць без перашырання.

Стан першай версіі

Рэкамендавач — гэта двух-вышаковы модэль, архітэктура, популярная завдзяк Google і YouTube для пошуку ў вельмі большых каталогах. Одна вышака чытае інфармацыю пра корыстніка, а другая — пра будынак. Кожна з іх праектуецца ў адну спяльную прастору эмбедынгаў, а скалярны добутак у цій прасторы паказвае, насколькі хорашае ўзаемнае падабенне. Внутршняя група такіх модэляў у платформе называецца HUE, скрацанне ад House User Embeddings.

Першая версія была намерна простая і цэлкам табулярная. Кожны атрыбут у частыні, прызначанай для будынкаў, мяў адпаведнік у частыні, прызначанай для корыстнікаў, які вылічваўся як сумарная статыстыка за апошнія пятнаццац взаімадзеянняў адной чалавека.

Гэта адаптаваны дызайн: будынкі опісваюцца ўжо за ўсіма іх характэрыстыкамі, корыстувальнікі — за стыкам таго, што яны пераглядалі, а вежы вырахоўваюць, як гэтыя два элементы з’яўляюцца ў зв’язку. Цяніна арэнды, плошча квартыры і колькасць спальняў добра праявляюць ся ў гэтым падходзе, адтолькі што медыянная цяніна арэнды за пяцьнаццаць апранаваных аб’ектаў досыць точна відображае ўсё ў ўладзе корыстувальніка. Распадзел на месца не праявляе ся так, і самэ гэта ёсць прычыной існавання гэтага праекту.

Чаму неапранаваныя коордынаты ўтвараюць слабыя характэрыстыкі

Коордынаты не маюць практычнага значэння. Шырота і далёкасць утвараюць глобальную сетку, якая не асоціюецца з тым, як люды уявляюць месцы, і такая значэнне, як -22.97, нічога не паведамляе модэлі пра Копакабану. Ёй, каб дзеяць на адпаведнае, неабяжлівыя шары павінны выдзельваць кожны район кожнага горада з адной цэлай паверхні, вучычыся аб межах толькі на адпаведных даных. Гэта вітрачае велікі час модэлі на тое, што кожны местны жыцель уж знае.

Чыслаўская блізосць — гэта не функцыональная сэроднечнасць. Рэчка, автамагістраля аб хрэбет можу раздзеляць два месцы, якія знаходзяцца на адныя 500 метраў, і ўсё ж даўаць ім разныя умовы транспарту, цены і атмасферу. Два районы, якія знаходзяцца на адныя дзесяць кіламетраў, можу быць практычна ідэальнымі заменнікамі для пэўнага орэнтара. Евклідава адстань межы коордынатамі — гэта слабыя заменнікі для ключовага пытання: чы будзе гэты чалавек такі ж задоволены ў обох месцах?

Сярэгаванне коордынатацый знішчае сігнал. Гэта смяротная проблема, якая паўтараецца для вышак корыстувачаў. Уявіце жыльца ў Рыо-ды-Жанейро, які прагледвае Копакабану і Барра-да-Тыжуку — распашчаную пару. Сярэдняя коордыната яго історыі перагляду падпадае ў масіў Тыжука, дзе практычна няма нічога для арэнды. Кожны, хто расследжвае два-тры разныя рэгіёны, што характэрна для большасці людзей, апынваецца ў адной точцы, якую ніколі не выбраў бы.

Перш чым заменіць спосаб прэдставлення, каманда прабавала выправіць гэта, дадаўшы квадраты з гэрадусаў шыроты і дугі вялічыны, каб ўжо ўжо ўтрымліваныя шары моглі легча апісваць выгнутыя рэгіёны. Паліпшэнне было незначным, і саме гэта незначнае паліпшэнне стало дыягназам. Функцыя, якой патрэбна полінаміяйная раскладка, прычыму модэль можа яе выкарыстоўваць, указвае на бяспрацэснае прэдставлення, а не на бяспрацэсны модэль. Таму каманда перастала падаць модэлю коордынаты і пачала навчаць яе геаграфіі.

Две структурныя прыемкі

Кожны падход павінен справляцца з двума проблемамі.

Першая з іх — рэдкасць. Колькасць будынкаў у мікрарайоне мала і распадзелена неравнамерна. Рэкамендуецца працаваць строго в межах вузкага раёну, тады запасы шыбка заканчываюцца, а мадэль бачыць занадта мало взаімадзеянняў на адну адзінку, каб навучыцца чамусь надзеянаму.

Другая прыемка — функцыянальная садоўжнасць нідзе не зафіксавана. Нічога ў опісе не сказана, чы можа адні районы заменіць іншыя, і чаму: доступ да мора, транспарат, безпека, рэвэль цэн. Гэтыя ведамасці існуюць толькі ў тым, як людзі веду пошук, таму мадэль павінна навучыцца іх на адпаведным паведанні, інакш яе не будзе.

Падход: модэль з двума вежамі на базе клетак H3 разных развярнутасцей

У зямест на стварэнне функцыйяў ручным спосабам, команда натрэнавала сетка з двумя вежамі з кантрастным цэлям, так што прэдставленні месцаў выклікаюцца спостэрэнымі падзеямі. Вежа корыстніка кодуе людзей, а вежа месца — месцы, і падчас натрэнавання адбываецца з’едынэнне вектараў корыстнікаў і месцаў, якія з’яўляюцца разам у рэальных, адносна інтэнсіўных абранасцях.

Найважнейшым ёсць спосаб апісання месца. Не выкарыстоўваюцца сырые коордынаты. Кожная характэрыстыка замест таго індэксуецца на сетцы H3 ад Uber, якая перадае пару шыроты і дужоўготы ў ID гексаганальнай клеткі. Паколькі H3 ёсць іерархічным, кожная точка знаходзіцца ў адной клетцы па разным развярнутыю, ад грубага (прыблізна 36 км² на клетку па развярнутыю 6) да тонкага (прыблізна 0,105 км² па развярнутыю 9). Кожны ID клеткі ёсць дыскарэтным токенам, таму для яго можна выучыць эмбеддынг у тым жа спосабе, як выучаюцься эмбеддынгі словаў у мадэлях тэксту.

Клеткі з размахамі H3 6, 7, 8 і 9 працююць кожна сама парадокс сваёй шара вбудоввання, а таксама додаецца шар вбудоввання на рэгіон горада, каб было можна зафіксаваць загальную форму арбатных районаў. Башта локацый скалекуе ўсе гэтыя шары і праходзіць іх праз пару шароў з алгорытамам ReLU з повным з’яўленнем, у рэзультаце чаго для кожной локацыі утвараецца 32-вымерны вектар.

Частка, якая знаходзіцца на баку корыстувальніка, спецыяльна застаецца простай: па ўбудовванні ID корыстувальніка следуюць ўшчэ шары, таму практычна весь працэс навчання відбываецца ў башцы локацый. Яна служыць для таго, каб направіць кожны вектор локацыі да тых месцаў, з якімі корыстувальнік фактычна мела супакоўку. Пасля навчання яна выкідаецца, а застаецца толькі набор вектароў локацый, якія пасля таго вікорыстоўваюць іншыя мадэлі.

Чаму калькількі разоў адразу? Адна тонка клетка дае точнасць, але страждае ад нехапкі дадзейнаў. Адна грубая клетка мае множыцтва дадзейнаў, але затуманюе значныя разлікі. Верхніяшчэнне разнарадкаў дазволяе модэлю спыніцца на абласці навакол, калі адна конкрэтная клетка мала мало взаімадзеяў, адначасова захоўваючы локальныя дзеянні там, дзе ёсць множыцтва падтверджэнняў. Можна спачатку ўявіць гэта як піраміду характэраў для прастору, і як прыметны спосаб прыбліжэння да сітуацыі з недастаткам дадзейнаў.

Сігнал адучэння. Патырэнтам являецца цэль InfoNCE з контрастнага прыцэннага кодавання. Радкі — гэта пары (выкарыстоўвальнік, месца) выявленыя з рэальных актыўных взаімадзеяў, тыя самыя, якія включаюць бронаваныя візіты або адправленыя працэсы. Негатыўныя прыклады не выбіраюцца вручную. У кожнай пачцы месцы, якія належаць іншым выкарыстоўвальнікам, выступаюць як негатыўныя прыклады, што не каштуе нічога і відображае рэальны попытак.

Есць адна проблема. Месца не ўпорадкаваныя па ID айтэнаў, таму што многі корыстувальнікі можаць адночасна маты паазытывныя рэзультаты для таго ж месца. Калі негатыўны рэзультат з той ж самай пачатковай групы апынуцца для таго ж месца, з якім вядзе працу той самы корыстувальнік, сістэма спрацьвоўвае яго як хыбна-негатыўны і маскуюць яго, тады пара не будзе паслана адзіна ад другога па адной чыстай памылцы. Сэроднечасці маюць «тэмпературу», і крос-ентропія застосоўваецца ў обох напрамках — ад корыстувальніка да месца і зворачна.

Модэль створана ў PyTorch Lightning з ініцыялізацыяй Xavier uniform, 32-вымірнымі эмбедынгамі, оптымізаторам Adam і розмерам пачатковай групы 512. Даныя для трэніравання складаліся з апошніх 4 мільйона заходаў з высокай інтэнсывнасцю, створаных прыблізна мільйонам разных корыстувальнікаў. Зберагліся толькі сільныя сігналы, такія як броніраванне візіты або запрошэнне, а шумныя заходы з нізкай інтэнсывнасцю, такія як клікі, былі адхілены.

Як яе ацэнілі

У параболі быў рассмотраны тры мадэлі: базовая мадэль на адыякраванні матрыцы (ALS з неявным адзворамом, працуючы толькі з найбольшай клеткай H3), мадэль з двумя вежамі, якая выкарыстоўвае толькі разлічванне H3 9, і полная мадэль з двумя вежамі з мнагаразлічваннем. Два спосабы ацэнкі выпалоўваліся паралельна.

Внутршняя адэкватнаец разглядае якасць умяшчэння безпосерэдзя, незалежна ад будзь-якіх наступных задач, выкарыстоўваючы два крытэрыя для адлікватнаеці. Першым ёсць Меры інфармацыі, якая ў няўялікіх даследжэннях адлікватнаеці умяшчэння вядома як сума сінгулярных значэнняў матрыцы умяшчэння, раздзеленае на самае большое з іх. Пры 32 вымерах гэта значэнне крыецца ад 1 (полная адлікватнаец) да 32 (кожны вымер вялікае роўнае вкладае), таму чым вышэй, тым лепей. Другім крытэрыям ёсць спектр сінгулярных значэнняў нормаванай матрыцы каверыянсу умяшчэння, якая паказвае, як розпадаецца дывергенцыя па вымерах. Павольны, роўны спад означае, што мадэль выкарыстоўвае ўсю сваю ўстатку, тады як рошчысты спад сігналізуе пра адлікватнаец вымераў, калі умяшчэння ператвараюцца ў падпростор нізкага рангу.

Запівлены спектр ў ясным стане. Мадэль з адной раздзялкай рэзалюцыі розкіяе на вышэйшых індэксах рангу, што ўскладнюе ўзнікненне стабільных рэзультатаў. Мадэль з мнагаю раздзялкай рэзалюцыі мае найменш стрымкі спад сярод трох, тое значыць, ўсе варыянты распадаюцца адносна равнамерна, а ёй вдаёцца цэлком выкарыстаць простор укладкі.

Экстрынктная ацэнка выявляе, чы роўнейшыя укладкі дапамагаюць корыстувачам. Для гэтага былы выкарыстаны месячныя логі вырабніцтва (красавец 2025 г.) з модуля „падобныя будынкі“ — сістэмы рэкамендацый, якая паказвае будынкі, сэродзецкія з заданым прыкладам. Для кожнага прыкладу первыя рэкамендацыі былі перарангаваны на аднойчыну сэродзецкасці между гео-укладкай прыкладу і укладкамі кожнага кандыдата, а рэкамендацыі, якія не паспелі даць павышэнную сэродзецкасць, былі поступова адключаны.

Главным показнікам у бізнесе ёсць шчыльнасць прыему платы за арэнду — гэта частка показаных рэкамендацый, якія завершыліся дзеянням з ясным намерэнням: персональным візітам або прыемом прыказкі або арэнды. Клікі ёсць ненадзеяным показнікам, таму заместа іх вікорыстоўваецца шчыльнасць прыему платы за арэнду, адколі яна відбівае рэальны інтэрэс. Для кожнага модэлю і прагу была вычысленая падышча у пораўнанні з нефільтруванымі рэкамендацыймі таго ж модэлю, якія мелі правільныя значэнні схожасці, а ў табліцы паказана сярэдняе значэнне па всіх прагах. Навчанне завершылася у грудзені 2024 года, а для ацэнкі былі выкарыстоўваны лог-файлы з марца 2025 года, таму нічога з перыяду ацэнкі не прасочылася ў працэс навчання.

У момент, калі співвітчыстнае спісакі скаргочваецца, модэль з мнагабільшацыем развярнутасі праўяе перавагу па самых агрэсіўных крэтках, тады калі методы, выучаныя на дадзеннях, збіраюцца разам у серэдзіні. Найболей значным параднікам являецца звычайны фільтр радыяльнай адстані: найбольшыя практычныя выгоды былі атрыманы за дапамогою метода аналізу сэмліварнасці, а не за рахунак прабліжных дадзенняях.

Рэзультаты

Платформа працюе ў двух галоўных направленнях — Арэнда і Продаж. Офлайн-ацэнка сфокусавана на абранцы, дзе ўвесь час высока кількасць запітоў, тады калі онлайн-вплыв ацэнівалі для обох направленняў.

У обох офлайн-направленнях рэзультаты паслаблівалі з кожным крокам у паўзеце модэлі. Перш чым перайсці да цыфраў, важна зазначыць, што падышча ў арэндных транзакціях — гэта сімуляцыя, створаная на аднойчыні історычных лог-файлаў, а не рэальны эксперымент. Рэальныя рэзультаты тэстаў тыпу A/B прадставлены далей.

Пераход адз інтэграцыі матрыцы да модэлі з двумя вежамі ў адной разнаёмкі падняў рыхласць інфармацыі на 158% і сімулявана падняцця ступеня арэнды — на 84%. Ужыцце мультыразнаёмкіх H3 эмбеджаў даў ўтроху ўсьмо 40% да рыхласці інфармацыі, дагэчы да 21,7, а сімулявана падняцця вырасла да 10,9%, што майжэ удвое больш за пылейшы крок. Коротка сказана, наданне модэлі прасторовага кантэкста на розных масштабах паспрабавало эмбеджы самі і ўлучанне іх у дзейнасць корыстнікаў.

Ёнкабы эмбеджы былі лёгкія да разумення, команда створыла внутранічны інструмент, які атрымуе на карце найбліжэйшыя суседы. Выберыце тэмны шэсцяг у Копакабане, і загорэцца кластэр суседніх клетак — тыя, якія модэль счылі функцыйна падобнымі. Гэта практычны спосаб перакананняся, што выучаная геаграфія паспраўдна і адпавядае таму, як людзі уяўляюць горад.

Анлайн-тэст A/B для падобных будынкаў. У момент напісання статты эксперымент з каруселлю „падобных будынкаў“ яшчэ трываў. Ён вялікі час тады завершыўся, і зафіксаваныя рэзультаты для гэтай каруселлы былі такімі:

• Арэнда: падысканне кантэкстуальных клікаў на 4,18%, а такса клікаў, якія прывелі да бронівання візыты, — на 3,38%.
• Продаж: кантэкстуальныя клікі зрослі на 5,53%.

Спраўны рэзультат — гэта тое, што мае значэнне. Як афлайн-метрыкі, так і тэст A/B паказваюць адно: гео-embeddings дапамагаюць.

Інтаграцыя GeoEmbeddings у HUE

Даследжэнне па пераранжаванні служыла падтверджэннем канцэпцыі. Асалевыя меты былі замена шыроты і дужыні на вялікай гэлі самага рэкамендэра, што стало другой версіяй прымення для рэкамендацый. Загадзя запрацоўваныя GeoEmbeddings знаходзяцца ў спяльнай стаўе і застаюцца незменнымі, таму рэкамендэр отрымае стабільны геаграфічны сігнал і не патрабуе перанавучання геаграфіі. Две стаўы вікорыстоўваюць іх по-рознаму.

Змена ў стаўе будынка — гэта простая замена. Там, дзе раней ён отрымляў коордынаты аб’екта, цяпер ён отрымляе GeoEmbedding клеткі H3, якая містыць гэты аб’ект.

Праменны ўзвышэнні трэба перадумаць глыбэй, каліж таму, што медыяны нельга проста заменіць на ўсё тое ж самае. Няма нічога значыцьвенага для вырачэння сярэдньяго. Узвышэнні замест таго падаецца перадача, якая па парадку паказвае элементы з апошніх дзесяці падзеяў адносна адной чалавека. Кожны элемент фіксуе тып падзеі, таму просты прыгляд і прыемлена прыданосць лічыцца разна, а таксама ёсць кодаванне свежасці, якое дазволяе модэлю з’ясавіць, насколькі быстро сігнал павінен згаснуць.

Той, хто выбірае між Копакабанай і Барра, больш не знаходзіцца ў вузкай зоне між імі. І два гэтыя месцы цяпер відны модэлю. Ён можа візначыць, якое з іх было толькі перэглянутае, якое прывела да бронівання візіты, а якое было ранейшае.

У суме эі два змяны прынеслі найбольшы парадокс для команды, які быў зафіксаваны пасля змены адной-ўсёй функцыі. Па показніку значэння пермутацый GeoEmbeddings стала найважлівейшай функцыяй у рэкамендавачы другай ітэрацыі, а рэальны тэст A/B паказаў +1% броніраваных візітав у раздзеле „Рэнт“ і +3,3% запрашоўкаў на продаж у раздзеле „Сэйл“. Такія парадоксы на рэвалюцыі на рэвалюцыі платформы паказваюць, насколькі сільна якасць прэдставлення вплывае на канечныя рэзультаты.

Што будзе далей

Сама геаграфія мае ў сабе ўсё больш можлівасцей. У планах — явныя сігналы блізкасці, такія як адстань да станцый метра, школ і паркаў, а таксама болей дробныя рэшынгі для прэдставленняў, якія ўсё болей дзейнальныя і дробныя.

Адзін з найзначнейшых адказоў з’явіўся практычна аднойчы. Перадзеяванне структуры дадзенняў паўтараючыхся корыстувачаў было першым разам, калі HUE спрацоўваў з історыяю корыстувача як з артыкуляваным радам падзеяў, а не як з сумой статыстычных даных, і такой падход даваў рэзультаты. Гэта падняло натуральны вопыт: калі рад ёсць правы спосаб разказа пра тое, дзе людзі шукалі, чы не падойдзе ён таксама для всіх іншых ўскоўнасцей, якіяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя

Ідэі базуюцца на калькольках публічных джэраў: статыі Covington, Adams і Sargin (2016) пра метод двух веж на YouTube, роба Yi і яго саавтараў (2019) пра корэкцыю падачы дадзеных у двух вежах з урахоўваннем падачы прыкладоў, статыі van den Oord, Li і Vinyals (2018) пра прыкметнай кодаванні, даследжэнне Guo і яго саавтараў (2024) пра калапс эмбеджаў, а таксама дакументацыя геапрасторовага індэкса H3 на сайце h3geo.org.

Супаўязаная літэратура

• Выбір базы дадзеных вектараў для RAG: адзіннацца варыянтав — Пораўнанне Chroma, Milvus, Qdrant, Weaviate, pgvector, Pinecone, Turbopuffer і TiDB па масштабаванні, фільтраўванні, косцях і аперацыях, а таксама па тым, дзе вектарныя рашэнні RAG маюць слабасці.
• Калі два агенты перамагаюць аднаго: копілат для адзінаковага перагляду коду ў LangGraph — Створыце пераглядач коду як адзін агент, а таксама як Аналізатор плюс Пераглядач рызыка ў LangGraph, а потым дазнаецеся пра тры сцэны, калі вікорыстанне канферэнц-агента ёсць цэнітэ.
• Як трансфармер чытае „Кат з сядзе на калгу“, па кроках — Следзіце за адной фразай праз шары трансфармера: токэны, імбеддынгі, пазіцыі, самаатэнцыя, рэзыдуальныя з’ёднанні, нормалізацыя і сетка фід-фарвард.
• Як штучныя інтэлекты чытаюць і перабудовуюць фота: наука, стоячая за портрэтамі 1980-х гадоў — як мадэлі зору ператвараюць пікселі на эмбеддынгі і як генератыўныя штучныя інтэлекты выкарыстоўваюць іх для перэзмаўлення фота ў стылі фільмаў 1980-х гадоў, з абмежэннямі па точнасці, ідэнтыфікацыі і выяўленні.