Фронтир: LLM-агентные симуляции

9.1. Введение: поведение теперь генерируется, а не программируется

В предыдущих главах мы рассматривали классические подходы к симуляции: дискретно-событийные движки, системную динамику, агентное моделирование (agent-based modeling, ABM) с правилами, записанными вручную. Общим для всех этих подходов было одно фундаментальное ограничение: поведение агента должно быть заранее запрограммировано. Проектировщик модели решает, как агент реагирует на цену, на соседа, на дефицит ресурса — и записывает это решение в виде правила, функции полезности или таблицы переходов. Богатство симуляции ограничено фантазией и трудолюбием автора модели.

Большие языковые модели (large language models, LLM) сломали это ограничение. Начиная с 2023 года возник новый класс симуляций, где поведение агента не программируется, а генерируется: агент получает описание своей личности, памяти и текущей ситуации на естественном языке, а LLM порождает правдоподобное действие. Агент может «передумать», «обидеться», «сплетничать», «организовать вечеринку» — и всё это без единой строчки кода, описывающей эти виды поведения.

Почему это меняет саму природу симуляции, а не просто добавляет новый тип агента? Три причины. Открытое пространство действий: классический агент выбирает из перечисленного множества действий; LLM-агент действует на естественном языке, и множество его действий заранее не ограничено — симуляция может произвести поведение, которое автор не предвидел, а именно непредвиденное и есть самое ценное в симуляции. Перенос знаний о мире: LLM приходит в симуляцию с колоссальным приором о том, как устроены люди, организации и рынки; классический агент рождается tabula rasa, и всё знание о мире приходится программировать. Единый носитель для правил и смыслов: должностная инструкция, корпоративная культура, слух в курилке — в классической модели всё это нужно формализовать; LLM-агенту это можно просто рассказать. Цена этих даров тоже тройная: стоимость (поведение теперь стоит денег за токен), недетерминизм (воспроизводимость требует специальных усилий) и непрозрачность (почему агент так решил — вопрос к весам модели). Вся глава, по сути, о том, как взять дары и заплатить меньшую цену.

Глава — карта фронтира по состоянию на 2026 год. Мы разберём канонические работы (Generative Agents, Project Sid, AgentSociety, TheAgentCompany), покажем, что уже работает, что пока нет, и — главное для этого учебника — что из этого брать для движка управления компанией: после ключевых разделов стоят врезки с выжимкой именно под эту задачу.

• 2023Год рождения жанра.

  Generative Agents (Smallville, 25 агентов), Homo Silicus Хортона, Voyager с библиотекой навыков, AI Town, Concordia с гейм-мастером. Появляются memory stream, reflection и planning.

• 2024Масштаб и реализм.

  Project Sid — 1000+ агентов в Minecraft; agent bank — 1052 реальных человека (~85% точности на GSS); OASIS доводит популяцию до миллиона; MetaGPT и ChatDev выходят на ICLR/ACL; TheAgentCompany отрезвляет: ~24% задач.

• 2025Города и нейромиры.

  AgentSociety — 10 000+ агентов и пять социальных экспериментов; Genie 3 генерирует мир в реальном времени; агентные системы доводят TheAgentCompany до ~43%.

• 2026Гибридный консенсус.

  Формула «классическая механика мира + LLM как поведенческий слой» становится стандартом. Открытые проблемы: калибровка генеративных ABM, воспроизводимость, этика цифровых двойников.

Герои главы — восемь систем, к которым мы будем возвращаться на протяжении всех разделов.

9.2. Generative Agents: Smallville и архитектура памяти

Отправная точка всей области — статья Джун Сон Пака и коллег из Стэнфорда и Google «Generative Agents: Interactive Simulacra of Human Behavior» (Park et al., 2023, arXiv:2304.03442). Авторы поселили 25 агентов в пиксельный городок Смолвиль (Smallville): у каждого агента — имя, биография, работа, отношения с соседями. Агенты просыпаются, готовят завтрак, идут на работу, беседуют, заводят знакомства. Знаменитый результат: агенту Изабелле дали одно затравочное намерение — устроить вечеринку на День святого Валентина — и за два игровых дня агенты самостоятельно разнесли приглашения, позвали друг друга на свидания, скоординировали время и пришли на вечеринку. Ни один из этих шагов не был запрограммирован.

Главный вклад работы — не городок, а когнитивная архитектура, которая делает поведение LLM-агента связным на длинных горизонтах. Она состоит из трёх механизмов.

Поток памяти и извлечение (memory stream & retrieval)

Всё, что агент воспринимает, записывается в поток памяти (memory stream) — хронологический список записей на естественном языке: «Изабелла разговаривала с Марией о вечеринке», «кофемашина сломана». Проблема в том, что контекстное окно LLM не вмещает всю жизнь агента, а даже если бы вмещало — модель терялась бы в нерелевантном шуме. Поэтому при каждом решении из потока извлекается небольшое подмножество записей по взвешенной сумме трёх оценок:

• давность (recency) — экспоненциальное затухание со временем с момента последнего обращения к записи (в работе — коэффициент 0.995 за игровой час);
• важность (importance) — оценка от 1 до 10, которую сама LLM выставляет событию в момент записи («помыл посуду» — 1, «расставание с партнёром» — 9);
• релевантность (relevance) — косинусная близость эмбеддинга записи к эмбеддингу текущего запроса.

Итоговый балл — нормированная сумма recency × importance × relevance (в реализации — взвешенная сумма нормированных компонент с равными весами). Эта формула стала де-факто стандартом: её варианты встречаются почти во всех последующих агентных системах.

Рефлексия (reflection)

Сырые наблюдения — плохой материал для рассуждений: агент, помнящий сто разговоров с Марией, должен уметь заключить «Мария — мой близкий друг», а не перечитывать стенограммы. Когда суммарная важность недавних событий превышает порог, агент запускает рефлексию: LLM получает последние записи и генерирует по ним вопросы высокого уровня («что можно сказать об отношениях Изабеллы и Марии?»), затем отвечает на них, и ответы — обобщения с указателями на исходные записи — сами записываются в поток памяти. Так возникает дерево абстракций: наблюдения → выводы → выводы о выводах. Рефлексия — то, что превращает журнал событий в подобие убеждений и самопонимания.

Планирование (planning)

Чтобы день агента был связным, а не набором мгновенных реакций, агент утром генерирует план дня крупными мазками («9:00–12:00 — работа над сочинением»), затем рекурсивно детализирует его до интервалов 5–15 минут. План хранится в памяти и может быть пересмотрен (re-planning), если восприятие приносит нечто, несовместимое с планом: встретив горящий вопрос от соседа, агент прервёт запланированную прогулку. Цикл «восприятие → извлечение памяти → реакция или следование плану» повторяется каждый шаг симуляции.

Абляционные эксперименты показали, что каждый из трёх компонентов необходим: без рефлексии агенты становятся поверхностными, без планирования — хаотичными, без извлечения памяти — забывчивыми и противоречивыми. Оценка «правдоподобности» (believability) проводилась интервью с агентами и разметкой людьми; полная архитектура обыграла даже записи реальных людей, играющих тех же персонажей (что говорит не только о силе агентов, но и об ограниченности метрики).

Продолжение 2024 года: симуляция 1052 реальных людей

В ноябре 2024-го та же группа сделала следующий шаг — «Generative Agent Simulations of 1,000 People» (Park et al., arXiv:2411.10109). Вместо вымышленных персонажей — банк агентов (agent bank), построенный на двухчасовых глубинных интервью с 1052 реальными американцами, репрезентативно отобранными. Полная стенограмма интервью каждого человека подаётся в контекст LLM (в оригинале — GPT-4o), когда агента просят ответить на вопрос или принять решение.

Результаты: агенты воспроизводят ответы своих прототипов на вопросы General Social Survey с точностью 85% от того, насколько сами люди воспроизводят собственные ответы через две недели (нормированная точность; сырая — около 69%). Агенты сравнимо предсказывают личностные черты Big Five и поведение в экономических играх, а также воспроизводят эффекты в пяти социально-психологических экспериментах. Критически важно: интервью как источник персоны снижает систематические смещения по расовым и идеологическим группам по сравнению с агентами, заданными только демографией («женщина, 45 лет, республиканка») — демографические персоны склонны выдавать стереотип группы, а не конкретного человека.

Для методологии симуляций это поворотный результат: он впервые эмпирически показал, что LLM-агент, «заряженный» достаточно богатым описанием конкретного человека, аппроксимирует его установки на уровне, сопоставимом с шумом самих людей. Появился термин «индивидуальные цифровые двойники населения»; Стэнфорд открыл доступ к банку агентов для исследователей через контролируемый API.

9.3. Агентные миры: AI Town, Project Sid, Voyager

Smallville был исследовательским прототипом на дорогом GPT-4 (стоимость эксперимента оценивалась в тысячи долларов за несколько игровых дней). Следующая волна проектов сделала агентные миры воспроизводимыми, масштабными и открытыми.

AI Town: инженерная демократизация

AI Town (a16z / Convex, 2023) — открытая реализация идеи Smallville в виде готового к развёртыванию веб-приложения (TypeScript, реактивная БД Convex, поддержка локальных моделей через Ollama). Научной новизны в AI Town нет — его значение инженерное: он показал, как правильно разделить игровой движок (тики симуляции, перемещение, столкновения, зоны разговора — детерминированный код) и агентный слой (LLM-вызовы для реплик и решений — асинхронный, медленный, недетерминированный). Движок не ждёт LLM: агенты живут в мире с фиксированным темпом, а «мысли» догоняют. Этот паттерн — «быстрая механика, медленная когниция» — стал стандартной архитектурой гибридных симуляций и напрямую переносится на движок компании.

Project Sid: тысяча агентов и зачатки цивилизации

Project Sid (Altera, 2024, arXiv:2411.00114) — самый амбициозный агентный мир первого поколения: от 10 до 1000+ агентов в Minecraft, живущих неделями реального времени. Ключевая инженерная новация — архитектура PIANO (Parallel Information Aggregation via Neural Orchestration): вместо одного последовательного цикла «восприятие → мысль → действие» агент состоит из параллельных модулей (восприятие, память, целеполагание, социальное сознание, речь, моторика), работающих на разных частотах, а специальный когнитивный контроллер (cognitive controller) поддерживает согласованность между тем, что агент говорит, и тем, что он делает. Без такого контроллера у LLM-агентов быстро расходятся слова и дела — проблема, знакомая каждому, кто строил агентов на практике.

Результаты Project Sid читаются как конспект учебника социологии. В деревне на 30+ агентов спонтанно возникла специализация ролей: фермеры, шахтёры, торговцы, охранники — без какого-либо назначения ролей извне; роли возникали из взаимодействий и закреплялись в памяти. Агенты следовали коллективным правилам и меняли их: в эксперименте с налогами агенты платили налоги в общий сундук, а «депутаты» корректировали налоговый кодекс в ответ на настроения жителей (в том числе под влиянием агентов-агитаторов за отмену налогов). В эксперименте с культурной трансмиссией мемы и учение вымышленной религии (пастафарианство) распространялись по социальному графу от деревни к деревне — по кривым, напоминающим эпидемиологические модели диффузии. Важная оговорка: всё это — правдоподобное воспроизведение паттернов, а не доказанная социальная динамика; авторы сами подчёркивают, что метрики цивилизационного прогресса ещё предстоит выработать.

Voyager: открытое обучение и библиотека навыков

Voyager (Wang et al., NVIDIA/Caltech, 2023, arXiv:2305.16291) — одиночный агент в Minecraft, но с другим фокусом: пожизненное открытое обучение (lifelong open-ended learning). Три компонента: автоматический учебный план (automatic curriculum) — GPT-4 сам предлагает следующую посильную задачу исходя из прогресса; библиотека навыков (skill library) — каждый освоенный навык сохраняется как исполняемый код с эмбеддинг-индексом для повторного использования; итеративный цикл самокоррекции по обратной связи среды и ошибкам исполнения. Voyager открыл в 3.3 раза больше предметов и продвинулся по дереву технологий в 15 раз быстрее предыдущих методов. Идея «навык = проверенный код, накапливаемый в библиотеке» — возможно, самая практичная идея всей главы: агент, который не генерирует поведение заново каждый раз, а кристаллизует удачное поведение в переиспользуемые процедуры.

9.4. Симуляции обществ: AgentSociety, OASIS, Concordia, Sotopia

Если Smallville и Project Sid — «миры-аквариумы», то следующий класс систем целится в вычислительную социологию: воспроизвести и предсказать поведение реальных обществ.

AgentSociety: город на 10 000 агентов

AgentSociety (лаборатория FIB Университета Цинхуа, 2025, arXiv:2502.08691) — крупнейшая на момент публикации попытка построить целостную городскую симуляцию на LLM-агентах: более 10 000 агентов, около 5 миллионов взаимодействий, распределённая инфраструктура (MQTT-шина сообщений, Ray для параллелизма, специализированный городской симулятор для транспорта и географии). Агенты сконструированы по мотивам социальных теорий: у каждого — эмоции, потребности (по мотивам иерархии Маслоу), мотивация, экономическое положение; среда включает жильё, работу, транспорт, социальные сети и экономический контур с банком и правительством. Команда прогнала на платформе пять классических сюжетов социальных наук: поляризацию мнений, распространение подстрекательских сообщений, эффекты безусловного базового дохода (universal basic income), реакцию на внешний шок (ураган) и городскую устойчивость — и показала, что платформа поддерживает стандартные методы исследования: опросы, интервью и интервенции над агентами. Проект открыт (GitHub: tsinghua-fib-lab/AgentSociety) и развивается как инструмент для «социальных экспериментов, которые нельзя провести на людях».

OASIS: миллион агентов в социальной сети

OASIS (CAMEL-AI, 2024, arXiv:2411.11581) атакует проблему масштаба с другой стороны: это симулятор социальных медиа (X/Twitter и Reddit), доводящий популяцию до одного миллиона агентов. Хитрость — в неоднородности: ядро активных пользователей — полноценные LLM-агенты с памятью и рекомендательной лентой, а массовка может обслуживаться дешёвыми правилами или лёгкими моделями. OASIS воспроизвёл известные социально-медийные феномены: распространение информации, групповую поляризацию, стадные эффекты (herd effects) — и показал, что некоторые из них проявляются только на большом масштабе, то есть симуляция на сто агентов их принципиально не увидит. Для маркетинга это готовый инструмент: прогон вирусной кампании или репутационного кризиса на синтетической аудитории до запуска в реальность (эффективность таких прогнозов на реальных кампаниях — предмет текущих исследований, непроверено).

Concordia: возвращение гейм-мастера

Concordia (Google DeepMind, 2023, arXiv:2312.03664) — библиотека для генеративных агентных моделей (Generative Agent-Based Models, GABM), чья центральная идея заимствована из настольных ролевых игр: кроме агентов, в симуляции есть гейм-мастер (Game Master) — особый LLM-компонент, который интерпретирует действия агентов, выраженные свободным текстом, и решает, что произошло в мире. Агент говорит «пытаюсь убедить инвестора поднять оценку», гейм-мастер определяет последствия с учётом состояния мира. Это элегантное решение вечной проблемы связывания открытого языка с механикой среды: не нужно заранее перечислять все допустимые действия. Concordia используется для сценариев от экономических переговоров до цифровых сервисов (гейм-мастер может транслировать действия в реальные API-вызовы). В 2024–2025 на базе Concordia проводился конкурс NeurIPS по кооперативности агентов (Concordia Contest).

Sotopia: измерение социального интеллекта

Sotopia (CMU, ICLR 2024, arXiv:2310.11667) — не мир, а испытательный стенд социального взаимодействия: пары агентов с частично скрытыми друг от друга целями разыгрывают эпизоды (переговоры, сотрудничество, конфликт), а система SOTOPIA-EVAL оценивает результат по многим измерениям — достижение цели, сохранение отношений, соблюдение норм, финансовая выгода. Ключевые находки: LLM-оценки коррелируют с человеческими на «простых» измерениях (достижение цели), модели уровня GPT-4 заметно уступают людям в стратегических социальных сценариях, а специально дообученные социальные агенты (SOTOPIA-π) догоняют более крупные модели. Для нас Sotopia важна как образец операционализации мягких величин: «умение договариваться» превращено в воспроизводимую метрику.

Применения: политика и маркетинг

Уже к 2025–2026 году эти платформы вышли из лабораторий: симуляции электоральных кампаний и общественной реакции на политику (polling через синтетические популяции — активно коммерциализируется, точность спорна), тестирование продуктовых сообщений и цен на синтетических фокус-группах, прогон контент-стратегий через OASIS-подобные среды. Общий вывод исследований: синтетические респонденты неплохо воспроизводят средние установки больших групп и направления эффектов, но систематически ошибаются в дисперсии (агенты более однородны, чем люди) и на маргинальных подгруппах.

9.5. LLM-экономика: Homo Silicus, EconAgent, TradingAgents — и критика

Homo Silicus: LLM как испытуемый экономического эксперимента

Экономист Джон Хортон (MIT) в начале 2023 года сформулировал программный тезис: LLM можно использовать как симулированного экономического агента — «Homo Silicus» — и прогонять через него классические эксперименты поведенческой экономики до (или вместо) дорогих экспериментов на людях (Horton, 2023, arXiv:2301.07543). Хортон воспроизвёл на GPT-3 ряд канонических результатов: эксперименты Чарнесса и Рабина о социальных предпочтениях, опросы Канемана—Кнетча—Талера о воспринимаемой справедливости цен, эффект статус-кво в выборе, поведение работодателя при росте минимальной зарплаты. Ключевое наблюдение: наделяя модель разными «личностями» (либертарианец, социалист), можно получать распределение ответов, а не одну точку, — и это распределение качественно похоже на человеческое. Хортон предложил видеть в LLM дешёвую «аэродинамическую трубу» для дизайна экспериментов: сначала прогнать на кремниевых испытуемых, потом подтверждать на людях.

EconAgent: макроэкономика из решений агентов

EconAgent (Li et al., ACL 2024, arXiv:2310.10436) перенёс идею на макроуровень: сто LLM-агентов ежемесячно принимают решения о работе и потреблении в модельной экономике с рынком труда, налогами и центральным банком (окружение в духе классических макро-ABM). Каждый агент рассуждает на естественном языке о своём возрасте, профессии, зарплате, инфляции — и его решения агрегируются в макродинамику. Результат: симуляция воспроизводит кривую Филлипса (обратная связь безработицы и инфляции) и закон Оукена — эмерджентно, из текстовых рассуждений агентов, без встраивания этих зависимостей в правила. Более того, агенты правдоподобно отреагировали на сценарий пандемии COVID-19. Классические ABM с калиброванными правилами такие регулярности тоже воспроизводят, но требуют ручной настройки функций решения; здесь поведенческий реализм «прилагается бесплатно» — вместе, впрочем, с неконтролируемыми смещениями модели.

TradingAgents: рынок как мультиагентная фирма

TradingAgents (Xiao et al., 2024, arXiv:2412.20138) — симуляция трейдинговой фирмы: агенты-аналитики (фундаментальный, сентимент, новостной, технический) готовят заключения, агенты-исследователи «бык» и «медведь» ведут структурированный спор, трейдер принимает решение, риск-менеджмент его фильтрует. На исторических данных фреймворк показал улучшение доходности и коэффициента Шарпа против базлайнов (бэктесты на исторических данных; устойчивость на живом рынке — непроверено). Для нашей темы TradingAgents интересен не финансовым результатом, а формой: это одновременно и симуляция экономического поведения, и функционирующая организация из агентов — мостик к разделу 9.6. Приём «структурированный спор бык/медведь» — общий механизм повышения качества решений через принудительную состязательность.

Критика: почему кремниевый человек — не человек

К 2024–2025 годам накопился корпус критики, обязательный к усвоению до того, как строить на LLM-агентах прогнозы.

Смещения обучающей выборки (training data bias). LLM усваивает установки текстов интернета — со сдвигом в сторону образованных, англоязычных, политически специфичных авторов. Синтетические «респонденты» систематически смещены; на американских политических опросах агенты без коррекции дают перекошенные распределения, а меньшинства и немейнстримные позиции воспроизводятся хуже всего (Santurkar et al., 2023, arXiv:2303.17548, OpinionQA).

Чувствительность к промпту (prompt sensitivity). Перестановка вариантов ответа, синонимическая замена в формулировке персоны, даже формат списка меняют «экономическое поведение» агента на величины, сопоставимые с изучаемым эффектом. Там, где у человека — устойчивая диспозиция, у LLM — хрупкая функция от формулировки. Любой результат LLM-симуляции обязан сопровождаться анализом чувствительности к промптам.

Гиперрациональность и гиперсогласованность. RLHF-выровненные модели чрезмерно услужливы и последовательны: они реже людей ошибаются в арифметике полезности, легче соглашаются, меньше шумят. Парадоксально, LLM-агент бывает «слишком правильным» Homo Economicus — и одновременно наследует человеческие когнитивные искажения в непредсказуемой смеси. Дисперсия синтетической популяции обычно занижена: сто агентов ведут себя как три-четыре архетипа.

Загрязнение данных (contamination). Классические эксперименты, которые «воспроизводит» модель, почти наверняка есть в её обучающей выборке. Воспроизведение результата Канемана может быть цитированием, а не поведением. Честный тест — новые эксперименты, которых нет в литературе, и здесь результаты заметно скромнее.

Резюме: LLM-экономика сегодня — инструмент генерации гипотез и пилотирования дизайна, а не замена эмпирики. Направления эффектов и качественные паттерны — да; численные прогнозы эластичностей — нет.

9.6. Компания из агентов: MetaGPT, ChatDev, AutoGen и урок TheAgentCompany

До сих пор мы говорили о симуляции обществ и рынков. Но есть зеркальный жанр, максимально близкий к теме учебника: компания, собранная из агентов — где мультиагентная система воспроизводит не общество, а организацию с ролями, процессами и результатом.

MetaGPT: SOP как программа для команды

MetaGPT (Hong et al., ICLR 2024 oral, arXiv:2308.00352) — программная команда из агентов: продакт-менеджер, архитектор, проектный менеджер, инженер, QA. Центральная идея выражена формулой авторов: Code = SOP(Team) — стандартные операционные процедуры (Standard Operating Procedures, SOP), десятилетиями шлифуемые в реальных индустриях, кодируются в последовательности промптов и протоколы обмена. Агенты общаются не свободным чатом, а структурированными артефактами: PM выпускает документ требований, архитектор — диаграммы и интерфейсы, инженер получает спецификацию, а не пересказ. Второй механизм — общий пул сообщений с подпиской (publish-subscribe): агент публикует артефакт в пул, а остальные читают только релевантное своей роли, что резко снижает шум и каскады искажений «испорченного телефона». На бенчмарках генерации софта MetaGPT обошёл свободно общающиеся мультиагентные системы — урок в том, что процессная дисциплина важнее интеллекта отдельного агента.

ChatDev: водопад из диалогов

ChatDev (Qian et al., ACL 2024, arXiv:2307.07924) — «виртуальная софтверная компания», устроенная как водопадный процесс: проектирование → кодирование → тестирование → документация. Каждая фаза разбита на атомарные чат-звенья (chat chain): диалог ровно двух агентов — инструктора и исполнителя — с проверяемым результатом. Приём взаимной дедупликации галлюцинаций: исполнитель проговаривает понимание задачи обратно инструктору до начала работы (role-reversal), что вылавливает расхождения рано. ChatDev собирал простые приложения за ~7 минут и меньше доллара инференса — с очевидным потолком сложности. Как и MetaGPT, это скорее исполняемая модель организации, чем продукт: исследователь может менять оргструктуру (число ролей, порядок фаз, протоколы) и измерять эффект на качество и стоимость результата — то, что с живыми командами эксперимент не позволит.

Оркестраторы: AutoGen, CrewAI, LangGraph

Инфраструктурный слой жанра — фреймворки оркестрации. AutoGen (Microsoft, arXiv:2308.08155) задал абстракцию «разговариваемых агентов» (conversable agents) с гибкими паттернами диалога, включая групповой чат с менеджером; CrewAI упаковал ролевую метафору («экипаж» с ролями, целями и задачами) в максимально простой API и стал самым массовым; LangGraph пошёл в противоположную сторону — мультиагентная система как явный граф состояний (state machine) с контролируемыми переходами, контрольными точками и возможностью отката. Эволюция показательна: индустрия начала со свободного чата агентов и последовательно двигалась к жёсткой процессности — потому что свободный чат агентов не сходится. К 2025–2026 в производственных системах доминируют графовые и SOP-подобные архитектуры; свободная коммуникация оставлена для исследовательских песочниц.

TheAgentCompany: отрезвляющий бенчмарк

Насколько агенты близки к работе в настоящей компании? TheAgentCompany (CMU, декабрь 2024, arXiv:2412.14161) построил симулякр небольшой софтверной фирмы: самохостящиеся GitLab, ownCloud, Plane (таск-трекер) и RocketChat с NPC-коллегами на LLM, и 175 реальных рабочих задач — от код-ревью и настройки CI до сверки бюджета, найма и ответов HR. Результат первого замера: лучшая модель, Claude 3.5 Sonnet, полностью выполнила лишь 24% задач (около 34% с частичным зачётом); Gemini 2.0 Flash — 11,4%, GPT-4o — 8,6%. К середине 2025 года Gemini 2.5 Pro довёл показатель до ~30%, специализированные агентные системы сообщества — до ~43%. Разбивка по отделам красноречива: инженерные задачи — около 40% успеха, а задачи, требующие социального взаимодействия, навигации по хаосу корпоративных систем и здравого смысла (HR, финансы, менеджмент) — 15–25%. Типичные провалы: агент не догадывается спросить коллегу, теряется во всплывающем окне, «решает» недостижимую подзадачу переименованием другого пользователя в нужного адресата — то есть самообманом.

Для методологии симуляций TheAgentCompany важен двояко. Во-первых, это честная нижняя граница: автономный агент 2025 года — стажёр, а не сотрудник; любая симуляция компании, где агенты безупречно исполняют роли, льстит и агентам, и компаниям. Во-вторых, сам бенчмарк — это работающая симуляция организации: воспроизводимая среда с инструментами, коллегами и проверяемыми задачами. Именно такой стенд — офисные системы плюс население из агентов плюс проверяемые задачи — и есть минимальный жизнеспособный прототип движка управления компанией.

9.7. Гибрид LLM + ABM: поведенческий слой над классической механикой

К 2025 году консенсус исследователей сместился от эйфории «LLM заменит ABM» к трезвой гибридной формуле: классическая механика мира + LLM как поведенческий слой. Разберём это разделение труда — оно и есть архитектурное ядро всей главы.

Разделение труда: что считает движок, а что «думает» модель

Классическая часть (детерминированный код) отвечает за всё, что подчиняется законам сохранения и арифметике: движение денег, запасы, производственные мощности, транспорт, календарь, бухгалтерию событий. Здесь ABM и дискретно-событийные движки (главы 2 и 6) незаменимы: они быстры, точны, воспроизводимы. LLM-слой отвечает за то, что в классических моделях было самым слабым местом — функцию принятия решения агентом: как именно этот сотрудник отреагирует на новый KPI, что этот клиент ответит на повышение цены, как переговорщики сойдутся на условиях. Вместо калиброванной вручную функции полезности — промпт с персоной, памятью и ситуацией. Интерфейс между слоями строгий: движок передаёт агенту структурированное наблюдение, LLM возвращает действие из допустимого множества (или свободный текст, интерпретируемый гейм-мастером в духе Concordia), движок применяет действие по своим правилам. LLM никогда не трогает состояние мира напрямую — иначе теряются и законы сохранения, и воспроизводимость.

Экономия — второй мотив гибрида. LLM-вызов на несколько порядков дороже вычисления правила, поэтому зрелые системы применяют каскад точности (fidelity cascade): полный LLM-агент — для ключевых фигур и горячих точек симуляции; дистиллированная малая модель или дерево решений, обученное на выходах большой модели, — для массовки; чистые правила — для фона. OASIS и AgentSociety устроены именно так.

Генерация синтетических популяций

Отдельный вклад LLM — порождение самой популяции агентов. Классическая синтетика населения (iterative proportional fitting по переписи, байесовские сети) даёт корректные маргинальные распределения демографии, но пустых агентов. LLM достраивает каждому агенту связную легенду: биографию, ценности, стиль речи, потребительские привычки — согласованные с демографическим скелетом. Рабочий пайплайн 2025 года трёхступенчатый: (1) статистический каркас из данных (перепись, CRM, HR-система) → (2) LLM-генерация персон поверх каркаса → (3) валидация распределений сгенерированной популяции против исходных данных, с отбраковкой перекосов. Важное предостережение из литературы: LLM «из головы» генерирует популяции с заниженной дисперсией и стереотипными корреляциями (все инженеры — интроверты), поэтому шаг 3 обязателен, а лучший источник каркаса — собственные данные организации, а не воображение модели.

Проблема калибровки и believability

У гибрида два разных критерия качества, и их постоянно путают. Правдоподобие (believability) — оценка «похоже ли это на людей» — метрика из Smallville, измеряемая людьми-судьями; она валидирует микроуровень. Калибровка — совпадение агрегатов симуляции с реальными данными (продажи, отток, текучесть) — валидирует макроуровень. Коварство в том, что они независимы: симуляция из обаятельно правдоподобных агентов может давать чушь в агрегатах, а грубая модель — попадать в макроцифры. Классические методы калибровки ABM (подбор параметров под исторические ряды) с LLM-агентами работают плохо: у LLM-агента нет удобных числовых ручек, его «параметры» — это формулировки промптов, а поверхность отклика негладкая. Практикуемые приёмы: калибровка через отбор персон (какие агенты в популяции), через числовые параметры интерфейсного слоя (склонности, пороги, смешивающие LLM-решение с базовым правилом), и бэктестинг — прогон симуляции на прошлом периоде компании со сравнением с фактом. Систематической теории калибровки генеративных ABM пока нет (по состоянию на 2026 год) — это открытая исследовательская проблема, и любые заявления вендоров о «валидированных цифровых двойниках клиентов» стоит встречать вопросом «как калибровали и на чём бэктестили».

9.8. Generative world models: нейросимуляция против явной модели

Параллельно агентной линии развивается другая, на первый взгляд конкурирующая: генеративные модели мира (generative world models) — нейросети, которые не населяют явный симулятор агентами, а сами являются симулятором: предсказывают следующее состояние мира по текущему состоянию и действию.

Genie и видеомодели как симуляторы

Линейка Genie (Google DeepMind) — флагман направления. Genie 1 (2024) училась на игровых видео порождать управляемые 2D-миры; Genie 2 (декабрь 2024) генерировала играбельные 3D-миры из одного изображения с горизонтом консистентности в десятки секунд; Genie 3 (август 2025) — уже мир в реальном времени: 720p, 24 кадра в секунду, навигация с клавиатуры, консистентность сцены на протяжении минут и «визуальная память» примерно в минуту — модель авторегрессионно генерирует каждый кадр с учётом истории кадров и действий, без какого-либо явного 3D-движка внутри. Мир можно менять текстовой командой на лету («пусть пойдёт дождь»). Родственный жанр — видеомодели с пониманием физики (Sora, Veo 3, Genie-подобные игровые модели вроде Oasis/Minecraft от Decart), которые демонстрируют, что нейросеть выучивает неплохое приближение наивной физики из видео. DeepMind прямо позиционирует Genie 3 как среду для обучения воплощённых агентов (embodied agents): бесконечный генератор тренировочных миров.

Нейросимуляция против явной модели

Итак, к 2026 году есть два способа «симулировать мир»: явная модель — состояние в базе данных, правила в коде, агенты поверх; и нейросимуляция — мир как веса сети, состояние как контекст, динамика как форвард-пасс. Сравним честно. Нейросимуляция побеждает там, где мир визуален, непрерывен и его законы не выписать — ходьба по пересечённой местности, вид городской улицы, поведение толпы в кадре; и там, где нужна бесконечная вариативность сред для обучения роботов и агентов. Явная модель побеждает там, где нужны законы сохранения, аудируемость и длинный горизонт: деньги в нейросимуляции не сходятся с точностью до копейки, «визуальная память в одну минуту» несовместима с квартальным горизонтом планирования, а на вопрос «почему упала маржа в симуляции?» веса сети не отвечают — в явной модели ответ прослеживается по цепочке событий.

Для движка компании выбор однозначен: ядро — явная модель. Состояние компании дискретно, транзакционно и обязано быть аудируемым; это худший случай для нейросимуляции и лучший для явной. Но у мировых моделей стоит позаимствовать саму постановку: обученная на истории компании модель «что будет дальше» (world model в смысле model-based RL — предсказатель следующего состояния) может служить быстрым приближённым симулятором для массового перебора сценариев, с последующей проверкой отобранных сценариев на точной явной модели. Такая двухуровневая схема «дешёвый нейропредсказатель + дорогой точный движок» — прямой аналог каскада точности из 9.7. (Оценка практической зрелости такой схемы для корпоративных данных — непроверено; публичных кейсов пока единицы.)

9.9. Практика: стоимость, воспроизводимость, валидация, этика

Стоимость инференса популяций

LLM-симуляция — первая в истории парадигма моделирования, где стоимость поведения агента измеряется в деньгах за токен. Порядки величин (2025–2026, оценочно): один шаг рассуждающего агента — 1–10 тысяч токенов контекста (персона, память, наблюдение) и сотни токенов вывода. Популяция в 1000 агентов при 100 решениях на агента в симулируемый день — порядка 10⁸–10⁹ токенов в день симуляции: на флагманской модели это тысячи долларов в день, на дешёвой малой модели или собственном инференсе — единицы-десятки долларов. Отсюда стандартный набор приёмов экономии: каскад моделей по важности агента (9.7); кэширование префикса персоны (prompt caching, экономит до 90% на повторяющемся контексте); пакетный асинхронный инференс (batch API, скидка ~50%); дистилляция поведения больших моделей в малые; событийная активация — агент «думает» не каждый тик, а по событиям, затрагивающим его. Проекты уровня Smallville стоили тысячи долларов за виртуальную неделю на GPT-4 2023 года; сегодня тот же эксперимент на локальной модели класса 30–70B стоит близко к стоимости электричества — падение цены инференса примерно на два порядка за три года и есть главная причина взлёта области.

Воспроизводимость

Классическая симуляция воспроизводима по построению: зафиксировал seed — получил тот же прогон. LLM-симуляция ломает это по четырём причинам: сэмплирование (лечится temperature=0 и фиксацией seed, где поддерживается), недетерминизм инференса на GPU (батчинг и порядок операций с плавающей точкой меняют результат даже при temperature=0), молчаливые обновления моделей у API-провайдеров и хрупкость к микроизменениям промпта. Практический протокол: пиновать версию модели (или использовать собственные веса — единственная полная гарантия), логировать каждый запрос и ответ (журнал прогона становится артефактом воспроизводимости: любой прогон можно «переиграть» из лога), и перейти от воспроизводимости прогона к статистической воспроизводимости: утверждения формулируются о распределении исходов по N прогонам, а не об одном прогоне. Публикация результатов LLM-симуляции без указания модели, версии, температуры и числа прогонов — дурной тон, увы, всё ещё распространённый.

Валидация

Сведём валидационную рамку главы воедино. Уровень 1 — микроправдоподобие: люди-эксперты читают траектории агентов (believability-панели, интервью с агентами). Уровень 2 — воспроизведение известных паттернов: симуляция должна бесплатно выдавать стилизованные факты предметной области (кривая Филлипса у EconAgent, диффузия инноваций, кривая обучения новичка в компании); если не выдаёт — модель сломана, если выдаёт — это необходимое, но не достаточное условие. Уровень 3 — бэктест: прогон на историческом периоде против факта. Уровень 4, высший — проспективная проверка: зарегистрированный заранее прогноз симуляции против будущего исхода (стандарт, к которому область только движется). Отдельно — анализ чувствительности: к промптам, к выбору модели, к составу популяции; результат, живущий только на одной модели и одной формулировке, — артефакт, а не находка.

Этика

Четыре узла. Согласие и двойники: симуляция конкретных людей (архитектура интервью-двойников из 9.2 технически доступна любой компании с CRM и записями звонков) требует согласия прототипов; Стэнфорд не случайно выдаёт свой банк агентов только исследователям под соглашение. Манипуляция: та же симуляция, что тестирует ясность коммуникации, оптимизирует и манипулятивность; прогон дарк-паттернов на цифровых двойниках клиентов — уже не мысленный эксперимент, а доступная практика без сложившейся нормы. Решения о людях по данным симуляции: увольнять, продвигать или менять оплату на основании поведения чьего-то агента-двойника недопустимо — двойник наследует смещения модели, и симуляция даёт распределения сценариев, а не факты о человеке. Парасоциальность и статус агентов: люди быстро очеловечивают правдоподобных агентов; в организационных симуляциях это порождает специфический риск — «мнение» симулированного коллектива начинает восприниматься как мнение коллектива реального. Рабочее правило: LLM-симуляция — инструмент исследования пространства сценариев, и её выводы наследуют все смещения моделей; они не заменяют ни эксперимент, ни разговор с живыми людьми.

9.10. Источники и куда копать глубже

Статьи (arXiv)

GitHub

Блоги и видео

Как читать этот список

Минимальный маршрут для проектировщика движка компании: Park 2023 → Park 2024 → Concordia → MetaGPT → TheAgentCompany → раздел 9.7 этой главы. Этого достаточно, чтобы спроектировать первый прототип: явное ядро, LLM-слой, гейм-мастер, SOP-процессы, честный бенчмарк.