Fundamentals
Набор бенчмарков для персонального агента
Пакет бенчмарков персонального агента — это небольшой пакет сценариев QA на базе репозитория для
локальных рабочих процессов персонального помощника. Это не универсальный бенчмарк модели, и
ему не требуется новый исполнитель: он повторно использует закрытый стек QA (обзор QA),
синтетический канал QA и существующий
каталог YAML qa/scenarios.
Сценарии
Десять сценариев, определённых в qa/scenarios/personal/*.yaml:
| Идентификатор сценария | Проверки |
|---|---|
personal-reminder-roundtrip |
Имитация персональных напоминаний с локальной доставкой через Cron |
personal-channel-thread-reply |
Имитация маршрутизации личных сообщений и ответов в ветках через qa-channel |
personal-memory-preference-recall |
Имитация извлечения предпочтений из временных файлов памяти рабочего пространства QA |
personal-redaction-no-secret-leak |
Имитация проверок отсутствия вывода секретов |
personal-tool-safety-followthrough |
Безопасное продолжение работы с инструментом, основанное на чтении, после короткого запроса подтверждения |
personal-approval-denial-stop |
Прекращение работы при отказе в подтверждении конфиденциального локального запроса на чтение |
personal-task-followthrough-status |
Отчёт о состоянии задачи с подтверждениями, в котором ожидающие, заблокированные и завершённые задачи разделены |
personal-share-safe-diagnostics-artifact |
Безопасные для публикации диагностические артефакты, сохраняющие полезные сведения о состоянии без исходного персонального содержимого |
personal-no-fake-progress |
Подтверждённые заявления о завершении, исключающие ложные сообщения о прогрессе до появления локальных доказательств |
personal-failure-recovery |
Восстановление после сбоя с сообщением о частичном состоянии и чёткими границами повторных попыток |
Машиночитаемые метаданные пакета (список идентификаторов, заголовок, описание) находятся в
extensions/qa-lab/src/scenario-packs.ts как QA_PERSONAL_AGENT_SCENARIO_IDS.
Запустите пакет с помощью --pack personal-agent:
OPENCLAW_ENABLE_PRIVATE_QA_CLI=1 pnpm openclaw qa suite \ --provider-mode mock-openai \ --pack personal-agent \ --concurrency 1--pack дополняет повторяющиеся флаги --scenario. Сначала выполняются явно указанные сценарии,
затем сценарии пакета выполняются в порядке QA_PERSONAL_AGENT_SCENARIO_IDS
с удалением дубликатов.
Пакет предназначен для qa-channel с mock-openai или другой локальной
линией провайдера QA. Не направляйте его на действующие службы чатов или реальные личные учётные записи.
Модель конфиденциальности
Сценарии используют только фиктивных пользователей, фиктивные предпочтения, фиктивные секреты и временное рабочее пространство Gateway для QA, создаваемое набором тестов. Они не должны читать или изменять реальную пользовательскую память OpenClaw, сеансы, учётные данные, агенты запуска, глобальные конфигурации или состояние действующего Gateway.
Артефакты остаются в существующем каталоге артефактов набора QA и рассматриваются как результаты тестирования. Проверки редактирования используют фиктивные маркеры, поэтому сбои можно безопасно исследовать и регистрировать в задачах.
Расширение пакета
Добавьте новые случаи .yaml в qa/scenarios/personal/, затем добавьте идентификатор сценария
в QA_PERSONAL_AGENT_SCENARIO_IDS. Каждый случай должен быть небольшим, локальным и детерминированным
в mock-openai, а также сосредоточенным на одном аспекте поведения персонального помощника.
Подходящие кандидаты для дальнейшего развития: проверки экспорта траекторий с редактированием, проверки локальных рабочих процессов плагинов.
Не добавляйте новый исполнитель, плагин, зависимость, действующий транспорт или модель-судью, пока каталог сценариев не будет содержать достаточно стабильных случаев, оправдывающих такую поверхность.
