Fundamentals
Набір тестів для персонального агента
Пакет еталонних тестів персонального агента — це невеликий прив’язаний до репозиторію пакет сценаріїв QA для
локальних робочих процесів персонального помічника. Це не універсальний еталонний тест моделей, і
він не потребує нового засобу запуску: пакет повторно використовує приватний стек QA (огляд QA),
синтетичний канал QA та наявний
каталог YAML qa/scenarios.
Сценарії
Десять сценаріїв, визначених у qa/scenarios/personal/*.yaml:
| Ідентифікатор сценарію | Перевірки |
|---|---|
personal-reminder-roundtrip |
Імітовані персональні нагадування з доставкою через локальний Cron |
personal-channel-thread-reply |
Маршрутизація імітованих особистих повідомлень і відповідей у гілках через qa-channel |
personal-memory-preference-recall |
Імітоване відновлення налаштувань із тимчасових файлів пам’яті робочого простору QA |
personal-redaction-no-secret-leak |
Імітовані перевірки, що секрети не відтворюються у відповіді |
personal-tool-safety-followthrough |
Безпечне виконання дії інструментом із підтвердженням через читання після короткого обміну в стилі схвалення |
personal-approval-denial-stop |
Зупинення після відмови у схваленні конфіденційного локального запиту на читання |
personal-task-followthrough-status |
Підтверджене доказами звітування про стан завдання з розмежуванням очікування, блокування та завершення |
personal-share-safe-diagnostics-artifact |
Безпечні для поширення діагностичні артефакти, що зберігають корисний стан, але не містять необроблених особистих даних |
personal-no-fake-progress |
Підтверджені доказами заяви про завершення без імітації прогресу до появи локальних доказів |
personal-failure-recovery |
Відновлення після збою зі звітуванням про частковий стан і чітким визначенням меж повторної спроби |
Машиночитані метадані пакета (список ідентифікаторів, назва, опис) містяться у
extensions/qa-lab/src/scenario-packs.ts як QA_PERSONAL_AGENT_SCENARIO_IDS.
Запустіть пакет із --pack personal-agent:
OPENCLAW_ENABLE_PRIVATE_QA_CLI=1 pnpm openclaw qa suite \ --provider-mode mock-openai \ --pack personal-agent \ --concurrency 1--pack можна поєднувати з повторюваними прапорцями --scenario. Спочатку виконуються
явно вказані сценарії, а потім сценарії пакета в порядку
QA_PERSONAL_AGENT_SCENARIO_IDS із видаленням дублікатів.
Пакет призначений для qa-channel із mock-openai або іншим локальним
режимом провайдера QA. Не спрямовуйте його на сервіси чатів у реальному середовищі або справжні особисті облікові записи.
Модель конфіденційності
Сценарії використовують лише імітованих користувачів, імітовані налаштування, імітовані секрети та тимчасовий робочий простір Gateway для QA, створений набором тестів. Вони не повинні читати або записувати справжню пам’ять користувача OpenClaw, сеанси, облікові дані, агенти запуску, глобальні конфігурації або стан активного Gateway.
Артефакти зберігаються в наявному каталозі артефактів набору QA та розглядаються як результати тестування. Перевірки редагування використовують імітовані маркери, тому збої можна безпечно перевіряти та реєструвати в задачах.
Розширення пакета
Додайте нові випадки .yaml у qa/scenarios/personal/, а потім додайте ідентифікатор сценарію
до QA_PERSONAL_AGENT_SCENARIO_IDS. Кожен випадок має бути невеликим, локальним, детермінованим
у mock-openai та зосередженим на одній поведінці персонального помічника.
Вдалі кандидати для подальшого розвитку: перевірки експорту траєкторії з редагуванням, перевірки локальних робочих процесів Plugin.
Не додавайте новий засіб запуску, Plugin, залежність, транспорт для реального середовища або модель-суддю, доки каталог сценаріїв не матиме достатньо стабільних випадків, щоб виправдати таку поверхню.
