Fundamentals
Benchmarkpakket voor persoonlijke agents
Het Personal Agent Benchmark Pack is een klein, door een repository ondersteund QA-scenariopakket voor
lokale workflows voor persoonlijke assistenten. Het is geen algemene modelbenchmark en
heeft geen nieuwe runner nodig: het hergebruikt de private QA-stack (QA-overzicht),
het synthetische QA-kanaal en de bestaande
YAML-catalogus qa/scenarios.
Scenario's
Tien scenario's, gedefinieerd in qa/scenarios/personal/*.yaml:
| Scenario-id | Controles |
|---|---|
personal-reminder-roundtrip |
Gesimuleerde persoonlijke herinneringen via lokale Cron-bezorging |
personal-channel-thread-reply |
Routering van gesimuleerde privéberichten en antwoorden in discussielijnen via qa-channel |
personal-memory-preference-recall |
Ophalen van gesimuleerde voorkeuren uit de tijdelijke geheugenbestanden van de QA-werkruimte |
personal-redaction-no-secret-leak |
Controles dat gesimuleerde geheimen niet worden herhaald |
personal-tool-safety-followthrough |
Veilige, door leesbewerkingen ondersteunde opvolging met tools na een korte goedkeuringsbeurt |
personal-approval-denial-stop |
Stopgedrag na geweigerde goedkeuring voor een gevoelige lokale leesaanvraag |
personal-task-followthrough-status |
Op bewijs gebaseerde rapportage van de taakstatus die openstaand, geblokkeerd en voltooid gescheiden houdt |
personal-share-safe-diagnostics-artifact |
Veilig deelbare diagnostische artefacten die nuttige status behouden en onbewerkte persoonlijke inhoud weglaten |
personal-no-fake-progress |
Op bewijs gebaseerde voltooiingsclaims die geen voortgang veinzen voordat lokaal bewijs beschikbaar is |
personal-failure-recovery |
Herstel na fouten dat een gedeeltelijke status rapporteert en de grenzen voor nieuwe pogingen duidelijk houdt |
De machineleesbare pakketmetadata (lijst met id's, titel en beschrijving) staat in
extensions/qa-lab/src/scenario-packs.ts als QA_PERSONAL_AGENT_SCENARIO_IDS.
Voer het pakket uit met --pack personal-agent:
OPENCLAW_ENABLE_PRIVATE_QA_CLI=1 pnpm openclaw qa suite \ --provider-mode mock-openai \ --pack personal-agent \ --concurrency 1--pack is cumulatief met herhaalde --scenario-vlaggen. Expliciete scenario's worden
eerst uitgevoerd, waarna de pakketscenario's in de volgorde van
QA_PERSONAL_AGENT_SCENARIO_IDS worden uitgevoerd, waarbij duplicaten worden verwijderd.
Het pakket is gericht op qa-channel met mock-openai of een ander lokaal
QA-providertraject. Richt het niet op livechatdiensten of echte persoonlijke accounts.
Privacymodel
Scenario's gebruiken uitsluitend gesimuleerde gebruikers, gesimuleerde voorkeuren, gesimuleerde geheimen en de tijdelijke QA Gateway-werkruimte die door de suite wordt aangemaakt. Ze mogen geen echt gebruikersgeheugen, sessies, referenties, startagents, globale configuraties of live Gateway-status van OpenClaw lezen of schrijven.
Artefacten blijven in de bestaande artefactmap van de QA-suite en worden behandeld als testuitvoer. Redactiecontroles gebruiken gesimuleerde markeringen, zodat fouten veilig kunnen worden onderzocht en in issues kunnen worden vastgelegd.
Het pakket uitbreiden
Voeg nieuwe .yaml-gevallen toe onder qa/scenarios/personal/ en voeg vervolgens de scenario-id
toe aan QA_PERSONAL_AGENT_SCENARIO_IDS. Houd elk geval klein, lokaal en deterministisch
in mock-openai, en gericht op één gedrag van een persoonlijke assistent.
Goede kandidaten voor vervolgwerk: controles voor de export van geredigeerde trajecten, controles voor uitsluitend lokale Plugin-workflows.
Voeg geen nieuwe runner, Plugin, afhankelijkheid, live transport of modelbeoordelaar toe totdat de scenariocatalogus voldoende stabiele gevallen bevat om dat oppervlak te rechtvaardigen.
