运行 OpenClaw 的 QA 场景 openclaw-qa-testing
機械翻訳 / Machine-translated
機械翻訳 / Machine-translated
原文：运行 OpenClaw 的 QA 场景 openclaw-qa-testing（cccskills）
技能页面：openclaw-qa-testing
本文结论
OpenClaw 开发者安装此技能后，可将 QA 场景的执行、失败修复、重新运行及结果确认全部交给 Agent 处理。
此技能也适用于多模型表达风格比较，以及 OpenTelemetry 追踪数据的本地验证。
本文将依次介绍发出请求后会收到什么、安装方法，以及在真实服务中使用时的注意事项。
在获取了 OpenClaw 源码的工作目录中发出请求，Agent 便会执行 QA 场景。
如有失败，它会找出原因并修复，直到所有场景通过为止。
用真实服务跑一遍完整 QA 场景，如有失败请修复后重新运行
Agent 首先会读取场景列表和测试执行部分的代码。
然后在使用真实模型的验证通道中运行完整场景，并将结果保存到 .artifacts/qa-e2e/ 目录下。
输出文件为：成功/失败汇总的 qa-suite-summary.json，以及可供人阅读的报告 qa-suite-report.md。
若有场景失败，Agent 会调查原因是出在产品侧还是测试运行机制（harness）侧，然后进行修复。
修复后，不只重跑那一个失败的场景，而是重跑同一通道的所有场景。
任务完成后，会汇报以下四点：
页面 URL 形如 http://127.0.0.1:<port>，可在本地浏览器中打开。
所请求通道的所有场景全部通过，即为此技能的"完成"状态。
此技能处理 OpenClaw 的质量验证机制 qa-lab 和 qa-channel。
qa-channel 是为测试准备的模拟会话通道。
可一并请求执行与观察场景、排查失败、添加场景，以及解释机制。
QA 执行有两个通道。
开发中的验证使用模拟响应通道，接近生产的验证使用真实模型通道。
| 通道 | 内容 | 适用场景 |
|---|---|---|
| mock-openai | 使用模拟响应运行 | 开发中的功能验证 |
| live-frontier | 使用真实模型运行 | 接近生产的验证 |
常规执行时，Agent 不会明确指定模型，
模型选择交由 QA Lab 的默认设置决定。
仅在场景需要特定模型或提供商时才会添加指定。
技能中预先整理了常见失败类型及对应处理方式。
Agent 以此为线索进行原因定位。
使用 qa character-eval，可在多个真实模型上比较语气、人格和风格。
报告内容包括：审查模型的排名、执行统计、耗时，以及完整对话记录。
耗时仅作参考，不用于评分。
人格设定写在场景的 SOUL.md 中。
基本原则是不告知模型正在接受评估，而是发送闲聊或小型文件操作等自然的请求。
比较候选中也可以加入以 Codex CLI 作为模型的选项。
OpenTelemetry（一种记录处理流程的标准机制）的输出也可在本地验证。
执行以下命令：
pnpm qa:otel:smoke
此命令会在本地启动追踪数据接收端并运行专用场景，
然后解析输出的记录，确认名称及隐私相关约定。
无需 Opik、Langfuse 等外部收集服务的凭据。
新场景以 YAML 格式写在 qa/scenarios/ 目录下。
禁止使用 Markdown 编写场景。
添加时同时在执行代码中补充验证逻辑，并优先实现端到端验证，而非仅停留在模拟层面。
通过命令安装时，请执行以下内容。
执行时可选择安装到 Claude Code、Codex 等目标 Agent。
npx skills add https://github.com/openclaw/openclaw --skill openclaw-qa-testing
请 Agent 安装时，请原文发送以下内容：
次の Agent Skill をインストールしてください。
https://github.com/openclaw/openclaw/tree/main/.agents/skills/openclaw-qa-testing
まず SKILL.md と付属ファイルの中身を確認し、不審な処理（外部への送信、認証情報の読み取りなど）がないことを確かめてから、Claude Code なら ~/.claude/skills/openclaw-qa-testing/、Codex なら ~/.agents/skills/openclaw-qa-testing/ に配置してください。
存放位置取决于所用 Agent 和适用范围。
| Agent | 全项目通用 | 仅限特定项目 |
|---|---|---|
| Claude Code | ~/.claude/skills/ | 项目的 .claude/skills/ |
| Codex | ~/.agents/skills/ | 项目的 .agents/skills/ |
请在获取了 OpenClaw 源码的目录中发出请求。
以下是三种典型的请求方式：
在模拟环境中运行完整 QA，并排查失败原因
在模拟响应通道中运行所有场景。
如有失败，修复原因后重跑整个通道，并返回成功/失败数量、报告保存位置及修复内容说明。
用多个模型比较这个角色设定
通过 qa character-eval，向多个模型提供相同的人格设定和请求。
返回内容为：审查模型的排名、耗时、包含完整对话的报告及其保存位置。
在本地确认追踪数据输出
执行 pnpm qa:otel:smoke，不连接外部服务。
返回内容为追踪数据的名称及隐私相关约定是否得到遵守的结果。
此技能仅在获取了 OpenClaw 源码的开发环境中运行。
发行版构建中特意未包含 QA 功能。
在已构建环境中试用时，需使用包含 QA 功能的专用配置重新构建，或以开发模式启动。
真实服务验证需要与目标对应的凭据。
操作步骤以 OpenClaw 项目的 1Password 保管库为前提。
1Password CLI 仅限在 tmux 内使用。
当所需值无法找到时，Agent 不会进行猜测，而是请求管理员确认。
WhatsApp 验证使用两个专用测试号码，
不使用个人号码或个人账户。
凭据不保留在仓库、日志、PR 或截图中，电话号码也须隐去。
多模型比较中，候选侧和审查侧的默认并发数均为 16。
若本地环境或提供商的使用限制较严格，可请求 Agent 降低并发数。
许可证为 MIT。
随附文件为 SKILL.md 和 agents/openai.yaml 两个，安装前请阅读其内容。
同一 OpenClaw 仓库中还有可在此技能前后使用的其他技能。
没有意义。
QA 功能仅在获取了源码的开发环境中运行，发行版构建中不包含该功能。
此技能面向开发和验证 OpenClaw 本体的人员。
需要与验证目标对应的凭据。
Telegram 需要测试用机器人令牌，WhatsApp 需要两个专用测试号码。
若仅进行追踪数据的本地验证，则无需外部服务凭据。
可以。
以 codex-cli/<模型名称> 的形式指定模型，即可将 Codex CLI 作为比较候选之一加入。
具体模型名称由用户指定，技能侧不固定。
可以。
规定是在 qa/scenarios/ 下添加 YAML 文件，同时更新列表文件和执行代码。
请求 Agent 添加时，它会按照此规定进行操作。
openclaw-qa-testing 是一个技能，可将 OpenClaw QA 场景的执行、失败修复、重新运行及结果汇报一气呵成地交由 Agent 完成。
可选择模拟环境和真实服务通道，也适用于多模型表达风格比较和追踪数据验证。
前提是获取了源码的开发环境，并且要求凭据不得保留在记录中。
希望统一推进 OpenClaw 质量验证的开发者，请访问 cccskills 页面 查看详情。
本文转载自 cccskills 的读物「运行 OpenClaw 的 QA 场景 openclaw-qa-testing」。
技能详情及安装方法请见 cccskills 的 openclaw-qa-testing 页面。