OpenClaw의 QA 시나리오 실행하기 openclaw-qa-testing
機械翻訳 / Machine-translated
機械翻訳 / Machine-translated
원문: OpenClaw의 QA 시나리오 실행하기 openclaw-qa-testing（cccskills）
스킬 페이지: openclaw-qa-testing
이 글의 결론
OpenClaw 개발자가 이 스킬을 도입하면, QA 시나리오 실행·실패 수정·재실행·결과 확인까지를 에이전트에게 맡길 수 있습니다.
여러 모델의 말투 비교나 OpenTelemetry 추적 데이터의 로컬 검증에도 사용할 수 있는 스킬입니다.
이 글에서는 요청하면 무엇이 반환되는지, 설치 방법, 실제 서비스에서 사용할 때의 주의 사항을 순서대로 설명합니다.
OpenClaw 소스를 가져온 작업 폴더에서 요청하면 에이전트가 QA 시나리오를 실행합니다.
실패가 있으면 원인을 수정하고 통과할 때까지 재실행합니다.
실제 서비스에서 QA 시나리오 전체를 돌리고, 실패가 있으면 원인을 수정한 뒤 재실행해줘
에이전트는 먼저 시나리오 목록과 테스트 실행 부분의 코드를 읽습니다.
이어서 실제 모델을 사용하는 검증 레인에서 시나리오 전체를 실행하고, 결과를 .artifacts/qa-e2e/ 아래에 저장합니다.
출력 위치는, 성공·실패 집계가 qa-suite-summary.json, 사람이 읽는 보고서가 qa-suite-report.md입니다.
실패한 시나리오가 있으면, 원인이 제품 쪽에 있는지 테스트를 구동하는 구조(하네스)에 있는지 조사하여 수정합니다.
수정 후에는 실패한 1건만이 아니라 같은 레인 전체를 다시 실행하는 것이 규칙입니다.
작업이 끝나면 다음 4가지가 보고됩니다.
화면 URL은 http://127.0.0.1:<port> 형식으로, 로컬 브라우저에서 열 수 있습니다.
요청한 레인의 시나리오가 모두 통과한 상태가 이 스킬에서의 "완료"입니다.
이 스킬은 OpenClaw의 품질 확인 구조인 qa-lab과 qa-channel을 다룹니다.
qa-channel은 테스트용으로 준비된 가상 대화 채널입니다.
시나리오 실행과 관찰, 실패 조사, 시나리오 추가, 구조 설명까지 한꺼번에 요청할 수 있습니다.
QA 실행에는 두 가지 레인이 있습니다.
개발 중 확인에는 모의 응답 레인, 실제 환경에 가까운 검증에는 실제 모델 레인을 사용합니다.
| 레인 | 내용 | 적합한 상황 |
|---|---|---|
| mock-openai | 모의 응답으로 실행 | 개발 중 동작 확인 |
| live-frontier | 실제 모델 사용 | 실제 환경에 가까운 검증 |
일반적인 실행에서는 에이전트가 모델을 명시적으로 지정하지 않습니다.
모델 선택은 QA Lab 측의 기본값에 맡기는 방식입니다.
지정을 추가하는 것은 시나리오가 특정 모델이나 프로바이더를 필요로 할 때뿐입니다.
자주 발생하는 실패 유형과 대처 방법이 스킬에 미리 정리되어 있습니다.
에이전트는 이 정리를 단서로 원인을 파악합니다.
qa character-eval을 사용하면 여러 실제 모델의 말투·인격·분위기를 비교할 수 있습니다.
리포트에 포함되는 것은 심사 모델이 매긴 순위, 실행 통계, 소요 시간, 전체 대화 내용입니다.
소요 시간은 참고 정보이며 채점에는 사용하지 않습니다.
인격 설정은 시나리오 안에서 SOUL.md에 작성합니다.
모델에게 평가 중임을 알리지 않고, 잡담이나 소소한 파일 작업 같은 자연스러운 요청을 보내는 것이 기본입니다.
비교 후보에는 Codex CLI를 모델로 추가하는 것도 가능합니다.
OpenTelemetry（처리 흐름을 기록하는 표준 구조）의 출력도 로컬에서 확인할 수 있습니다.
실행하는 명령은 다음과 같습니다.
pnpm qa:otel:smoke
이 명령은 로컬에 추적 데이터 수신 엔드포인트를 실행하고 전용 시나리오를 돌립니다.
그런 다음 출력된 기록을 분석하여 이름과 프라이버시 규칙을 확인합니다.
Opik이나 Langfuse 같은 외부 수집 서비스의 인증 정보는 필요하지 않습니다.
새 시나리오는 qa/scenarios/ 아래에 YAML로 작성합니다.
Markdown으로 시나리오를 작성하는 것은 금지입니다.
추가 시에는 실행 코드에도 확인 처리를 추가하고, 모의 환경에서만 끝나지 않는 엔드투엔드 검증을 우선합니다.
명령으로 설치하는 경우 다음을 실행합니다.
실행 시 Claude Code나 Codex 등 설치 대상 에이전트를 선택할 수 있습니다.
npx skills add https://github.com/openclaw/openclaw --skill openclaw-qa-testing
에이전트에게 설치를 요청하는 경우, 다음 내용을 그대로 전송하세요.
次の Agent Skill をインストールしてください。
https://github.com/openclaw/openclaw/tree/main/.agents/skills/openclaw-qa-testing
まず SKILL.md と付属ファイルの中身を確認し、不審な処理（外部への送信、認証情報の読み取りなど）がないことを確かめてから、Claude Code なら ~/.claude/skills/openclaw-qa-testing/、Codex なら ~/.agents/skills/openclaw-qa-testing/ に配置してください。
저장 위치는 사용하는 에이전트와 적용 범위에 따라 결정됩니다.
| 에이전트 | 전체 프로젝트에서 사용 | 특정 프로젝트에서만 사용 |
|---|---|---|
| Claude Code | ~/.claude/skills/ | 프로젝트의 .claude/skills/ |
| Codex | ~/.agents/skills/ | 프로젝트의 .agents/skills/ |
요청은 OpenClaw 소스를 가져온 폴더에서 보냅니다.
대표적인 요청 방법은 다음 세 가지입니다.
모의 환경에서 QA 전체를 실행하고 실패 원인을 조사해줘
모의 응답 레인에서 시나리오 전체가 실행됩니다.
실패가 있으면 원인을 수정하고 레인 전체를 재실행하며, 성공·실패 건수, 리포트 저장 위치, 수정 내용 메모가 반환됩니다.
이 캐릭터 설정을 여러 모델로 비교해줘
qa character-eval로 여러 모델에 동일한 인격 설정과 요청을 제공합니다.
반환되는 것은 심사 모델이 매긴 순위, 소요 시간, 전체 대화 내용이 포함된 리포트와 그 저장 위치입니다.
로컬에서 추적 데이터 출력을 확인해줘
pnpm qa:otel:smoke가 실행되며 외부 서비스에는 연결되지 않습니다.
반환되는 것은 추적 데이터의 이름과 프라이버시 규칙이 지켜지고 있는지에 대한 결과입니다.
이 스킬은 OpenClaw 소스를 가져온 개발 환경에서만 동작합니다.
배포용 빌드에는 QA 기능이 의도적으로 포함되어 있지 않습니다.
빌드된 환경에서 시도하는 경우에는 QA 기능을 포함하는 전용 설정으로 빌드하거나 개발 모드로 실행합니다.
실제 서비스에서의 검증에는 대상에 따른 인증 정보가 필요합니다.
절차는 OpenClaw 프로젝트의 1Password 보관함을 전제로 작성되어 있습니다.
1Password CLI는 tmux 안에서만 사용하는 규칙입니다.
필요한 값을 찾지 못했을 때 에이전트는 추측하지 않고 관리자에게 확인을 요청합니다.
WhatsApp 검증에서는 전용 테스트 번호 두 개를 사용합니다.
개인 번호나 개인 계정은 사용하지 않습니다.
인증 정보는 리포지토리, 로그, PR, 스크린샷에 남기지 않으며 전화번호도 숨기는 방식으로 운용합니다.
여러 모델 비교에서는 후보 측과 심사 측 모두 동시 실행 수 기본값이 16입니다.
로컬 환경이나 프로바이더 이용 제한이 엄격할 때는 에이전트에게 수를 줄이도록 요청할 수 있습니다.
라이선스는 MIT입니다.
동봉 파일은 SKILL.md와 agents/openai.yaml 두 가지이므로, 설치 전에 내용을 읽어두세요.
같은 OpenClaw 리포지토리에는 이 스킬의 전후로 사용할 수 있는 스킬이 있습니다.
없습니다.
QA 기능은 소스를 가져온 개발 환경에서만 동작하며, 배포용 빌드에는 포함되어 있지 않기 때문입니다.
OpenClaw 본체를 개발·검증하는 분을 위한 스킬입니다.
검증 대상에 따른 인증 정보가 필요합니다.
Telegram이라면 테스트용 봇 토큰, WhatsApp이라면 전용 테스트 번호 두 개를 사용합니다.
추적 데이터의 로컬 검증만이라면 외부 서비스의 인증 정보는 필요하지 않습니다.
가능합니다.
codex-cli/<모델명> 형식으로 모델을 지정하면 Codex CLI를 비교 후보 중 하나로 추가할 수 있습니다.
구체적인 모델명은 사용자가 지정하는 것으로, 스킬 측에서는 고정되어 있지 않습니다.
가능합니다.
qa/scenarios/ 아래에 YAML 파일을 추가하고, 목록 파일과 실행 코드도 함께 업데이트하는 것이 규칙입니다.
에이전트에게 추가를 요청하면 이 규칙에 따라 작업합니다.
openclaw-qa-testing은 OpenClaw의 QA 시나리오 실행부터 실패 수정, 재실행, 결과 보고까지를 연속적으로 맡길 수 있는 스킬입니다.
모의 환경과 실제 서비스 레인을 선택할 수 있으며, 여러 모델의 말투 비교나 추적 데이터 검증에도 사용할 수 있습니다.
전제 조건은 소스를 가져온 개발 환경입니다.
실제 서비스의 인증 정보는 기록에 남기지 않는 방식으로 운용해야 합니다.
OpenClaw의 품질 확인을 한꺼번에 진행하고 싶은 개발자는 cccskills 페이지에서 자세한 내용을 확인하세요.
이 글은 cccskills의 읽을거리 「OpenClaw의 QA 시나리오 실행하기 openclaw-qa-testing」의 전재입니다.
스킬 상세 내용과 설치 방법은 cccskills의 openclaw-qa-testing 페이지에 있습니다.