一行命令,给 vibe-coded / AI-generated 项目生成可复核的功能验收 QA 报告。
AI 写出来的项目,真的完成需求了吗?vibecoding-qa 专门检查这件事:它读取 README/需求文档/源码/运行证据/用户可见输出,生成一份可以交给开发者或修复 agent 的 AGENT_TEST_QA_REPORT.md。
| 你关心的事 | 当前答案 |
|---|---|
| 能不能直接试? | 可以,clone 后一行命令扫本地目录或 GitHub URL |
| 要不要 API key? | 默认 basic 模式不需要 |
| 会不会烧 token? | 默认 0 token,$0 cost,报告里记录预估和实耗 |
| 主要测什么? | vibeCoding 高频交付问题:假完成、空报告、弱推荐、硬编码样例、入口不可用、完整流程未验证 |
npm install
node ./bin/agent-test.js scan . --out reports/latest扫 GitHub 仓库:
node ./bin/agent-test.js scan https://github.com/user/repo --out reports/repo输出:
reports/latest/
├── AGENT_TEST_QA_REPORT.md
└── report.json
我们用 vibecoding-qa 对真实高星仓库 browser-use/browser-use 跑了一次公开预检:
node ./bin/agent-test.js scan https://github.com/browser-use/browser-use --out reports/showcase/browser-use --max-files 800精选结果:
| 项目 | 结果 |
|---|---|
| Target | https://github.com/browser-use/browser-use |
| Checks | 9/11 passed |
| Failed gates | no-obvious-secrets, no-obvious-fixture-overfit |
| Functional defects | 0 |
| Full flow | not-run,明确不冒充完整验收 |
| API cost | no key, 0 tokens, $0 |
关键价值不是“挑刺某个知名项目”,而是报告边界非常清楚:发现 obvious-risk 就提示人工复核;没跑完整用户流就标 UNVERIFIED/not-run;没发现功能缺陷就不会编造缺陷。
完整报告:docs/showcase/browser-use-agent-test-report.md
报告会直接回答:
| 维度 | 会不会写进报告 |
|---|---|
| 被测项目承诺了什么 | yes |
| 是否跑了代表性完整用户流程 | yes |
| 用户最终看到的输出是否有用 | yes |
| 是否存在空白/弱推荐/模板化输出 | yes |
| 链接、文件、报告是否可消费复核 | yes |
| API key、token 预估和真实消耗 | yes |
| 下一步修什么 | yes |
展开查看 github-deepSearch 被测样例截图
这些截图只是展示 vibecoding-qa 如何组织用户可见输出、运行证据和最终 QA 报告,不是项目宣传页。
更多:
默认 basic 模式:
API key required: no
Required API keys: none
LLM mode: no-llm
Estimated tokens: input=0, output=0, total=0
Estimated cost: $0
Actual token usage: input=0, output=0, total=0
Actual recorded cost: $0
未来如果加入 LLM/外部 API 模式,必须先实现测试前成本预估、key 声明、预算上限和测试后真实消耗记录;不允许静默烧 token。
scan 是静态扫描 + 证据汇总。要让报告判断完整用户流程,需要先记录 runtime 证据:
node ./bin/agent-test.js run --target D:\code\some-project --out reports/some-project --name scenario-01-main-flow -- python main.py "用户真实需求"
node ./bin/agent-test.js scan D:\code\some-project --out reports/some-project没有 scenario-01-* 这类代表性用户流程证据时,报告会标记 UNVERIFIED 或 PARTIAL,不会把静态扫描包装成完整验收。
| 能力 | 状态 |
|---|---|
| 本地目录扫描 | supported |
| GitHub URL clone 后静态扫描 | supported |
| runtime artifacts 汇总 | supported |
| Markdown + JSON 报告 | supported |
| 自动安装被测项目依赖 | not in basic mode |
| 默认执行被测项目代码 | no |
| 默认调用 LLM/付费 API | no |
npm test
npm run verify
npm run setup:browser
npm run probe:browser- VIBECODING_QA_STANDARD.md
- TEST_PROJECT_DIRECTION.md
- docs/CONFIGURATION.md
- docs/REPORT_SCHEMA.md
- docs/TESTING_PRINCIPLES.md
- docs/WORKFLOW_IMPROVEMENTS.md
MIT


