Nanobrowser自动化测试框架：端到端验证智能体行为

【免费下载链接】nanobrowser Open source multi-agent browser automation tool with built-in Chrome extension 项目地址: https://gitcode.com/GitHub_Trending/na/nanobrowser

Nanobrowser作为一款开源多智能体浏览器自动化工具，其核心价值在于通过Planner（规划智能体）与Navigator（导航智能体）的协作实现复杂网页操作。本文将系统介绍如何构建针对智能体行为的端到端测试体系，确保多智能体协作的稳定性与可靠性。

测试框架核心价值与挑战

为什么需要智能体专用测试框架？

传统UI测试主要验证固定交互流程，而Nanobrowser的智能体系统具有动态决策特性：

• Planner会基于实时网页反馈调整任务策略
• Navigator能自主修正DOM定位偏差
• 多智能体间存在复杂的指令传递与状态共享

这些特性要求测试框架不仅验证"是否执行操作"，更要验证"为何执行该操作"的决策逻辑。测试源码架构可参考agents模块定义，其中包含智能体核心交互逻辑。

测试框架设计目标

1. 行为可预测性：验证智能体在相同输入下产生一致的决策序列
2. 错误边界处理：模拟各类异常场景下的智能体恢复能力，如错误类型定义中定义的MaxStepsReachedError等异常
3. 协作一致性：确保Planner与Navigator的指令传递符合预期流程

测试环境搭建

基础依赖配置

Nanobrowser测试框架基于Chrome Extension测试架构，需配置以下环境：

# 克隆项目仓库
git clone https://link.gitcode.com/i/8fff4d5f54bde567679e1eecb567729a
cd nanobrowser

# 安装依赖
pnpm install

# 构建测试版本
pnpm build:test

测试目录结构

测试框架主要分布在以下路径：

• 核心测试逻辑：guardrails测试用例
• 智能体交互模拟：agents模块
• DOM操作测试：browser/dom模块

智能体行为测试核心组件

1. 决策过程录制与回放

PlannerAgent的决策逻辑是测试重点，可通过重写PlannerAgent类实现决策过程录制：

class TestPlannerAgent extends PlannerAgent {
  async generatePlan(task: string, context: BrowserContext) {
    // 录制决策输入参数
    testRecorder.record('planner:generatePlan', { task, contextSnapshot: context.toJSON() });
    
    // 执行原始决策逻辑
    const plan = await super.generatePlan(task, context);
    
    // 记录生成的行动计划
    testRecorder.record('planner:planResult', { plan });
    return plan;
  }
}

2. 智能体通信协议验证

Navigator与Planner通过特定消息格式交互，测试需验证：

• 消息结构符合schemas定义
• 状态码与错误处理符合错误类型规范

消息验证示例：

function validateNavigatorResponse(response: NavigatorResponse) {
  // 验证响应格式
  expect(response).toHaveProperty('actionType');
  expect(response).toHaveProperty('confidenceScore');
  
  // 验证错误处理逻辑
  if (response.error) {
    expect(['ChatModelAuthError', 'MaxStepsReachedError']).toContain(response.error.type);
  }
}

3. DOM交互保真度测试

Navigator对网页元素的操作需通过严格的DOM验证，测试框架应包含：

• 元素定位策略验证（参考clickable/service.ts）
• 操作效果可视化对比（使用buildDomTree.js生成DOM快照）

端到端测试实现方案

测试用例设计矩阵

测试维度	关键指标	测试工具
任务完成率	智能体是否达成预设目标	任务管理器
决策合理性	步骤序列与最优路径的偏差率	自定义评分算法
错误恢复能力	异常场景下的策略调整成功率	错误类型模拟

典型测试场景实现

场景1：动态内容页面导航测试

模拟Planner在内容加载延迟场景下的策略调整：

test('Planner handles dynamic content loading', async () => {
  // 1. 加载包含延迟加载组件的测试页面
  await page.goto('https://test-site.com/dynamic-content');
  
  // 2. 注入内容加载延迟
  await page.evaluate(() => {
    window.delayContentLoad = true;
  });
  
  // 3. 执行智能体任务
  const result = await agentSystem.executeTask('提取所有产品信息');
  
  // 4. 验证Planner是否采取重试策略
  const planHistory = await testRecorder.getRecords('planner:planResult');
  expect(planHistory.some(p => p.plan.includes('等待内容加载'))).toBeTruthy();
});

场景2：多智能体协作冲突测试

验证当Navigator与Planner产生决策分歧时的协调机制：

test('Agent conflict resolution mechanism', async () => {
  // 1. 配置Navigator返回错误的DOM定位
  jest.spyOn(NavigatorAgent.prototype, 'locateElement').mockResolvedValue({
    xpath: '//invalid-path',
    confidenceScore: 0.4 // 低于阈值的置信度
  });
  
  // 2. 执行需要精确定位的任务
  const result = await agentSystem.executeTask('点击"添加到购物车"按钮');
  
  // 3. 验证Planner是否启动二次确认流程
  expect(testRecorder.hasRecord('planner:requestConfirmation')).toBeTruthy();
});

测试报告生成

测试完成后，框架自动生成包含以下内容的报告：

• 智能体行为时序图（基于history模块）
• DOM操作热力图（使用点击服务数据）
• 决策过程可视化（基于prompt模板生成）

测试框架扩展与最佳实践

自定义断言库开发

为简化智能体测试代码，可开发专用断言：

expect.extend({
  toHaveValidPlan(plan: PlannerPlan) {
    const isValid = plan.steps.every(step => 
      step.hasOwnProperty('action') && 
      step.hasOwnProperty('expectedOutcome')
    );
    
    return {
      message: () => 'Plan should contain valid steps with action and expected outcome',
      pass: isValid
    };
  }
});

// 使用示例
expect(generatedPlan).toHaveValidPlan();

性能基准测试

建立智能体性能基准线，监控以下指标：

• 平均决策耗时（参考executor.ts）
• 页面交互响应速度
• LLM调用效率（不同模型配置对比）

持续测试集成

将智能体测试集成到CI流程：

1. 使用package.json中的test脚本启动测试
2. 生成测试覆盖率报告（重点关注agents模块）
3. 与更新脚本联动，确保版本升级不破坏核心功能

测试框架未来演进方向

随着Nanobrowser智能体能力增强，测试框架需持续进化：

• 预测性测试：基于历史测试数据预测潜在协作冲突
• LLM辅助测试生成：利用AI自动生成复杂场景测试用例
• 跨浏览器兼容性：扩展测试矩阵至支持的浏览器列表

完整测试框架源码可通过项目仓库获取，社区贡献的测试用例可提交至CONTRIBUTING.md指引的贡献流程。

通过这套端到端测试体系，Nanobrowser确保智能体在各类网页环境中都能表现出稳定可靠的自动化能力，为用户提供可信赖的浏览器自动化体验。

【免费下载链接】nanobrowser Open source multi-agent browser automation tool with built-in Chrome extension 项目地址: https://gitcode.com/GitHub_Trending/na/nanobrowser