2025年9月1日,小吾使用CodeBuddy IDE国际版搭配Claude Sonnet 4大模型生成HTML数据看板中的数据,除了统计处理过的记录条数为80条正确之外,剩下3个问题的数据全错。
1. 解忧场景-需求描述
老板丢给你一个有80条数据的“2025年AI智能体表现数据集”的Excel文件(first-80-rows-agentic_ai_performance_dataset_20250622.xlsx),让你两个小时后给他一份综合数据看板,要求包含下面3个老板关心的问题的数据可视化图表:
(1)支持多模态处理(multimodal_capability)的智能体类型(agent_type)在该智能体类型中的占比从大到小排名前三的智能体类型是哪三个?; (2)支持多模态处理(multimodal_capability)的大模型架构(model_architecture)在该大模型架构中的占比从大到小排名前三的大模型架构是哪三个?; (3)各种智能体任务处理类别(task_category)所对应的智能体所表现出的公正性(bias detection)的中位数从高到低排名前三的是哪三种智能体任务处理类别?
你打算用CodeBuddy IDE国际版搭配Claude Sonnet 4大模型来生成HTML数据看板。
2. 期望的正确数据✅ vs CodeBuddy+Claude Sonnet 4实际得到的数据❌
(1)智能体类型多模态能力占比排名前三
期望的正确数据✅ | CodeBuddy+Claude Sonnet 4实际得到的数据❌ |
---|---|
Research Assistant: 60.0% (3/5) ✅ | Conversational Agent: 50% ❌ |
Document Processor: 33.3% (2/6) ✅ | Task-Specific Agent: 50% ❌ |
Sales Assistant: 28.6% (2/7) ✅ | Reasoning Agent: 50% ❌ |
(2)大模型架构多模态能力占比排名前三
期望的正确数据✅ | CodeBuddy+Claude Sonnet 4实际得到的数据❌ |
---|---|
GPT-4o: 37.5% (3/8) ✅ | Transformer: 50% ❌ |
CodeT5+: 33.3% (3/9) ✅ | Mixture of Experts: 50% ❌ |
Transformer-XL: 20.0% (2/10) ✅ | Retrieval-Augmented: 50% ❌ |
(3)任务类型公正性中位数排名前三
期望的正确数据✅ | CodeBuddy+Claude Sonnet 4实际得到的数据❌ |
---|---|
Communication: 0.8214 ✅ | Content Generation: 0.851 ❌ |
Research & Summarization: 0.7853 ✅ | Data Analysis: 0.849 ❌ |
Decision Making: 0.7816 ✅ | Question Answering: 0.848 ❌ |
3. 测评过程
(1)在电脑上创建一个空目录,用于测评
(2)将Excel文件“first-80-rows-agentic_ai_performance_dataset_20250622.xlsx”复制到测评空目录中
(3)启动CodeBuddy IDE国际版,并打开测评目录
(4)在CodeBuddy IDE中打开Excel文件“first-80-rows-agentic_ai_performance_dataset_20250622.xlsx”
(5)在CodeBuddy IDE中安装Office Viewer插件,以便查看Excel文件内容
(6)在CodeBuddy IDE的提示词输入框中输入以下提示词:
我有一个Kaggle数据集"Agentic AI Performance Dataset 2025”文件“first-80-rows-agentic_ai_performance_dataset_20250622.xlsx”,主要关注AI智能体表现的3个问题:(1)支持多模态处理(multimodal_capability)的智能体类型(agent_type)在该智能体类型中的占比从大到小排名前三的智能体类型是那三个?;(2)支持多模态处理(multimodal_capability)的大模型架构(model_architecture)在该大模型架构中的占比从大到小排名前三的大模型架构是哪三个?;(3)各种智能体处理任务(task_category)各自的智能体表现的公正性(bias detection)的中位数从高到低排名前三的是哪三种智能体处理任务?我希望将这个数据集可视化,请帮我读取这个Excel文件,用Python进行数据分析,并将相应代码保存到名为“analyze_data.py”的文件中;然后根据数据分析结果生成一个名为“data-dashboard.html”的HTML格式的综合数据看板。看板应包含数据可视化设计,并显示你实际处理的数据集总记录数(本数据集共80条数据,请只显示你实际读取并处理的数据行数)。请使用浅色调设计看板,提供可直接运行的HTML静态代码。无需提供动态效果或使用静态图片,也不要依赖加载Excel文件来运行HTML代码,确保所有图表在手机浏览器中能完整显示。
(7)在CodeBuddy IDE对话框下方选择“Craft”模式,搭配“Claude-4.0-Sonnet”大模型
(8)点击“Send”按钮,CodeBuddy IDE生成“index.html”看板文件
4. 测评结论
虽然所生成的数据可视化看板“index.html”界面美观,但其中的3个老板关心的问题的数据全是错的。

5. 测评环境
5.1 测评时间
2025.09.01
5.2 电脑操作系统Windows 11专业版
版本号:24H2
操作系统版本:26100.5074
5.3 CodeBuddy IDE国际版版本
Version: 0.1.28
VS Code Version: 1.100.0 (user setup)
Commit: 4ca376ba25fe3e28eb2fbcdf9b8861ee92381ff1
Date: 2025-08-28T15:21:49.238Z
Electron: 34.5.1
ElectronBuildId: undefined
Chromium: 132.0.6834.210
Node.js: 20.19.0
V8: 13.2.152.41-electron.0
OS: Windows_NT x64 10.0.26100
5.4 搭配大模型型号
Claude-4.0-Sonnet
6. 测评资源下载
https://gitee.com/wubin28/data-dashboard-in-html-for-agentic_ai_performance_dataset_20250831
first-80-rows-agentic_ai_performance_dataset_20250622.xlsx: 测评所使用的含80条数据的数据集
index.html: CodeBuddy IDE+Claude所生成HTML数据看板