❌2025-09-01:CodeBuddy+Claude生成HTML数据看板后数据全错

2025年9月1日,小吾使用CodeBuddy IDE国际版搭配Claude Sonnet 4大模型生成HTML数据看板中的数据,除了统计处理过的记录条数为80条正确之外,剩下3个问题的数据全错。

1. 解忧场景-需求描述

老板丢给你一个有80条数据的“2025年AI智能体表现数据集”的Excel文件(first-80-rows-agentic_ai_performance_dataset_20250622.xlsx),让你两个小时后给他一份综合数据看板,要求包含下面3个老板关心的问题的数据可视化图表:

(1)支持多模态处理(multimodal_capability)的智能体类型(agent_type)在该智能体类型中的占比从大到小排名前三的智能体类型是哪三个?; (2)支持多模态处理(multimodal_capability)的大模型架构(model_architecture)在该大模型架构中的占比从大到小排名前三的大模型架构是哪三个?; (3)各种智能体任务处理类别(task_category)所对应的智能体所表现出的公正性(bias detection)的中位数从高到低排名前三的是哪三种智能体任务处理类别?

你打算用CodeBuddy IDE国际版搭配Claude Sonnet 4大模型来生成HTML数据看板。

2. 期望的正确数据vs CodeBuddy+Claude Sonnet 4实际得到的数据

(1)智能体类型多模态能力占比排名前三

期望的正确数据✅CodeBuddy+Claude Sonnet 4实际得到的数据❌
Research Assistant: 60.0% (3/5) ✅Conversational Agent: 50% ❌
Document Processor: 33.3% (2/6) ✅Task-Specific Agent: 50% ❌
Sales Assistant: 28.6% (2/7) ✅Reasoning Agent: 50% ❌

(2)大模型架构多模态能力占比排名前三

期望的正确数据✅CodeBuddy+Claude Sonnet 4实际得到的数据❌
GPT-4o: 37.5% (3/8) ✅Transformer: 50% ❌
CodeT5+: 33.3% (3/9) ✅Mixture of Experts: 50% ❌
Transformer-XL: 20.0% (2/10) ✅Retrieval-Augmented: 50% ❌

(3)任务类型公正性中位数排名前三

期望的正确数据✅CodeBuddy+Claude Sonnet 4实际得到的数据❌
Communication: 0.8214 ✅Content Generation: 0.851 ❌
Research & Summarization: 0.7853 ✅Data Analysis: 0.849 ❌
Decision Making: 0.7816 ✅Question Answering: 0.848 ❌

3. 测评过程

(1)在电脑上创建一个空目录,用于测评

(2)将Excel文件“first-80-rows-agentic_ai_performance_dataset_20250622.xlsx”复制到测评空目录中

(3)启动CodeBuddy IDE国际版,并打开测评目录

(4)在CodeBuddy IDE中打开Excel文件“first-80-rows-agentic_ai_performance_dataset_20250622.xlsx”

(5)在CodeBuddy IDE中安装Office Viewer插件,以便查看Excel文件内容

(6)在CodeBuddy IDE的提示词输入框中输入以下提示词:

我有一个Kaggle数据集"Agentic AI Performance Dataset 2025”文件“first-80-rows-agentic_ai_performance_dataset_20250622.xlsx”,主要关注AI智能体表现的3个问题:(1)支持多模态处理(multimodal_capability)的智能体类型(agent_type)在该智能体类型中的占比从大到小排名前三的智能体类型是那三个?;(2)支持多模态处理(multimodal_capability)的大模型架构(model_architecture)在该大模型架构中的占比从大到小排名前三的大模型架构是哪三个?;(3)各种智能体处理任务(task_category)各自的智能体表现的公正性(bias detection)的中位数从高到低排名前三的是哪三种智能体处理任务?我希望将这个数据集可视化,请帮我读取这个Excel文件,用Python进行数据分析,并将相应代码保存到名为“analyze_data.py”的文件中;然后根据数据分析结果生成一个名为“data-dashboard.html”的HTML格式的综合数据看板。看板应包含数据可视化设计,并显示你实际处理的数据集总记录数(本数据集共80条数据,请只显示你实际读取并处理的数据行数)。请使用浅色调设计看板,提供可直接运行的HTML静态代码。无需提供动态效果或使用静态图片,也不要依赖加载Excel文件来运行HTML代码,确保所有图表在手机浏览器中能完整显示。

(7)在CodeBuddy IDE对话框下方选择“Craft”模式,搭配“Claude-4.0-Sonnet”大模型

(8)点击“Send”按钮,CodeBuddy IDE生成“index.html”看板文件

4. 测评结论

虽然所生成的数据可视化看板“index.html”界面美观,但其中的3个老板关心的问题的数据全是错的。

❌2025-09-01:CodeBuddy+Claude生成HTML数据看板后数据全错

5. 测评环境

5.1 测评时间

2025.09.01

5.2 电脑操作系统Windows 11专业版

版本号:24H2

操作系统版本:26100.5074

5.3 CodeBuddy IDE国际版版本

Version: 0.1.28
VS Code Version: 1.100.0 (user setup)
Commit: 4ca376ba25fe3e28eb2fbcdf9b8861ee92381ff1
Date: 2025-08-28T15:21:49.238Z
Electron: 34.5.1
ElectronBuildId: undefined
Chromium: 132.0.6834.210
Node.js: 20.19.0
V8: 13.2.152.41-electron.0
OS: Windows_NT x64 10.0.26100

5.4 搭配大模型型号

Claude-4.0-Sonnet

6. 测评资源下载

https://gitee.com/wubin28/data-dashboard-in-html-for-agentic_ai_performance_dataset_20250831

first-80-rows-agentic_ai_performance_dataset_20250622.xlsx: 测评所使用的含80条数据的数据集

index.html: CodeBuddy IDE+Claude所生成HTML数据看板

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部