MMBench是一个多模态基准测试,由上海人工智能实验室、南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员推出。该体系开发了一个综合评估流程,从感知到认知能力逐级细分评估,覆盖20项细粒度能力,从互联网与权威基准数据集采集约3000道单项选择题。打破常规一问一答基于规则匹配提取选项进行评测,循环打乱选项验证输出结果的一致性,基于ChatGPT精准匹配模型回复至选项。MMBench的特点和优势基于感知与推理,将评估维度逐级细分。约3000道单项选择题,覆盖目标检测、文字识别、动作识别、图像理解、关系推理等20个细粒度评估维度更具鲁棒性的评估方式。相同单选问题循环选项提问,模型输出全部指向同一答案认定为通过,相比传统1次性通过评估top-1准确率平均下降10%~20%。最大程度减少各种噪声因素对评测结果的影响,保证了结果的可复现性。更可靠的模型输出提取方法。基于ChatG
数据统计
数据评估
关于MMBench特别声明
本站嗨次元提供的MMBench都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由嗨次元实际控制,在2025-03-21 10:24收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,嗨次元不承担任何责任。
相关导航

绘蛙
绘蛙是什么绘蛙是一款AIGC电商营销工具,主要面向淘宝、天猫、京东、拼多多、小红书及跨境电商的商家和内容创作者(达人),提供智能化的图片生成和文案创作服务。通过利用人工智能技术,绘蛙能够帮助用户生成商业拍摄图片、种草文案等,从而提高营销内容的创作效率和吸引力。目前,绘蛙已经全面开放新用户可以免费体验。绘蛙的主要功能AI文案生成:商家可以通过输入商品链接或ID,提供商品卖点、人设、笔记话题等信息,绘蛙将自动生成适合商品的营销文案,如种草文案、爆文改写等,以提高商品的吸引力和销量。AI模特训练:商家可以上传真人模特的照片,包括大脸照和全身图,绘蛙会基于这些照片训练出一个专属的AI虚拟模特。AI模特可以用于展示商品,降低商家请真人模特拍摄的成本。AI商品图生成:商家只需提供一张商品上身图,AI就能自动匹配场景并生成电商模特展示图。即使没有专业的拍摄设备和环境,商家也能制作出具有专业感的商品