HELM全称HolisticEvaluationofLanguageModels（语言模型整体评估）是由斯坦福大学推出的大模型评测体系，该评测方法主要包括场景、适配、指标三个模块，每次评测的运行都需要指定一个场景，一个适配模型的提示，以及一个或多个指标。它评测主要覆盖的是英语，有7个指标，包括准确率、不确定性/校准、鲁棒性、公平性、偏差、毒性、推断效率；任务包括问答、信息检索、摘要、文本分类等。

H2OEvalGPT是H2O.ai用于评估和比较LLM大模型的开放工具，它提供了一个平台来了解模型在大量任务和基准测试中的性能。无论你是想使用大模型自动化工作流程或任务，H2OEvalGPT都可以提供流行、开源、高性能大模型的详细排行榜，帮助你为项目选择最有效的模型完成具体任务。H2OEvalGPT的主要特点相关性：?H2OEvalGPT根据行业特定数据评估流行的大语言模型，从而了解其在实际场景中的表现。透明度：H2OEvalGPT通过开放的排行榜显示顶级模型评级和详细的评估指标，确保完全可重复性。速度和更新：全自动和响应式平台每周更新排行榜，显着减少评估模型提交所需的时间。范围：评估各种任务的模型，并随着时间的推移添加新的指标和基准，以全面了解模型的功能。交互性和人工一致性：?H2OEvalGPT提供手动运行A/B测试的能力，提供对模型评估的进一步见解，并确保自动评估和人工评估之

MMBench是一个多模态基准测试，由上海人工智能实验室、南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员推出。该体系开发了一个综合评估流程，从感知到认知能力逐级细分评估，覆盖20项细粒度能力，从互联网与权威基准数据集采集约3000道单项选择题。打破常规一问一答基于规则匹配提取选项进行评测，循环打乱选项验证输出结果的一致性，基于ChatGPT精准匹配模型回复至选项。MMBench的特点和优势基于感知与推理，将评估维度逐级细分。约3000道单项选择题，覆盖目标检测、文字识别、动作识别、图像理解、关系推理等20个细粒度评估维度更具鲁棒性的评估方式。相同单选问题循环选项提问，模型输出全部指向同一答案认定为通过，相比传统1次性通过评估top-1准确率平均下降10%~20%。最大程度减少各种噪声因素对评测结果的影响，保证了结果的可复现性。更可靠的模型输出提取方法。基于ChatG

OpenCompass是由上海人工智能实验室（上海AI实验室）于2023年8月正式推出的大模型开放评测体系，通过完整开源可复现的评测框架，支持大语言模型、多模态模型各类模型的一站式评测，并定期公布评测结果榜单。

FlagEval（天秤）由智源研究院将联合多个高校团队打造，是一种采用“能力—任务—指标”三维评测框架的大模型评测平台，旨在提供全面、细致的评测结果。该平台已提供了30多种能力、5种任务和4大类指标，共600多个维度的全面评测，任务维度包括22个主客观评测数据集和84433道题目。

ChatbotArena是一个大型语言模型(LLM)的基准平台，以众包方式进行匿名随机对战，该项目方LMSYSOrg是由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学合作创立的研究组织。通过demo体验地址进入对战平台，输入自己感兴趣的问题，提交问题后，匿名模型会两两对战，分别生成相关答案，需要用户对答案做出评判，从4个评判选项中选择一个：模型A更好、模型B更好、平手、都很差。支持多轮对话。最终使用Elo评分系统对大模型的能力进行综合评估。(可以自己指定模型看效果，但不计入最终排名情况)。

SuperCLUE是一个中文通用大模型综合性评测基准，从三个不同的维度评价模型的能力：基础能力、专业能力和中文特性能力。其中基础能力能力包括:?语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等10项能力。专业能力包括:包括了中学、大学与专业考试，涵盖了从数学、物理、地理到社会科学等50多项能力。中文特性能力:针对有中文特点的任务，包括了中文成语、诗歌、文学、字形等10项多种能力。

CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力，涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学，以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。

OpenLLMLeaderboard是最大的大模型和数据集社区HuggingFace推出的开源大模型排行榜单，基于EleutherAILanguageModelEvaluationHarness（EleutherAI语言模型评估框架）封装。由于社区在发布了大量的大型语言模型（LLM）和聊天机器人之后，往往伴随着对其性能的夸大宣传，很难过滤出开源社区取得的真正进展以及目前的最先进模型。因此，HuggingFace使用EleutherAI语言模型评估框架对模型进行四个关键基准测试评估。这是一个统一的框架，用于在大量不同的评估任务上测试生成式语言模型。OpenLLMLeaderboard的评估基准AI2推理挑战（25-shot）：一组小学科学问题HellaSwag（10-shot）：一个测试常识推理的任务，对人类来说很容易（大约95%），但对SOTA模型来说具有挑战性。MMLU（5-sh

MMLU全称MassiveMultitaskLanguageUnderstanding，是一种针对大模型的语言理解能力的测评，是目前最著名的大模型语义理解测评之一，由UCBerkeley大学的研究人员在2020年9月推出。该测试涵盖57项任务，包括初等数学、美国历史、计算机科学、法律等。任务涵盖的知识很广泛，语言是英文，用以评测大模型基本的知识覆盖范围和理解能力。

应事AI是基于MiniMax最新一代中文大语言模型的AI聊天机器人，产品前身是Inspo，现已通过备案并向社会开放。应事是您值得信赖的AI智能助理，可帮助高效写作、激发灵感、获取知识、做出决策。??应事AI已更名为海螺AI，请访问最新网址

DoraAI是低代码网站设计平台「Dora」最新推出的AI网站设计工具，用户只需输入一句提示文本，便可以生成可编辑的并且带有精美3D动画的网站。DoraAI目前处于Alpha测试中，感兴趣的用户可以在官网点击JoinWaitlist进入等待列表体验。DoraAI的特色功能从文本描述生成网站：设计人员只需输入一行描述文字便能快速生成令人惊叹、完全可编辑的网站。将静态设计转化为三维：通过Dora强大的三维互动生成器，可以将静态设计提升到全新的层面。先进的人工智能动画：将你的动画过程自动化，无需耗费数小时的手工创作过程。