大模型评测知识导图（XMind）
来源：XMind 思维导图转换整理（2026-09-11）
来源：XMind 思维导图转换整理（2026-09-11）
本文件由「大模型评测.xmind」转换：完整保留思维导图结构（B站/抖音/总结三块），每个节点截图均已嵌入，点击可展开查看图片 OCR 文字内容。
📑 目录
- 大模型评测
- 1 B站
- 1.1 OpenMMLab：OpenCompass 大模型评测实战 - 1.1.0.0.1 why - 1.1.0.0.2 how - 1.1.0.0.3 循环评估，在多轮评估里面有用 - 1.1.0.0.4 what - 1.1.0.0.5 run.py 命令行参数讲解 - 1.1.0.0.6 框架目录介绍 - 1.1.0.0.7 分片，任务分发到不同的显卡上面。 - 1.1.0.0.8 评测集自定义 - 1.1.0.0.9 why - 1.1.0.0.10 how - 1.1.0.0.11 大模型自身也是有偏好的，这个跟训练方式和训练数据有关系。 - 1.1.0.0.12 数据污染：测试集混入训练集 - 1.1.0.0.13 what - 1.1.0.0.14 主观评测：align-bench/mt-bench，评测方式：llm-as-judge模式 - 1.1.0.0.15 更改output目录 - 1.1.0.0.16 断点续传；如果model参数配置了多个模型，最好使用分片的方式，否则太慢了。 - 1.1.0.0.17 指定评测的模型 - 1.1.0.0.18 评测方法：singlescore vs m2n - 1.1.0.0.19 最后的后处理，比如数据summary
- 1.2 promptfoo - 1.2.0.0.1 prompt、rag、agent，红队测试和漏洞扫描，从效果好不好变成安全不安全。
- 1.3 rag评测
- 1.4 通义实验室
- 2 抖音
- 2.1 大小寒学AI
- 3 总结
- 3.1 RAG评测
- 3.1.1 什么是RAG，和传统检索以及融合检索的区别？
- 3.1.2 检索效果评测
- 3.1.2.1 如何进行chunk切片以及重叠设置？
- 3.1.2.2 向量数据库哪个好？对RAG影响如何？
- 3.1.2.3 混合检索（BM25）解决漏召回
- 3.1.3 生成效果评测
- 3.1.3.1 BLEU、ROUGE 指标理解
- 3.1.3.2 语义相似度
- 3.1.3.3 答案正确性
- 3.1.3.4 * faithfulness（答案真实性）
- 3.1.3.5 * relevance 答案相关性
- 3.1.3.6 回答完整性以及评估LLM选型
- 3.1.3.7 伦理价值观满足度
- 3.1.4 端到端评测
- 3.1.5 使用什么工具评测？各个工具有什么特点和选型优劣？
- 3.1.5.1 AutoRAG
- 3.1.5.2 DeepEval
大模型评测
1 B站
1.1 OpenMMLab：OpenCompass 大模型评测实战
https://www.bilibili.com/video/BV1Pm41127jU/?spm_id_from=333.337.search-card.all.click&vd_source=c7b2862dba7bd8006886e94acdb45440
📄 图片内容提取（视觉识别）
> OpenMMLab 课程封面：OpenCompass 大模型评测实战（视频课程封面，B站）。本节课讲解 OpenCompass 大模型评测框架的原理与实战：为什么需要评测、怎么评测、评测集是什么、如何跑通完整评测流程。1.1.0.0.1 why
1、模型能力多种多样，通过不同的能力维度来进行评测；比如多模态，学科，语言，数学，代码，知识，推理，理解，智能体这些通用的评测维度。
2、垂直领域的评测，比如金融，法律，医疗，政务等。
3、构造高质量的中文社区评测体系。
3、知道模型在不同维度的评测性能，从而能够反哺提升和促进大模型的迭代发展。
📄 图片内容提取（视觉识别）
> 【why】为什么要做大模型评测？1. 大模型能力多种多样，需要客观衡量；2. 不同模型需要横向对比；3. 评测帮助发现模型短板、指导训练与迭代；4. 为选型提供依据。评测是大模型研发闭环中不可或缺的一环。1、设计和构造全面且可拓展性的能力维度体系。
2、评测的成本，评测集数十万需要大量算力；其次人工打分的主观评测成本也比较高。
3、海量语料带来的评测集污染；大模型训练的数据很可能包含评测集的数据；有数据污染的检测技术。
4、大模型鲁棒性，换了一个提示词就做不对了。此外多次采样造成的模型性能不稳定。使用置信度区间，显著性校验等手段来提升评测的置信度。
📄 图片内容提取（视觉识别）
> 1、模型能力多种多样，通过不同的能力维度（如知识、语言、推理、理解、代码、数学、长文本、多模态、Agent、垂直领域）来刻画；2、能力维度体系需要设计与构造。大模型评测首先要定义「测什么」。
📄 图片内容提取（视觉识别）
> 1、设计和构造全面且可拓展性的能力维度体系（如 C-Eval/MMLU 覆盖知识与推理，代码/数学/长文本/多模态/Agent 各自成维度）；2、不同模型在不同维度各有优劣，评测集需要能区分。
📄 图片内容提取（视觉识别）
> 大模型评测的通用流程：准备评测集（数据集）→ 配置模型（model）→ 配置评测器（evaluator）→ 任务分片到显卡（shard）→ 运行评测 → 汇总结果。OpenCompass 把评测流程抽象为「模型 + 数据集 + 评测器 + 分片」四个核心概念。1.1.0.0.2 how
1、基座、开源模型
2、经过SFT和RLHF后的对话模型
3、api模型
📄 图片内容提取（视觉识别）
> 【how】如何评测？OpenCompass 的核心思想：1. 评测集（Dataset）：定义测什么；2. 模型（Model）：定义被测对象；3. 评测器（Evaluator）：定义怎么判分（客观题正则匹配/主观题 LLM-as-Judge）；4. 任务分片（Shard）：把评测任务切片分到多张显卡并行加速。1、客观评测（基于正则获取固定答案）
2、主观评测（不同的评测方法分别是什么？）
📄 图片内容提取（视觉识别）
> 1、基座模型/开源模型可以直接评测；2、经过 SFT（监督微调）和 RLHF（人类反馈强化学习）的模型需要单独评测；3、不同训练阶段的模型（预训练基座 vs 指令微调后）能力表现不同，评测结果可用于判断训练效果。提示词工程：
1、评测集的prompt不明确，过于宽泛，缺乏具体要求和细节，内容有歧义（如了解下苹果），缺少清晰的反馈（如只是说回答不够详细），缺乏清晰的思路指引（比如如何做蛋糕）。
2、通过few-shot来进行小样本学习。
3、通过思维链技术让回答更加有逻辑和清晰。比如 let's thing step by step。
📄 图片内容提取（视觉识别）
> 1、客观评测：基于正则表达式获取固定答案（选择题/判断题，如 C-Eval、MMLU），准确率高、可复现；2、主观评测：基于 LLM 打分或人工打分（如 AlignBench、MT-Bench），适合开放生成类任务。两类评测方法各有适用场景。
📄 图片内容提取（视觉识别）
> 提示词工程在评测中的重要性：1、评测集的 prompt 不同会显著影响评测结果；2、prompt 设计需要统一规范（如 few-shot 示例、指令格式）；3、同一评测集用不同 prompt 评测同一模型，分数可能差异很大——评测时要固定 prompt 模板。1、长文本评测（比如大海捞针），在长上下文文档中提取需要的答案。
2、对于agent还需要有多轮对话评测。
3、理解和推理里面比如情感分析和认知价值观评测。
📄 图片内容提取（视觉识别）
> OpenCompass 评测流程细节：模型输出后按评测集要求后处理（如提取选项、解析 JSON），再与标准答案比对（客观题）或交给评测器打分（主观题）。后处理逻辑对评测结果影响很大。
📄 图片内容提取（视觉识别）
> 1、长文本评测（比如「大海捞针」Needle-in-a-Haystack）：在长上下文中埋入关键信息，测试模型能否准确召回；2、长上下文能力评测关注：长文本理解、信息定位、上下文利用效率。
📄 图片内容提取（视觉识别）
> 评测维度全景：知识（C-Eval、MMLU）、语言、推理（GSM8K、MATH）、理解、代码（HumanEval）、数学、长文本（大海捞针）、多模态（MMBench）、Agent（多轮任务）、垂直领域（金融/法律/医疗/政务）。
📄 图片内容提取（视觉识别）
> 中文社区评测：OpenCompass 覆盖中文能力评测（C-Eval、CMMLU），强调中文社区与中文场景适配；评测结果可反哺模型迭代（发现短板→针对性改进→再评测验证）。评测流水线，输入端（模型，评测集），任务执行阶段（评测器，并行的时候要注意429，重试），输出端（多种格式）。支持很多评测工具，比如评测集污染，长文本评测，中英文评测，多模态评测，代码评测，moe入门教程。
📄 图片内容提取（视觉识别）
> OpenCompass 设计哲学：1. 评测集可扩展（自定义数据集）；2. 模型接入灵活（开源/API）；3. 支持多种评测方法（客观+主观）；4. 分布式分片加速；5. 结果可复现可对比。
📄 图片内容提取（视觉识别）
> 评测流水线：输入端 =（模型，评测集），任务分片到多张显卡并行；每张显卡跑一部分评测任务；输出端 = 评测结果汇总（accuracy 等指标）。分片机制是 OpenCompass 高效评测的关键。
📄 图片内容提取（视觉识别）
> 评测任务分片（Shard）：1. 把大评测集切成多个小任务；2. 分配到多张 GPU 并行执行；3. 全部跑完后合并结果。分片粒度影响评测速度与显存占用。1、知识、语言、推理、理解、代码、数学等
2、考试、创作、对话、agent、评价、长文本
📄 图片内容提取（视觉识别）
> OpenCompass 评测结果输出：按数据集输出 accuracy 等指标；支持多模型对比（同一评测集跑多个模型）；结果可导出为表格/报告，用于横向比较模型能力。agent评测里面：
1、多个会话，每个会话很长，输入图片很多，是否会导致agent卡死？重启之后信息和会话历史丢失？
2、多个会话对于同一个文件同时修改，是否会有提示和安全机制？
3、一个对话里面，正在回复中的时候，又输入新的指令，排队机制以及指令插入之后agent是否能正确响应？对话历史里面是否能正确展示？
📄 图片内容提取（视觉识别）
> 1、知识、语言、推理、理解、代码、数学等基础能力维度；2、多模态、长文本、Agent 等进阶能力维度；3、金融、法律、医疗、政务等垂直领域维度。评测维度体系需要分层设计、持续扩展。
📄 图片内容提取（视觉识别）
> Agent 评测里面：1、多个会话，每个会话包含多轮交互（multi-turn）；2、Agent 评测关注工具调用、任务完成度、多轮一致性等；3、Agent 评测比单轮问答评测更复杂，需要评测「过程」和「结果」。
📄 图片内容提取（视觉识别）
> Agent 评测（续）：每个会话包含多轮交互，评测维度包括：任务成功率、工具调用正确率、规划能力、记忆能力、多轮对话一致性。OpenCompass 支持 Agent 多轮评测。1.1.0.0.3 循环评估，在多轮评估里面有用
📄 图片内容提取（视觉识别）
> 评测维度落地：把能力维度映射到具体评测集（如知识→C-Eval、推理→GSM8K、代码→HumanEval、数学→MATH）；每个评测集有对应的 prompt 模板与评测方法（正则/LLM-Judge）。
📄 图片内容提取（视觉识别）
> 垂直领域评测：金融（FinEval）、法律（LawBench）、医疗（MedBench）、政务（政务问答集）。垂直领域评测需要领域专家构造评测集，评估模型在专业场景的能力。
📄 图片内容提取（视觉识别）
> 评测结果反哺：评测发现问题（如数学推理弱）→ 针对性训练/微调（如增加数学数据）→ 再次评测验证提升。评测是模型迭代闭环的「方向盘」。1.1.0.0.4 what
1、如何启动评测
2、评测逻辑
3、支持自建数据集的评测
4、其他功能的介绍
1.1.0.0.5 run.py 命令行参数讲解
📄 图片内容提取（视觉识别）
> run.py 命令行参数讲解：--models（指定评测模型）、--datasets（指定评测集）、--work-dir（输出目录）、--reuse（复用缓存结果）、--max-num（每数据集最大样本数）等。OpenCompass 通过 run.py 一键启动评测。
📄 图片内容提取（视觉识别）
> OpenCompass 安装与环境准备：conda 创建环境、pip 安装 opencompass、下载评测数据集、配置模型（HF 模型路径或 API key）。安装完成后通过命令行启动评测。
📄 图片内容提取（视觉识别）
> 配置评测模型：本地模型（HuggingFace 路径）或 API 模型（如 OpenAI、智谱）；模型配置含 model_path、tokenizer、max_seq_len 等参数；不同模型类型（基座/对话）配置不同。config 里面是执行的配置快照
模型预测的结果
评测的结果
汇总的结果
📄 图片内容提取（视觉识别）
> 配置评测数据集：通过 datasets 参数指定评测集（如 ceval、mmlu、gsm8k、humaneval）；数据集配置含数据集名、prompt 模板、few-shot 数量、评测方法。
📄 图片内容提取（视觉识别）
> 运行评测命令：python run.py --models hf_internlm_chat_7b --datasets ceval mmlu --work-dir outputs/xxx。评测开始后按分片并行执行，输出进度日志。1.1.0.0.6 框架目录介绍
📄 图片内容提取（视觉识别）
> 2、框架目录介绍：opencompass/（核心代码：datasets/ 评测集、models/ 模型接入、tasks/ 任务）、configs/（配置：datasets/ 数据集配置、models/ 模型配置、summarizers/ 汇总器）、outputs/（结果输出）。
📄 图片内容提取（视觉识别）
> OpenCompass 核心模块：datasets（评测集注册）、models（模型接入）、evaluators（评测器：客观正则/主观LLM）、tasks（任务调度）、summarizers（结果汇总）。1.1.0.0.7 分片，任务分发到不同的显卡上面。
📄 图片内容提取（视觉识别）
> 评测集注册机制：通过 @register_dataset 装饰器注册自定义评测集；评测集需要定义 dataset 路径、模板（prompt）、评测方法（metric）。注册后可被 run.py 直接调用。1.1.0.0.8 评测集自定义
📄 图片内容提取（视觉识别）
> 3、评测集自定义：创建自己的评测数据集，步骤：1. 准备数据文件（jsonl/csv）；2. 定义 prompt 模板；3. 定义评测方法（正则/LLM-Judge）；4. 注册到 OpenCompass 并在 config 中引用。
📄 图片内容提取（视觉识别）
> 自定义评测集示例：定义字段（问题、选项、答案）、构造 few-shot 示例、配置推理后处理（提取答案）。示例代码展示如何把自定义数据集接入评测框架。
📄 图片内容提取（视觉识别）
> 自定义数据集配置（config）：datasets = [dict(type='MyDataset', path='data/my.jsonl', template=...)]。配置好后 run.py 即可加载该数据集评测。
📄 图片内容提取（视觉识别）
> 评测集数据格式：每行一个样本（jsonl），字段含输入（question）、输出（answer）、标准答案（ground truth）；选择题含选项（choices）。
📄 图片内容提取（视觉识别）
> 评测后处理：模型输出 → 后处理提取答案（如提取 A/B/C/D、解析数字）→ 与标准答案比对 → 计算准确率。后处理规则定义在评测集配置中。
📄 图片内容提取（视觉识别）
> 多模型批量评测：models 配置多个模型，评测集对所有模型都跑一遍，最后汇总成对比表格——同一个评测集上多个模型横向对比。
📄 图片内容提取（视觉识别）
> 评测结果汇总（summarizer）：把各数据集结果汇总成表格（模型 × 数据集 的准确率矩阵）；支持多种汇总格式（表格/JSON/报告）。
📄 图片内容提取（视觉识别）
> 评测报告解读：关注各维度得分、模型间差异、与基线对比；分数高不代表所有场景好，要结合具体数据集看能力画像。
📄 图片内容提取（视觉识别）
> 评测与训练数据泄露（数据污染）：测试集混入训练集会导致分数虚高；OpenCompass 提供数据污染检测，评测前要检查数据集是否被模型训练数据污染。
📄 图片内容提取（视觉识别）
> 数据污染应对：1. 评测集保密（不公开、不用于训练）；2. 用污染检测工具扫描；3. 持续更新评测集版本。评测集一旦泄露，分数就失去参考价值。
📄 图片内容提取（视觉识别）
> 主观评测（LLM-as-Judge）：AlignBench、MT-Bench 等用大模型给模型回答打分；评测 prompt 定义打分标准（相关性、准确性、全面性、语气）；避免用被测模型当裁判（自偏好）。https://www.bilibili.com/video/BV1Gg4y1U7uc/?spm_id_from=333.788.recommend_more_video.0&trackid=web_related_0.router-related-2479604-pxdwc.1786947764140.278&vd_source=c7b2862dba7bd8006886e94acdb45440
https://github.com/InternLM/tutorial/blob/main/opencompass/opencompass_tutorial.md
📄 图片内容提取（视觉识别）
> 课程小节封面：OpenCompass 大模型评测实战（B站课程续集）。讲解评测流程实操：从配置到运行到结果解读。
📄 图片内容提取（视觉识别）
> OpenCompass GitHub 仓库（github.com/InternLM/opencompass）：开源大模型评测框架，支持 100+ 评测集、多模型接入、分布式评测。Star/文档/示例可参考。1.1.0.0.9 why
📄 图片内容提取（视觉识别）
> 【why】为什么要评测（再次强调）：1. 量化模型能力；2. 横向对比选型；3. 发现短板指导训练；4. 防数据污染保真实；5. 支撑「评测—改进—再评测」闭环。
📄 图片内容提取（视觉识别）
> 评测任务配置示例（config）：dataset 与 model 组合，batch_size、max_seq_len、num_gpus 等参数；多卡评测时 num_gpus 控制每任务显卡数。
📄 图片内容提取（视觉识别）
> 评测任务分片细节：一个模型+一个数据集=一个评测任务；多个任务按显卡数量分片并行；每片独立跑完写缓存（cache），中断后可复用（断点续传）。评测复杂，包含很多维度
1、知识，语言，推理，代码，数学
2、长文本生成，多轮对话，agent使用工具能力
3、情感、认知价值观
4、垂直领域，医疗问答
📄 图片内容提取（视觉识别）
> 评测缓存与复用：--reuse 参数复用已评测的结果，避免重复计算；缓存按（模型，数据集，prompt 模板）为 key。评测过程中断后可续跑。1.1.0.0.10 how
📄 图片内容提取（视觉识别）
> 【how】评测怎么做（OpenCompass 视角）：配置模型 → 配置数据集 → 运行 run.py → 任务分片并行 → 后处理判分 → 汇总报告。核心是「评测集、模型、评测器、分片」四要素。
📄 图片内容提取（视觉识别）
> 评测器（Evaluator）：客观评测用正则匹配（提取答案→比对）；主观评测用 LLM-Judge（评测 prompt→模型打分→聚合分数）。评测器决定「怎么判分」。1.1.0.0.11 大模型自身也是有偏好的，这个跟训练方式和训练数据有关系。
📄 图片内容提取（视觉识别）
> 评测结果指标：客观题 accuracy；主观题 score（1-10 或 1-5）；长文本评测准确率；代码评测 pass@k。不同评测集用不同指标。
📄 图片内容提取（视觉识别）
> 大模型自身也是有偏好的，这个跟训练方式和数据相关：1. 模型对 prompt 格式有偏好（few-shot 示例数量影响）；2. 模型对不同题型有偏好（选择题 vs 填空题）；3. 评测时要考虑模型偏好，使用公平的评测配置。
📄 图片内容提取（视觉识别）
> 【how】评测方法选择：singlescore（单模型单评测集直接打分）vs m2n（多模型互评/多评测集交叉）；多模型对比用 m2n 更公平。评测方法配置在评测器参数中。
📄 图片内容提取（视觉识别）
> 评测中的 prompt 设计：in-context learning 示例（few-shot）数量、指令措辞、输出格式约束都会影响分数；同一评测集官方 prompt 模板应保持一致。
📄 图片内容提取（视觉识别）
> 数据集并行评测：多个数据集同时评测时按显卡分片；显存不足时调小 batch_size 或单任务单卡；评测耗时与模型大小、数据集规模、显卡数量相关。
📄 图片内容提取（视觉识别）
> 评测日志与进度：评测过程中输出每任务进度、显存占用、错误信息；日志可帮助定位评测失败原因（OOM、模型加载失败、数据格式错误）。
📄 图片内容提取（视觉识别）
> 评测失败排查：1. 模型加载失败（路径/权限）；2. 数据集下载失败（网络）；3. OOM（显存不足，调小 batch）；4. 后处理报错（输出格式不符）。
📄 图片内容提取（视觉识别）
> OpenCompass 支持 API 模型评测：配置 api_model（如 OpenAI、智谱 GLM、文心）；API 评测注意限流、并发、成本控制。
📄 图片内容提取（视觉识别）
> 评测结果持久化：结果保存到 work-dir（JSON/CSV）；支持历史结果对比（不同版本模型、不同 prompt 版本对比）。
📄 图片内容提取（视觉识别）
> 评测基线管理：建立模型基线（如 GPT-4、Claude 作为参考）；新模型与基线对比，判断能力水位。
📄 图片内容提取（视觉识别）
> 评测报告生成：summarizer 输出 Markdown/CSV 报告；报告含各数据集得分、模型对比、可复现配置信息。
📄 图片内容提取（视觉识别）
> 评测自动化：把评测接入 CI（提交模型后自动跑评测）；设置阈值门禁（分数不达标不放行发布）。1.1.0.0.12 数据污染：测试集混入训练集
📄 图片内容提取（视觉识别）
> 评测社区与生态：OpenCompass 支持社区评测集（HuggingFace datasets）；评测集版本管理（固定版本保证可复现）。1.1.0.0.13 what
客观评测：c-eval/mmlu，评测方式：rule-base模式，如ACC或者exact match
📄 图片内容提取（视觉识别）
> 客观评测：C-Eval、MMLU，评测方法=正则匹配答案（选择题）；C-Eval 是中文评测集（52 个学科），MMLU 是英文评测集（57 个学科）。客观评测可复现、可批量、无主观偏差。
📄 图片内容提取（视觉识别）
> C-Eval 数据集：中文知识与推理评测集，覆盖 52 个学科（STEM/人文/社科/其他），共 13948 道选择题；分数代表模型中文知识能力。
📄 图片内容提取（视觉识别）
> MMLU 数据集：Massive Multitask Language Understanding，57 个学科英文多选题，覆盖数学、历史、法律、医学等；是英文综合能力基准。
📄 图片内容提取（视觉识别）
> C-Eval 与 MMLU 对比：C-Eval 中文/52 学科/13948 题；MMLU 英文/57 学科/14042 题；两者都是「知识+推理」选择题评测。中文模型 C-Eval 更重要。
📄 图片内容提取（视觉识别）
> LawBench 法律评测：面向法律领域（法条理解、案例推理、法律问答）；法律评测考察专业术语、条文引用、逻辑推理能力。
📄 图片内容提取（视觉识别）
> MedBench 医疗评测：面向医疗领域（医学知识、诊断推理、用药安全）；医疗评测需要专业医学知识，错误成本高。
📄 图片内容提取（视觉识别）
> 代码评测 HumanEval：给函数签名+docstring，模型生成函数实现，pass@k 评估正确率；考察代码生成能力。
📄 图片内容提取（视觉识别）
> 数学评测 GSM8K：小学数学应用题，考察多步推理；MATH：竞赛数学，难度更高。数学评测常配合 CoT 思维链。
📄 图片内容提取（视觉识别）
> 推理评测：常识推理、逻辑推理、因果推理评测集；考察模型「理解+推理」能力，与知识评测区分。
📄 图片内容提取（视觉识别）
> 多模态评测：MMBench 等图文评测集（图像理解、图表理解、OCR）；多模态评测需输入图片+文本。
📄 图片内容提取（视觉识别）
> Agent 评测：任务规划、工具调用、多轮交互评测；OpenCompass 支持 AgentBench 等 Agent 评测集。
📄 图片内容提取（视觉识别）
> 长文本评测：LongBench、大海捞针（Needle-in-a-Haystack）；测试模型在长上下文中的信息检索与利用能力。1.1.0.0.14 主观评测：align-bench/mt-bench，评测方式：llm-as-judge模式
📄 图片内容提取（视觉识别）
> 主观评测：AlignBench、MT-Bench，用 LLM-as-Judge 打分；AlignBench 是中文对齐评测（指令遵循、安全、写作等维度）；MT-Bench 是 80 道多轮问答双人打分（GPT-4 裁判）。[*hf_chatglm3_6b]：Python 列表解包，把外部导入的模型配置列表展开合并到总 models 列表。
📄 图片内容提取（视觉识别）
> AlignBench：中文对齐评测集，覆盖 8 大维度（综合问答、写作、角色扮演、推理、数学、代码、信息抽取、安全）；用 GPT-4 等强模型打分。
📄 图片内容提取（视觉识别）
> 评测代码示例（hf_chatglm3_6b）：配置 HuggingFace 模型 ChatGLM3-6B 进行评测；展示模型配置、数据集配置、运行命令的完整流程。
📄 图片内容提取（视觉识别）
> 评测示例运行：python run.py --models hf_chatglm3_6b --datasets ceval --work-dir outputs/ceval_chatglm3；输出每个学科准确率。
📄 图片内容提取（视觉识别）
> 评测结果解读：ChatGLM3-6B 在 C-Eval 上各学科得分；对比其他模型（GPT-4、ChatGPT）定位差距。
📄 图片内容提取（视觉识别）
> 主观评测打分标准：相关性（是否答非所问）、准确性（是否错误）、全面性（是否遗漏）、清晰度（是否通顺）。
📄 图片内容提取（视觉识别）
> LLM-as-Judge 注意事项：1. 裁判模型选择（GPT-4 常用）；2. 打分 prompt 标准化；3. 避免位置偏差（把两个回答随机换序）；4. 计算一致性（重测可靠性）。
📄 图片内容提取（视觉识别）
> 主观评测聚合：多轮打分取平均/多数投票；报告单维度分与总分；主观评测比客观评测贵（调用裁判模型）。1.1.0.0.15 更改output目录
📄 图片内容提取（视觉识别）
> 评测方法 singlescore：单模型单评测集，直接打分；适用：快速看模型在某个数据集上的表现。
📄 图片内容提取（视觉识别）
> 更改 output 目录：--work-dir 参数指定结果输出路径；输出目录含评测日志、缓存、汇总结果，便于归档对比。1.1.0.0.16 断点续传；如果model参数配置了多个模型，最好使用分片的方式，否则太慢了。
📄 图片内容提取（视觉识别）
> 评测参数调优：batch_size（显存）、num_gpus（并行度）、max_seq_len（输入长度）、max_out_len（输出长度）；参数影响评测速度与显存。
📄 图片内容提取（视觉识别）
> 断点续传：如果 model 参数配置了多个模型，评测会按（模型，数据集）分成多个任务；中途中断后，已完成的任务结果有缓存，--reuse 可跳过重复评测，只跑未完成部分。1.1.0.0.17 指定评测的模型
📄 图片内容提取（视觉识别）
> 多模型配置示例：models = [dict(...model A), dict(...model B)]；评测集对所有模型运行；汇总表格展示模型间对比。1.1.0.0.18 评测方法：singlescore vs m2n
📄 图片内容提取（视觉识别）
> 指定评测的模型：--models 参数指定要评测的模型（多个用逗号分隔）；也可以指定数据集 --datasets；灵活组合实现按需评测。1.1.0.0.19 最后的后处理，比如数据summary
📄 图片内容提取（视觉识别）
> 评测方法：singlescore vs m2n——singlescore：单模型评测打分；m2n：多模型互评（A 评 B、B 评 A）或多评测集交叉，用于多模型横向比较，降低单一裁判偏差。
📄 图片内容提取（视觉识别）
> 最后的后处理：比如数据 summary——评测完成后对结果做汇总（summary），把各数据集分数聚合成表格/报告；后处理还包括结果排序、多模型对比、指标计算（平均分、加权分）。
📄 图片内容提取（视觉识别）
> 评测结果汇总表：模型 × 数据集 的准确率矩阵；每行一个模型、每列一个数据集；支持自定义汇总指标（平均值、按类别加权）。
📄 图片内容提取（视觉识别）
> summary 报告格式：Markdown 表格或 JSON；包含每个数据集的 accuracy、样本数、few-shot 配置；报告可归档用于模型迭代对比。
📄 图片内容提取（视觉识别）
> 结果对比：同一模型不同版本（base vs sft vs rlhf）的评测结果对比，观察训练带来的能力变化。
📄 图片内容提取（视觉识别）
> 多模型汇总对比：GPT-4、ChatGPT、开源模型在同一批数据集上的得分矩阵，用于横向选型。
📄 图片内容提取（视觉识别）
> 后处理细节：1. 客观题结果转成 accuracy；2. 主观题结果转成分数（1-10）；3. 缺失值处理（模型未跑的数据集显示 N/A）；4. 汇总输出 CSV 便于进一步分析。
📄 图片内容提取（视觉识别）
> summary 输出文件：result 目录下的 JSON/CSV/Markdown 文件；每条记录含 model、dataset、metric、score；可被外部脚本读取做可视化。
📄 图片内容提取（视觉识别）
> 评测报告的结构化：按能力维度（知识/推理/代码/数学）分组汇总，给出维度分；维度分便于快速定位模型强弱项。
📄 图片内容提取（视觉识别）
> 后处理与可视化：把 summary 结果导入 pandas/Excel 生成图表；评测报告支持导出，方便汇报与归档。
📄 图片内容提取（视觉识别）
> 结果归档与版本管理：work-dir 按时间戳/模型名归档；每次评测结果可追溯（模型版本+数据集版本+prompt 版本）。
📄 图片内容提取（视觉识别）
> 评测复现：记录完整评测配置（模型、数据集、prompt、后处理、随机种子），保证他人可复现分数。
📄 图片内容提取（视觉识别）
> 数据摘要与分布：统计每个数据集样本量、类别分布；样本量过小的数据集分数波动大，报告需标注。
📄 图片内容提取（视觉识别）
> 错误样本分析：导出模型答错的样本，人工分析错误类型（知识缺失/推理错误/理解偏差），指导后续训练数据构造。
📄 图片内容提取（视觉识别）
> 评测闭环：评测（发现问题）→ 分析错误 → 构造训练数据 → 训练/微调 → 再评测（验证提升）。summary 是闭环的关键输出。
📄 图片内容提取（视觉识别）
> 断点续传：如果 model 参数配置了多个模型，评测任务按（模型，数据集）拆分；跑完的任务结果写缓存；中断后 --reuse 参数复用缓存，只跑未完成任务，避免重复计算。推理的时候，对于主观评测，一般使用huggingface模型的默认参数，而不是把它置为0，比如温度参数
📄 图片内容提取（视觉识别）
> 评测任务调度：OpenCompass 把（模型×数据集）组合切成任务，任务分片到多 GPU 并行；每任务独立日志与缓存；全部完成或部分完成后汇总。大模型微调数据构造
https://www.bilibili.com/video/BV1Dx4y1z7Ju?spm_id_from=333.788.player.switch&vd_source=c7b2862dba7bd8006886e94acdb45440
📄 图片内容提取（视觉识别）
> 大模型微调数据构造（视频课程封面）：讲解微调数据的类型、清洗、构造方法；微调数据质量直接决定微调效果。
📄 图片内容提取（视觉识别）
> 微调数据分类：指令数据（instruction）、对话数据（chat）、偏好数据（preference/RLHF）；不同类型数据对应不同训练阶段（SFT/DPO/RLHF）。1、预训练阶段：大量低质量的数据，需要k级别的显卡，训练月余。
2、微调阶段：少量高质量的数据（人工标注或者模型生成），需要1-百级别显卡。天级训练。
3、奖励模型：通过二分类算法生成FM。属于监督学习。
4、RL阶段：使用FM进行模型微调。达到指令遵循和对齐的能力。
📄 图片内容提取（视觉识别）
> 微调数据来源：开源数据集（Alpaca、ShareGPT）、自建数据（业务场景）、合成数据（用强模型生成）；数据质量 > 数据数量。
📄 图片内容提取（视觉识别）
> 1、预训练阶段：大量低质量数据，需要清洗（去重、去噪、过滤）；2、微调阶段：少量高质量数据，需要精标（人工构造/审核）；不同阶段对数据质量和量的要求不同。
📄 图片内容提取（视觉识别）
> 数据清洗流程：去重（相似文本）、过滤（低质/有害/重复）、格式化（统一 schema）、质量抽检；清洗是预训练数据的关键步骤。
📄 图片内容提取（视觉识别）
> 指令数据构造：从任务出发（摘要、翻译、问答、分类、代码），构造（指令，输入，输出）三元组；指令要多样、覆盖边界场景。
📄 图片内容提取（视觉识别）
> 对话数据构造：多轮对话（user/assistant 交替）；来源：人工编写、真实日志、强模型生成（蒸馏）；注意角色一致性。微调可以降低训练成本，提高训练效率，增加模型的表现性，防止数据安全泄露，增加特定场景的知识，减少幻觉提升模型性能。
📄 图片内容提取（视觉识别）
> 偏好数据构造（RLHF）：同一 prompt 生成多条回答，人工排序/打分；偏好数据用于对齐（让模型输出更符合人类偏好）。
📄 图片内容提取（视觉识别）
> 微调可以降低训练成本、提高训练效率、增加特定领域能力；微调数据是关键：数据质量决定微调效果，少量高质量数据优于大量低质量数据。
📄 图片内容提取（视觉识别）
> 微调数据规模：指令微调常用 1 万~100 万条；RLHF 常用 1 万~10 万条偏好对；规模与基座模型、任务复杂度相关。
📄 图片内容提取（视觉识别）
> 微调数据格式（XTuner 对话格式）：messages 数组（role/content），或 ShareGPT 格式；训练脚本按格式解析。
📄 图片内容提取（视觉识别）
> 微调数据多样性：覆盖不同任务类型、不同领域、不同难度、不同指令风格；多样性不足会导致模型能力偏科。脑筋急转弯里面的文字游戏，逻辑陷阱。总结下来就是 数据数量大，数据质量高，真实性高，多样性好。
📄 图片内容提取（视觉识别）
> 微调数据质量检查：人工抽检、规则校验（字段完整、无重复）、模型辅助检查（质量打分）；质量差的样本要剔除。
📄 图片内容提取（视觉识别）
> 脑筋急转弯里面的文字游戏、逻辑陷阱：微调数据要覆盖这类「刁钻」样本，让模型学会识别文字游戏与逻辑陷阱；数据总结：多样性+质量+边界覆盖。
📄 图片内容提取（视觉识别）
> 大模型微调数据构造（续）：XTuner 数据格式与工具链；数据构造流程：采集 → 清洗 → 格式化 → 抽检 → 训练。回复的3h原则，数据处理的 清洗无关、降噪、标准化、标注、数据增强（指令循环，文本重述，合成数据），数据划分（训练集，验证集，测试集）
📄 图片内容提取（视觉识别）
> 数据构造工具：XTuner 支持多种数据格式转换（ShareGPT、Alpaca、OpenAI messages）；提供数据清洗与格式校验工具。
📄 图片内容提取（视觉识别）
> 回复的 3H 原则：数据处理的「清洗无关、降低噪声」——Helpful（有用）、Honest（诚实）、Harmless（无害）；数据清洗要过滤有害内容、降噪、去重。
📄 图片内容提取（视觉识别）
> 数据降噪：去掉格式噪声、重复内容、低质翻译；噪声数据会干扰模型学习。
📄 图片内容提取（视觉识别）
> 数据去重：用 minhash/simhash 检测重复样本；重复样本过多会导致训练偏差。
📄 图片内容提取（视觉识别）
> 数据安全过滤：过滤敏感、有害、违法内容；安全数据过滤是合规要求。
📄 图片内容提取（视觉识别）
> 指令数据样例：指令（Instruction）+ 输入（Input）+ 输出（Output）；示例：翻译任务、摘要任务、代码生成任务。
📄 图片内容提取（视觉识别）
> 对话数据样例：多轮 user/assistant 对话；展示角色轮换、上下文连贯。
📄 图片内容提取（视觉识别）
> 代码数据样例：（问题描述，代码实现）；代码数据让模型学会写代码、修 bug。
📄 图片内容提取（视觉识别）
> 领域数据样例：金融/法律/医疗问答对；领域数据让模型具备专业能力。
📄 图片内容提取（视觉识别）
> 数据增强：用 LLM 改写/扩写生成更多变体；增强数据提高多样性。
📄 图片内容提取（视觉识别）
> 数据版本管理：数据集按版本归档（V1/V2），记录数据来源与清洗规则；数据版本影响评测复现。
📄 图片内容提取（视觉识别）
> 微调数据与评测联动：评测发现问题（如领域能力弱）→ 构造该领域微调数据 → 微调 → 再评测；数据-训练-评测闭环。
📄 图片内容提取（视觉识别）
> 合成数据：用 GPT-4 等强模型生成训练数据（蒸馏）；合成数据需质量过滤，防止幻觉传播。
📄 图片内容提取（视觉识别）
> 数据标注质量：标注指南（标准答案、边界定义）、双人标注+仲裁；标注质量直接决定 SFT 效果。
📄 图片内容提取（视觉识别）
> 数据不平衡处理：任务类型/领域/难度均衡采样；不平衡会导致模型偏科。
📄 图片内容提取（视觉识别）
> 长尾数据：覆盖低频、边界、困难样本；长尾数据提升模型鲁棒性。
📄 图片内容提取（视觉识别）
> 数据字段设计：instruction、input、output、system、history 等字段；字段设计影响训练格式与效果。
📄 图片内容提取（视觉识别）
> XTuner 数据格式详解：JSONL 每行一个样本；messages 格式与 ShareGPT 格式互转。
📄 图片内容提取（视觉识别）
> 数据构造总结：高质量微调数据 = 多样 + 干净 + 有难度 + 有标注质量；数据决定微调效果的上限。1.2 promptfoo
https://www.bilibili.com/video/BV1nL8Y6TEYv/?spm_id_from=333.337.search-card.all.click&vd_source=c7b2862dba7bd8006886e94acdb45440
📄 图片内容提取（视觉识别）
> promptfoo 课程封面（B站）：用 promptfoo 做 Prompt/RAG/Agent 评测与红队测试——从「效果好不好」到「安全不安全」。
📄 图片内容提取（视觉识别）
> promptfoo 简介：开源 LLM 评测工具，支持 prompt 对比、回归测试、红队测试、漏洞扫描；配置 YAML 定义测试用例与断言。
📄 图片内容提取（视觉识别）
> promptfoo 安装与起步：npm install -g promptfoo；promptfoo init 初始化；promptfoo eval 运行评测。
📄 图片内容提取（视觉识别）
> promptfoo 配置（promptfooconfig.yaml）：prompts（要测的 prompt）、providers（模型）、tests（测试用例）、assert（断言）。
📄 图片内容提取（视觉识别）
> promptfoo 测试用例：tests 定义输入输出断言（contains、equals、json、llm-rubric）；自动化判断结果是否符合预期。
📄 图片内容提取（视觉识别）
> promptfoo 结果展示：eval 输出命令行对比表格；promptfoo view 打开 Web 界面查看详细对比。
📄 图片内容提取（视觉识别）
> promptfoo 回归测试：保存基线配置，代码变更后重跑 eval，发现 prompt 回归（效果变差）。
📄 图片内容提取（视觉识别）
> promptfoo 红队测试（red team）：用攻击性 prompt 测试模型安全；自动生成攻击向量（提示注入、越狱、有害内容）。
📄 图片内容提取（视觉识别）
> promptfoo 漏洞扫描：扫描 prompt 注入漏洞（系统提示被覆盖）、敏感信息泄露、越狱行为；输出漏洞报告。
📄 图片内容提取（视觉识别）
> promptfoo RAG 评测：配置检索链路（retriever），评测检索质量（召回率）与生成质量（faithfulness）。
📄 图片内容提取（视觉识别）
> promptfoo Agent 评测：多轮对话、工具调用流程测试；断言工具调用参数正确性。
📄 图片内容提取（视觉识别）
> promptfoo LLM-rubric 断言：用 LLM 按标准打分（1-5）；适合主观质量评估（写作、对话）。https://www.bilibili.com/video/BV1oqBYBSEzZ/?spm_id_from=333.337.search-card.all.click&vd_source=c7b2862dba7bd8006886e94acdb45440
📄 图片内容提取（视觉识别）
> promptfoo 实战（续）：红队测试与漏洞扫描实操——从效果好不好变成安全不安全。
📄 图片内容提取（视觉识别）
> promptfoo 红队测试配置：redteam 配置节（攻击类别、目标、数量）；promptfoo redteam generate 生成攻击测试集。
📄 图片内容提取（视觉识别）
> promptfoo 攻击类别：提示注入、越狱（jailbreak）、有害内容、隐私泄露、角色扮演攻击等。
📄 图片内容提取（视觉识别）
> promptfoo 红队报告：漏洞列表、攻击成功率、复现 prompt；用于安全整改。
📄 图片内容提取（视觉识别）
> promptfoo CI 集成：在 CI 中跑 eval，结果作为质量门禁；分数低于阈值或断言失败则 CI 失败。
📄 图片内容提取（视觉识别）
> promptfoo 与 RAG 安全：评测 RAG 链路的信息源污染（检索到恶意内容被透出）；检查过滤链路。
📄 图片内容提取（视觉识别）
> promptfoo 自定义 provider：接入自建模型/API；provider 配置含模型名、参数（temperature 等）。https://www.bilibili.com/video/BV1a2dHBdEmz/?spm_id_from=333.337.search-card.all.click&vd_source=c7b2862dba7bd8006886e94acdb45440
📄 图片内容提取（视觉识别）
> promptfoo 评测维度扩展（续）：prompt、rag、agent 三类对象的红队测试与漏洞扫描。1.2.0.0.1 prompt、rag、agent，红队测试和漏洞扫描，从效果好不好变成安全不安全。
📄 图片内容提取（视觉识别）
> promptfoo 输出格式：JSON/CSV/Markdown 报告；eval 结果可导出用于归档与对比。
📄 图片内容提取（视觉识别）
> prompt、rag、agent 红队测试与漏洞扫描：三者的安全评测关注点——prompt（提示注入/越狱）、RAG（检索污染/信息透出）、Agent（工具滥用/权限越权）。
📄 图片内容提取（视觉识别）
> Agent 红队：测试 Agent 是否会被诱导调用危险工具（删文件、转账）、泄露系统提示、越权操作。
📄 图片内容提取（视觉识别）
> RAG 红队：测试检索链路是否会把恶意文档内容透出给用户；需要在信息源层做过滤与检测。
📄 图片内容提取（视觉识别）
> prompt 红队：测试提示注入（覆盖系统指令）、角色扮演绕过、多轮诱导；构建对抗性 prompt 集。
📄 图片内容提取（视觉识别）
> 红队测试设计：正常问题+对抗问题混合；覆盖边界（擦边）、诱导（role-play）、直接攻击；自动化生成+人工补充。
📄 图片内容提取（视觉识别）
> 漏洞评估指标：攻击成功率（ASR）、违规率、拦截率；漏洞严重程度分级（高/中/低）。
📄 图片内容提取（视觉识别）
> promptfoo 与安全闭环：红队发现问题 → 修复（输入过滤/输出过滤/权限收紧）→ 重跑红队验证 → 持续监控。1.3 rag评测
RAG系统评估选型分析-AutoRAG/Ragas/DeepEval打造完成RAG评估体系
https://www.bilibili.com/video/BV1Esu3zMETG/?spm_id_from=333.337.search-card.all.click&vd_source=c7b2862dba7bd8006886e94acdb45440
📄 图片内容提取（视觉识别）
> RAG 系统评估选型分析（AutoRAG）：RAG 系统组件多（检索/重排/生成），评估需分层：检索层指标（ContextRecall、HitRate、MRR）+ 生成层指标（Faithfulness、Relevancy、Correctness）。
📄 图片内容提取（视觉识别）
> RAG 评估方法：端到端指标 vs 组件级指标；端到端看最终回答质量，组件级定位问题（检索差还是生成差）。
📄 图片内容提取（视觉识别）
> RAG 评测数据集：query + 标准答案（ground truth）+ 相关文档标注（retrieval_gt）；评测集构造是 RAG 评估的基础。1.4 通义实验室
1.4.1 AgentScope1.0开发者教程：智能体评测
https://www.bilibili.com/video/BV1eE4vz3Ep4/?spm_id_from=333.1387.homepage.video_card.click&vd_source=c7b2862dba7bd8006886e94acdb45440
1.4.1.0.1 【why】评测的目的
📄 图片内容提取（视觉识别）
> 【why】评测的目的：1. 衡量系统能力（模型/RAG/Agent）；2. 发现短板指导迭代；3. 横向对比选型；4. 建立可复现的基线；5. 保障上线质量与安全。
📄 图片内容提取（视觉识别）
> 评测对象扩展：从单模型扩展到 RAG 系统、Agent 系统；评测维度从能力扩展到安全、成本、性能。1.4.1.0.2 传统机器学习模型：召回率，准确率和F1
📄 图片内容提取（视觉识别）
> 评测体系设计：指标分层（能力/安全/成本/性能）；评测集分维度构建；打分机制（自动/人工/LLM）。
📄 图片内容提取（视觉识别）
> 传统机器学习模型：召回率（Recall）、准确率（Accuracy）和 F1 分数是分类任务的核心指标；F1 是 Precision 与 Recall 的调和平均，平衡两者。1.4.1.0.3 大模型和智能体的评测维度会更加的多元
📄 图片内容提取（视觉识别）
> 检索指标：Recall@k、Precision@k、MRR（倒数排名）、NDCG（折损累计增益）；检索指标评估「相关文档是否被召回」。
📄 图片内容提取（视觉识别）
> 大模型和智能体的评测维度会更加的多元：除传统指标（准确率/F1）外，还有指令遵循、事实性（幻觉）、安全性、多轮一致性、工具调用正确性、成本效率等维度。精辟；测试大模型和智能体的时候更多的时候要先了解大模型和智能体各个组成部分的原理以及自己亲自搭建一个demo来深度的实验和体验来对于的原理的理解。然后就可以使用传统测试经验中总结的测试架构和测试方法论来进行改进适配，形成关于大模型和智能体的特有的测试范式。
📄 图片内容提取（视觉识别）
> 生成质量指标：BLEU/ROUGE（文本重叠）、Faithfulness（忠实度/幻觉）、Relevancy（相关性）、Correctness（正确性）、Completeness（完整性）。
📄 图片内容提取（视觉识别）
> 【why】评测的目的（RAG 视角）：1. 验证 RAG 链路各组件效果；2. 定位瓶颈（检索/重排/生成）；3. 支撑组件选型（向量库、重排模型）；4. 持续监控线上质量。1.4.1.0.4 通过评测集和评测的pipeline来支持更好的评测和发现更多有价值的问题
📄 图片内容提取（视觉识别）
> 评测闭环（RAG）：建评测集 → 跑基线 → 指标分析 → 针对性优化（改 chunk/换检索/加重排）→ 再评测验证；数据驱动优化 RAG 系统。1.4.1.0.5 【how】如何评测？
1.4.1.0.6 结果和过程都要进行评测
📄 图片内容提取（视觉识别）
> 【how】如何评测（RAG/Agent 视角）：1. 定义评测维度（检索质量、生成质量、任务完成度、安全）；2. 构建评测集（query + ground truth）；3. 选择指标（Recall/MRR/Faithfulness）；4. 运行评测（批量执行）；5. 分析报告（定位问题）。1.4.1.0.7 单个模型评测和多个评测，结果的保存和历史对比，聚合和分析报告
📄 图片内容提取（视觉识别）
> 结果和过程都要进行评测：1. 结果评测：最终回答是否正确（正确性、完整性、忠实度）；2. 过程评测：检索是否召回相关文档、工具调用是否合理、规划是否高效；只看结果会掩盖过程问题。
📄 图片内容提取（视觉识别）
> 单个模型评测和多个评测：结果的保存和历史对比——单模型评测快速看能力；多模型/多版本评测横向对比；结果归档保存，支持历史对比（模型迭代、prompt 迭代前后分数变化）。1.4.1.0.8 【what】样例实践
📄 图片内容提取（视觉识别）
> 【what】样例实践：以具体 RAG 问答系统为例，演示完整评测流程：构造评测集（20-50 条 query）→ 配置评测 → 跑出指标 → 分析问题（如 context_recall 低=检索差）→ 优化后复测。
📄 图片内容提取（视觉识别）
> 样例实践（续）：评测数据集示例——query：『XX公司2024年营收多少？』；retrieval_gt：相关文档 ID 列表；answer_gt：标准答案。
📄 图片内容提取（视觉识别）
> 样例实践（续）：评测结果示例——ContextRecall=0.8（检索层）、Faithfulness=0.9（生成层）、AnswerRelevancy=0.85；分析：检索还有 20% 相关文档没召回。
📄 图片内容提取（视觉识别）
> 样例实践（续）：问题定位——recall 低→优化 chunk 切分/换向量库/加重排；faithfulness 低→生成器幻觉，换 prompt 或模型。
📄 图片内容提取（视觉识别）
> 【what】样例实践（RAG 评测完整演示）：从评测集构造到指标解读到优化建议的完整闭环；展示每个环节的输入输出。
📄 图片内容提取（视觉识别）
> 样例实践（续）：评测集字段设计——query（用户问题）、retrieval_gt（期望召回的文档）、answer_gt（期望答案）、contexts（可选，检索到的上下文）。
📄 图片内容提取（视觉识别）
> 【what】样例实践（Agent 评测演示）：Agent 多轮任务评测——任务目标、工具调用序列、最终结果；评测任务成功率与过程合理性。
📄 图片内容提取（视觉识别）
> Agent 评测样例：评测集条目——task（『帮我订明天北京到上海的机票』）、expected_tools（search_flight、book_ticket）、success_criteria（成功出票）。
📄 图片内容提取（视觉识别）
> Agent 评测指标：任务成功率（Task Success Rate）、工具调用正确率、回合数（效率）、安全合规（未越权）。
📄 图片内容提取（视觉识别）
> Agent 评测过程：跑 Agent → 记录每步（思考/工具调用/结果）→ 按标准判定成功/失败 → 汇总成功率。
📄 图片内容提取（视觉识别）
> 【what】样例实践（promptfoo 评测演示）：YAML 配置、测试用例、断言、运行结果展示；prompt 版本 A/B 对比。
📄 图片内容提取（视觉识别）
> promptfoo 样例：prompts 两个版本（V1/V2），tests 5 条用例，运行后对比通过率与分数。
📄 图片内容提取（视觉识别）
> promptfoo 样例结果：V1 通过 3/5、V2 通过 5/5；断言失败明细展示；结论：采用 V2。
📄 图片内容提取（视觉识别）
> 【what】样例实践（综合）：从模型评测到 RAG 评测到 Agent 评测的统一实践——评测集、指标、工具的选型组合。
📄 图片内容提取（视觉识别）
> 评测工具选型：OpenCompass（模型能力）、promptfoo（prompt/RAG/Agent 安全）、RAGAS/DeepEval（RAG 质量）、AutoRAG（管道搜索）。
📄 图片内容提取（视觉识别）
> 评测体系落地：指标库（分层定义）、评测集库（分维度维护）、评测平台（自动化+报告）、门禁（CI 集成）。1.4.1.0.9 思考
解决任何问题的方法论和思维路径：
1、对这个问题进行精准的描述，跟大模型沟通使用第一性原理skill进行深入的沟通，对于问题的本质进行深入的理解
2、基于问题进行结构化的拆解，从而推导出解决方法和解决步骤
3、以上是否可以通过流程规范、工具（报告，持续集成）、平台，结合工程化的方法比如拉下大模型或者智能体，当前版本部署之后进行评测执行，通过门禁来管控，等等各种工程化的技术方法来实现问题2的解决方案，实现上面的工作流
4、实现以上工作流为skill，以后复用提效你是评测一个general agent还是一个Vertical agent / domain-specific agent?
如果是前者，需要把这些常规的、开源的、国内外通用认可的、各个维度的这些数据集全部都评测一遍。如果是后者，则需要自己构建，你想评测什么维度，这些不同的维度你要去构造这些评测集，而且将来还要迭代，还要优化。
2 抖音
2.1 大小寒学AI
2.1.1 RAG评测
2.1.1.1 检索效果评测
2.1.1.2 生成效果评测
https://www.douyin.com/video/7673417010398645523?modeFrom=
2.1.2 RAG评测
2.1.2.1 检索效果评测
2.1.2.2 生成效果评测
2.1.2.3 端到端评测
3 总结
3.1 RAG评测
3.1.1 什么是RAG，和传统检索以及融合检索的区别？
📄 图片内容提取（视觉识别）
> 什么是 RAG，和传统检索以及融合检索的区别：RAG（检索增强生成）= 检索（Retrieval）+ 生成（Generation）；传统检索只返回文档（如 BM25/向量检索），RAG 把检索结果交给 LLM 生成答案；融合检索（混合检索）= 多路召回（BM25+向量）再融合。
📄 图片内容提取（视觉识别）
> RAG 流程：用户 query → 检索（向量/BM25/混合）→ 相关文档 → 组装上下文 → LLM 生成答案；检索质量决定生成质量的上限。
📄 图片内容提取（视觉识别）
> RAG 与传统检索对比：传统检索=精确匹配关键词/语义向量，返回文档列表；RAG=检索+生成，返回自然语言答案；RAG 需要评估「检索」与「生成」两段。3.1.2 检索效果评测
常用的核心指标有哪些？分别指标什么含义？如何解读？相互关系是什么？对于工程优化的指导是什么？业内最佳实践取值是什么？
📄 图片内容提取（视觉识别）
> 常用的核心指标有哪些？分别指标什么含义？检索层：ContextRecall（上下文召回率）、HitRate（命中率）、MRR（平均倒数排名）、NDCG；生成层：Faithfulness（忠实度）、AnswerRelevancy（答案相关性）、AnswerCorrectness（答案正确性）、Completeness（完整性）。
📄 图片内容提取（视觉识别）
> ContextRecall：答案中的信息是否能从检索到的上下文中找到（不瞎编）；计算：把答案拆成句子/声明，验证每个声明是否被上下文支持。
📄 图片内容提取（视觉识别）
> HitRate / Recall@k：Top-k 结果中是否包含相关文档；HitRate=至少命中一个相关文档的比例；Recall=相关文档被召回的比率。
📄 图片内容提取（视觉识别）
> MRR（Mean Reciprocal Rank）：第一个相关文档排名的倒数取平均；MRR 越高说明相关文档排得越靠前。
📄 图片内容提取（视觉识别）
> NDCG（Normalized Discounted Cumulative Gain）：考虑多级相关度的排序质量指标；支持相关度分级（0/1 或 0-3），比 MRR 更精细。
📄 图片内容提取（视觉识别）
> 生成层指标：Faithfulness（答案与上下文一致，不幻觉）、AnswerRelevancy（答案与问题相关，不跑题）、AnswerCorrectness（与标准答案一致，需 ground truth）、Completeness（覆盖问题所有方面）。3.1.2.1 如何进行chunk切片以及重叠设置？
📄 图片内容提取（视觉识别）
> 如何进行 chunk 切片以及重叠设置：1. chunk 大小（256/512/1024 token）影响检索粒度——太小上下文碎片化、太大噪声多；2. 重叠（overlap，如 10%-20%）保证跨 chunk 的语义不丢；3. 按结构切（段落/标题/句子）优于固定长度。
📄 图片内容提取（视觉识别）
> chunk 切分实践：按语义边界（段落、小节）切分；固定长度切分要加 overlap；chunk 大小需结合检索实验调优（评测 recall）。3.1.2.2 向量数据库哪个好？对RAG影响如何？
📄 图片内容提取（视觉识别）
> 向量数据库哪个好？对 RAG 影响如何？常见选型：Chroma（轻量，适合原型）、FAISS（高效检索库）、Milvus（分布式生产级）、Qdrant、Weaviate、pgvector（PG 插件）；影响：召回质量（索引算法）、延迟、扩展性、生态。
📄 图片内容提取（视觉识别）
> 向量库选型维度：检索质量（召回率）、性能（QPS/延迟）、可扩展性（数据量）、部署成本、生态（与框架集成）；小数据用 Chroma/FAISS，大数据生产用 Milvus/Qdrant。3.1.2.3 混合检索（BM25）解决漏召回
📄 图片内容提取（视觉识别）
> 混合检索（BM25）解决漏召回：BM25 做关键词精确匹配（解决专业术语/缩写/实体），向量检索做语义匹配（解决同义改写）；两路互补，融合后提高召回。混合检索 = 两路同时召回，再做结果融合；工业界最常用融合算法：RRF（Reciprocal Rank Fusion，倒数排名融合），不需要分数归一化，只看排名，参数简单好调。
📄 图片内容提取（视觉识别）
> BM25 原理：基于词频（TF）与逆文档频率（IDF）的稀疏检索算法；对精确关键词（专有名词、型号、代码）非常有效；无法处理同义改写（语义鸿沟）。
📄 图片内容提取（视觉识别）
> 混合检索 = 两路同时召回，再做结果融合（fusion）：RRF（Reciprocal Rank Fusion，按排名倒数融合）或加权分数融合；融合后统一排序，提高召回与排序质量。rerank 解决 “召回回来之后噪声大、排序差”
- rerank的精度远大于RRF（只看召回排名）
- bi-encoder 和 cross-encoder
📄 图片内容提取（视觉识别）
> rerank 解决「召回回来之后噪声大」：召回阶段用轻量模型取 Top-50，重排阶段用交叉编码器（cross-encoder）精排取 Top-5；重排显著提升排序精度，减少噪声文档进入生成。
📄 图片内容提取（视觉识别）
> rerank 原理：cross-encoder 把 query 和 doc 拼接送入模型，输出相关性分数；比向量检索（bi-encoder）更精确但更慢；常用于精排阶段。
📄 图片内容提取（视觉识别）
> RAG 检索优化组合拳：混合检索（BM25+向量）→ RRF 融合 → rerank 精排 → Top-k 送入生成；每层优化都可用检索指标（Recall/MRR/NDCG）验证。RAG Query 改写（Query Transformation）技术、工程经验、业内最佳方案
📄 图片内容提取（视觉识别）
> RAG Query 改写（Query Transformation）：用户 query 往往口语化、指代不明，直接检索效果差；改写策略：指代消解（多轮对话补全）、Multi-Query（生成多个子查询）、子问题拆解、Step-back、HyDE。3.1.2.3.1 改写之后语义漂移，必须进行改写后和改写前相似度校验，低于阈值丢弃，宁可不改，不能改错
📄 图片内容提取（视觉识别）
> 指代消解：多轮对话中把「它」「那个」替换为具体指代对象；只取最近 3-4 轮做消解，避免上下文过长。
📄 图片内容提取（视觉识别）
> Multi-Query：一个 query 生成 3-5 个变体查询，并行检索后合并结果（去重+RRF）；关键细节：原始 query 必须参与检索；数量 3-5 个；并行检索。
📄 图片内容提取（视觉识别）
> 子问题拆解 / Step-back / HyDE / Self-Query 对比：子问题拆解（复杂问题拆多步）；Step-back（先问抽象问题再具体）；HyDE（先生成假设答案再检索，不推荐默认用）；Self-Query（带元数据过滤的结构化查询）。
📄 图片内容提取（视觉识别）
> RAG Query 改写生产链路最佳实践：POC 阶段单查询重写；生产阶段：指代消解 + Multi-Query（3-4 条）+ 原始 query 保留 + RRF + rerank；复杂问题加子问题拆解；带元数据叠加 Self-Query。控制开销做路由判断（简单 query 不改写）；不迷信改写，看检索指标判收益；宁可不改不能改错（改写后相似度校验，低于阈值丢弃）。3.1.3 生成效果评测
3.1.3.1 BLEU、ROUGE 指标理解
📄 图片内容提取（视觉识别）
> BLEU、ROUGE 指标理解：BLEU=精确率视角（生成文本与参考文本的 n-gram 重合度），含 BP 简短惩罚，BLEU-4 最常用，缺点=不看语义；ROUGE=召回率视角（参考文本覆盖了多少），ROUGE-N / ROUGE-L（最长公共子序列）。工程大坑：别拿 BLEU/ROUGE 直接评判 RAG 系统（不反映语义质量）。
📄 图片内容提取（视觉识别）
> BLEU vs ROUGE 对比：BLEU 侧重生成质量（生成像不像参考）、ROUGE 侧重覆盖度（参考内容是否被生成覆盖）；两者都是文本重叠统计，无法捕捉语义等价（同义改写会误判）。3.1.3.2 语义相似度
📄 图片内容提取（视觉识别）
> 语义相似度（Semantic Similarity）：用 embedding 计算生成答案与参考答案的余弦相似度；比 BLEU/ROUGE 更能捕捉语义等价；作为生成质量辅助指标。3.1.3.3 答案正确性
📄 图片内容提取（视觉识别）
> 答案正确性（Answer Correctness）：需要 ground truth；综合语义相似度与事实一致性判定答案是否正确；是 RAG 生成层最重要的指标之一。3.1.3.4 * faithfulness（答案真实性）
📄 图片内容提取（视觉识别）
> Faithfulness（答案真实性/忠实度）：验证答案是否基于检索到的上下文，不编造（幻觉检测的最高优先级指标）；方法：把答案拆成声明（claim），逐条验证是否被上下文支持。3.1.3.5 * relevance 答案相关性
📄 图片内容提取（视觉识别）
> Relevance（答案相关性）：答案是否与用户 query 相关、是否跑题；计算：把答案拆声明，验证每个声明是否与 query 相关。3.1.3.6 回答完整性以及评估LLM选型
📄 图片内容提取（视觉识别）
> 回答完整性（Completeness）以及评估 LLM 选型：Completeness=答案是否覆盖问题的所有方面；评估 LLM 选型：云 API（GPT-4o/Claude-3.5 做基线，勿用生成模型当 Judge 防自偏好）、本地（Qwen2-7B/14B-Instruct，temperature=0/top_p=1）；7B 以下小模型与人工一致性降 15-25%。
📄 图片内容提取（视觉识别）
> 评估 LLM 选型原则：1. 裁判模型要强（GPT-4 级别）；2. 勿用被测模型当裁判（自偏好偏差）；3. 固定 temperature=0 保证可复现；4. 小模型裁判一致性差。
📄 图片内容提取（视觉识别）
> LLM-as-Judge 工程最佳实践：Judge 非真理，留黄金测试集（50-200 条人工标注）校准；至少同时看 Faithfulness+Relevancy；评测集要含坏 case；Judge Prompt 要求输出 reason；成本控制（离线批量+线上异步采样 1-10%）；不混淆检索层与生成层两套指标。
📄 图片内容提取（视觉识别）
> Faithfulness 裁判 Prompt 模板：要求输出 JSON {"score": 0-1, "reason": "..."}；把 answer 拆成 claims，逐条判断是否被 context 支持。3.1.3.7 伦理价值观满足度
3.1.4 端到端评测
3.1.5 使用什么工具评测？各个工具有什么特点和选型优劣？
3.1.5.1 AutoRAG
3.1.5.1.1 前端bug非常多
📄 图片内容提取（视觉识别）
> AutoRAG（自动 RAG 管道优化框架）：自动化搜索最优 RAG 管道；核心概念：Node（节点抽象容器）、Module（节点内的具体实现模块，同节点多模块对比）、Node Lines（节点线=完整管道实验）、Strategy（评估指标+参数自动优化）。
📄 图片内容提取（视觉识别）
> AutoRAG 前端 bug 非常多（注意事项）：AutoRAG 的 Web 界面（optuna dashboard）尚不稳定，推荐用命令行/config.yaml 方式运行；遇到前端问题用 CLI 代替。
📄 图片内容提取（视觉识别）
> AutoRAG 核心概念（续）：Node 是管道的一环（如检索节点、重排节点）；Module 是节点的实现（如 BM25、vectordb、hybrid_rrf）；每条 Node Line 是一条完整管道；多个 config 可并行跑对比。
📄 图片内容提取（视觉识别）
> AutoRAG config.yaml 结构：node_line 定义管道；nodes 定义节点与多个 module 候选；参数搜索空间（如 top_k [3,5]、weight 范围）；Strategy 定义评估指标。
📄 图片内容提取（视觉识别）
> AutoRAG 评估指标：检索层（retrieval_f1、recall、precision、ndcg、map、mrr + normalize_mean + speed_threshold）；生成层（meteor、rouge、sem_score）；指标用于自动选择最优模块组合。
📄 图片内容提取（视觉识别）
> AutoRAG 检索节点配置：bm25（porter_stemmer、gpt2 tokenizer）+ vectordb（embeddings）+ hybrid_rrf（weight_range 4~80）+ hybrid_cc（normalize mm/tmm/z/dbsf，weight 0-1，test_weight_size 101）。
📄 图片内容提取（视觉识别）
> AutoRAG 后检索节点配置：passage_augmenter（prev_next_augmenter 前后文增强）、passage_reranker（top_k 5）、passage_filter（similarity_threshold_cutoff 0.85/0.9/0.95、percentile 0.6/0.8）、passage_compressor（tree_summarize/refine）。
📄 图片内容提取（视觉识别）
> AutoRAG 生成节点配置：prompt_maker（fstring 模板 / long_context_reorder）+ generator（temperature [0.5, 1.0]）；指标 meteor/rouge/sem_score。
📄 图片内容提取（视觉识别）
> AutoRAG 运行：Evaluator(qa_data_path, corpus_data_path).start_trial('config.yaml')；运行后输出每个 node_line 的 summary.csv 与 best 管道。
📄 图片内容提取（视觉识别）
> AutoRAG 结果解读：对比不同 node_line 的分数；选最优管道落地生产；可继续扩展搜索空间迭代优化。
📄 图片内容提取（视觉识别）
> AutoRAG 数据准备实操：构建 corpus.parquet（doc_id、contents、metadata）与 qa.parquet（qid、query、retrieval_gt、generation_gt）；用 pandas 构造并导出。
📄 图片内容提取（视觉识别）
> qa.parquet 字段：qid（问题 ID）、query（问题）、retrieval_gt（期望检索结果 doc_id 列表）、generation_gt（标准答案）；corpus.parquet 字段：doc_id、contents、metadata。
📄 图片内容提取（视觉识别）
> 为何用 Parquet 不用 JSON：评测集大时 Parquet 读取快、省磁盘（列式压缩）、pandas 直接加载；JSON/CSV/Parquet 对比表；RAG 评测数据集字段 query/retrieval_gt/answer_gt；GraphRAG 输出 documents/text_units/entities.parquet。
📄 图片内容提取（视觉识别）
> pandas 构造 DataFrame 三种方式：字典（列名→列表）、列表套列表（+columns）、读文件（read_parquet/read_csv/read_json）；输出 to_parquet/to_csv/to_json(orient='records')；转 dict 列表用于遍历。
📄 图片内容提取（视觉识别）
> RAG 评测典型循环：读 parquet → to_dict('records') → 遍历每条 query → 跑检索算 recall/mrr → 跑生成算 faithfulness → 汇总指标。
📄 图片内容提取（视觉识别）
> corpus.parquet 内容展示：doc_id/contents/metadata 三列示例；evaluation_results.csv 预览两行（query、retrieval 结果、score）。
📄 图片内容提取（视觉识别）
> AutoRAG 运行结果目录：post_retrieve_node_line/{generator,prompt_maker}/summary.csv、各节点 summary.csv、best_0.parquet（最优管道结果）。
📄 图片内容提取（视觉识别）
> NDCG 全称 Normalized Discounted Cumulative Gain（归一化折损累计增益）：CG（累计增益）→ DCG（位置折损累计）→ NDCG（除以理想排序的 DCG）；支持多级相关度（0/1/2/3），区别于 MRR/MAP 的 0/1 二分类。Ragas
https://www.bilibili.com/video/BV1Esu3zMETG/?spm_id_from=333.788.player.switch&vd_source=c7b2862dba7bd8006886e94acdb45440&p=5
📄 图片内容提取（视觉识别）
> Ragas（RAG 评估先驱框架）：度量驱动开发——评估循环：基线 → 指标衡量 → 识别薄弱 → 针对性改进 → 重评验证；faithfulness 把 answer 拆声明逐条验证。
📄 图片内容提取（视觉识别）
> Ragas 实战代码：DashScope 通义千问 qwen-max + text-embedding-v1；LangchainLLMWrapper / LangchainEmbeddingsWrapper 封装；evaluate(dataset, metrics=[faithfulness], llm, embeddings)。
📄 图片内容提取（视觉识别）
> Ragas SingleTurnSample：user_input（用户输入）、response（模型回答）、retrieved_contexts（检索上下文）；scorer.single_turn_ascore 运行单条打分。
📄 图片内容提取（视觉识别）
> Ragas 运行结果：faithfulness=0.5 等指标分数；指标低说明生成与上下文不一致（幻觉）。
📄 图片内容提取（视觉识别）
> Ragas 特性指标：ContextEntityRecall（上下文实体召回率）结果 0.99999995（接近 1，说明答案实体都在上下文中）；Ragas 提供大量预置指标。
📄 图片内容提取（视觉识别）
> Ragas 定位：组件精细化诊断——适合离线批量对比、定位检索/生成问题；与 DeepEval（CI 单元测试）、AutoRAG（自动搜索管道）互补。3.1.5.2 DeepEval
3.1.5.2.1 更加偏向工程化的一个框架。度量驱动开发，测试驱动开发。
📄 图片内容提取（视觉识别）
> DeepEval（「LLM 的 Pytest」）：断言式测试框架，融入 CI/CD；解决三大问题：不一致性（无基准）、透明度缺乏（黑盒）、评估者幻觉；用 Pytest 风格写测试。
📄 图片内容提取（视觉识别）
> DeepEval 更加偏向工程化的一个框架。度量驱动开发（metrics-driven development）：先定义指标（faithfulness、relevancy、correctness、latency），写测试用例，跑断言，融入 CI；不通过则 CI 失败。
📄 图片内容提取（视觉识别）
> DeepEval 集成代码：DashscopeModel 继承 DeepEvalBaseLLM 实现（自定义模型接入）；定义 LLMTestCase（input/actual_output/expected_output）；assert_test(test_case, [metrics])。
📄 图片内容提取（视觉识别）
> DeepEval DAG 评估：构建 LLMTestCase 判摘要标题是否含 intro/body/conclusion 及顺序；DAG 四节点：TaskNode（数据处理器）、BinaryJudgementNode（二元决策，criteria+两个 VerdictNode）、NonBinaryJudgementNode（多选分类器）、VerdictNode（终点+分数分配器，score 0-10）。
📄 图片内容提取（视觉识别）
> 三大框架选型与组合策略：定位对比——Ragas（组件精细化诊断）、DeepEval（单元测试 CI）、AutoRAG（自动化搜索最优管道）。
📄 图片内容提取（视觉识别）
> 分阶段选型：阶段一探索选型用 AutoRAG 产出性能排名收敛 1-3 个候选；阶段二开发 CI 用 DeepEval（test_*.py + assert_test + GitHub Actions）；阶段三深度调试用 Ragas 细粒度诊断。