AI 产品经理作品集不能只展示一个能对话的 Demo。它需要回答:为什么这个任务适合 AI、效果如何衡量、失败时用户会经历什么、成本和延迟是否可接受,以及你如何决定上线或停止。
招聘方看到的是一份求职证据,不是设计稿合集。作品集评分、自检、PDF 或网页选择,以及面试时能否讲清决策,最终都应回到同一件事:关键结论能不能被复核。本文给出的评分框架是自检工具,不是任何公司的统一招聘标准,也不能预测录用结果。
如果你还没有作品集基础结构,先看零经验产品经理作品集指南。本文只讨论 AI 项目特有的证据,避免把“调用了模型 API”误当成完整的产品能力。
下载 AI 产品经理作品集目录与证据模板(Markdown)。模板包含完整目录、证据矩阵、评测与失败表、质量—延迟—成本决策表,以及三分钟面试讲解提纲;它不是案例,也不是任何公司的招聘标准。
如何使用这份作品集模板
先复制模板,为每个项目单独填写一份。不要从封面和视觉稿开始:先完成“项目状态与真实性检查”,再填问题证据、非 AI 基线和个人贡献。每个关键结论都应指向证据矩阵中的一项材料;如果目前只有假设,就明确写出验证计划,不要补造用户或业务数字。
完成评测后,再填写质量、严重失败、延迟、成本和人工审核的决策表,并写明当前选择是继续、缩小范围、回退还是停止。最后用模板中的三分钟提纲录音复述一次:任何无法解释来源、口径或个人职责的句子,都应回到正文修改。
一、选一个任务,不要选一个宏大赛道
适合作品集的题目应有明确输入、输出、用户和决策。例如:
- 把一段会议记录整理成待办,并让用户确认负责人和截止日期;
- 根据已批准的知识库草拟客服回复,并标注引用来源;
- 对招聘 JD 与候选人材料做结构化比对,但不自动做录用决定;
- 帮助内容团队分类反馈,并保留人工修正入口。
“做一个企业 AI 平台”或“用大模型重塑教育”范围过大,难以形成可信评测。先写一张任务卡:
| 字段 | 要回答的问题 |
|---|---|
| 用户与场景 | 谁在什么时刻需要帮助? |
| 当前做法 | 用户现在如何完成,耗时和风险是什么? |
| AI 的角色 | 生成、提取、分类、排序还是建议? |
| 不适用边界 | 哪些输入、用户或决定不交给 AI? |
| 成功标准 | 质量、行为、业务和风险如何衡量? |
Google 的 People + AI Guidebook 提供了围绕用户需求、心智模型、信任校准、反馈与控制设计 AI 产品的方法。它适合用来检查“AI 是否真的帮助用户”,而不是只检查模型是否能输出。
二、先建立非 AI 基线
作品集里应该出现至少一个基线:
- 用户完全手工完成任务所需的时间和质量;
- 规则、模板或搜索能达到的效果;
- 当前模型或提示词版本;
- 一个更简单、成本更低的产品方案。
如果模板已经能稳定解决问题,AI 方案需要证明其额外价值。基线也让评测结果更有解释力:一个脱离任务与标准的总分本身没有意义,相对基线在哪类输入上减少了哪类失败,才形成决策信息。
三、准备一套可解释的评测证据
OpenAI 的官方 Evals 指南 把评测组织为任务、测试输入和分析迭代;评测最佳实践 强调从任务目标出发持续评估。无论使用哪家模型,这个思路都能帮助你把“感觉不错”变成可重复比较。
评测样本不追求一个通用数量。重点是覆盖任务分布和重要失败场景,并说明样本为何足以支持当前结论:
- 常见、短而清晰的输入;
- 较长、含噪声或格式不一致的输入;
- 缺少必要信息的输入;
- 多语言、专业术语或边界人群;
- 可能诱导系统编造、泄露或越权的输入;
- 产品明确不应处理的请求。
记录每条样本的来源和使用权限。若内容是你自己合成的,要标注合成规则;若来自用户数据,先确认同意、脱敏、保存期限与访问控制。
评测表至少包含这些列
| 字段 | 示例 |
|---|---|
| case_id | meeting_017 |
| 输入切片 | 长会议、多位负责人 |
| 期望行为 | 提取待办;不确定的截止日期保持为空 |
| 质量维度 | 完整性、事实一致、格式可用 |
| 严重失败 | 虚构负责人或日期 |
| 结果 | 通过、部分通过、失败 |
| 失败标签 | missing_item / invented_owner |
更完整的离线与线上评测方法见AI 产品功能评测框架。
四、把失败分类做成产品决策
不要只报一个平均分。把失败拆成可以行动的类型:
- 任务失败:没有完成提取、分类或生成任务;
- 事实失败:输出与输入或知识源冲突;
- 交互失败:结果可修改但用户找不到修改入口;
- 边界失败:信息不足时仍给出确定答案;
- 安全与隐私失败:泄露敏感信息、执行越权操作;
- 系统失败:超时、格式错误、依赖不可用。
为每类失败写清严重度、发生频率、可检测性和处置方式。一个低频但不可逆的高风险失败,可能比常见的格式小错更影响上线决定。
NIST 的 AI Risk Management Framework 和 生成式 AI 风险管理概况 NIST AI 600-1 可以作为风险识别的参考。作品集不需要声称“符合 NIST”,除非你确实完成了对应治理工作;更稳妥的做法是说明你参考了哪些风险类别,并展示具体控制措施。
五、原型要展示控制权与恢复路径
除了正常输出页,至少画出:
- 首次使用时如何解释能力和局限;
- 信息不足时如何追问,而不是编造;
- 用户如何查看来源、修改、拒绝或重新生成;
- 高风险动作如何二次确认;
- 系统超时或不可用时如何回退;
- 用户如何反馈错误,以及反馈会被如何使用。
以“AI 生成会议待办”这一练习题型为例,原型应把每条待办显示为可编辑卡片,允许展开查看原文证据;没有明确负责人时显示“待确认”,而不是猜测姓名。发送到项目系统前,还应有明确的统一确认步骤。这里描述的是设计检查点,不代表某个产品已经上线或产生业务结果。
六、把质量、成本和延迟放在一张决策表里
模型效果不是唯一变量。为候选方案记录:
| 维度 | 定义示例 | 决策问题 |
|---|---|---|
| 任务质量 | 严格通过率、严重失败率 | 是否达到最小可用标准? |
| 延迟 | P50、P95 端到端时间 | 用户愿意等多久? |
| 成本 | 每次成功任务的总成本 | 规模扩大后是否可持续? |
| 稳定性 | 超时率、格式失败率 | 是否需要重试或回退? |
| 人工成本 | 审核与纠错时长 | AI 是否真的节省总成本? |
阈值应来自具体场景,而不是复制行业数字。实时输入建议和异步报告生成对延迟的容忍度不同;高风险场景也可能主动接受更多人工审核。
七、设计上线实验,而不是只做离线 Demo
若项目可以测试,先做小范围、可撤回的实验:
- 明确纳入和排除的用户;
- 记录当前流程作为基线;
- 设定一个主要行为指标;
- 设置质量、安全、投诉和成本护栏;
- 预先写明继续、调整或停止的判断规则;
- 保留人工兜底和关闭开关;
- 分析分群效果,不只看总体均值。
例如会议待办助手的主要指标可以是“经用户确认并保存的有效待办占生成待办的比例”,而不是生成次数。护栏可以包括严重事实错误、删除率、人工修正时长和敏感信息暴露事件。
八、先用作品集评分表做一次证据自检
给每个维度打 0、1、2 分:0 分表示缺失,1 分表示只有叙述或截图,2 分表示有可复核的材料。总分只用于比较你自己的不同版本;不要把它包装成招聘通过线。
| 评分维度 | 0 分 | 1 分 | 2 分应具备的证据 |
|---|---|---|---|
| 问题与用户 | 只有宏大方向 | 描述了痛点 | 有具体任务、用户、触发场景和问题依据 |
| AI 必要性与基线 | 默认使用大模型 | 只比较模型 | 与人工、规则、搜索或模板基线进行比较 |
| 个人贡献 | 看不出你做了什么 | 只列职责名称 | 决策、交付物、协作边界和工具辅助范围清楚 |
| 评测设计 | 用主观感受判断 | 有零散测试 | 有版本化样本、切片、rubric 和严重失败定义 |
| 失败与安全 | 只展示最佳输出 | 提到少量坏案例 | 失败分类、权限边界、人工兜底和停止条件完整 |
| 原型控制权 | 只有理想流程 | 能修改结果 | 同时支持来源、编辑、拒绝、确认、回退和报错 |
| 上线判断 | 直接声称可上线 | 只报离线分数 | 同时讨论质量、延迟、成本、护栏与验证方案 |
| 证据诚信 | 经历或结果无法核验 | 项目状态含糊 | 练习/实习/上线状态、数据来源和限制明确 |
评分后先补“0 分维度”,不要先美化封面。若评测设计是 0 分,增加动画并不会让案例更可信;若项目没有真实上线数据,就把离线证据、验证计划和限制写清,不要补造转化率。没有实习或线上数据时,可参考没有实习、没有上线数据的 AI 产品经理作品集写法。
九、推荐的作品集页面顺序
一个紧凑案例可以按 10 个部分组织:
- 一页摘要:问题、用户、你的贡献和项目状态;
- 当前流程与证据;
- 为什么使用 AI,以及非 AI 基线;
- 任务边界与系统流程;
- 数据与评测集设计;
- 评测结果和失败分类;
- 交互原型与人工控制;
- 延迟、成本与工程取舍;
- 上线实验、护栏和回退;
- 限制、伦理风险与下一步。
页数可以增减,但每个关键结论都应能追溯到证据。明确写出你负责了什么、哪些部分由工具生成、项目是练习还是已上线。
十、PDF 还是网页:按交付场景选择
PDF 和网页没有绝对优劣,关键是让阅读路径稳定、证据可访问,并为失效链接准备替代方案。
| 形式 | 更适合 | 优点 | 需要规避的问题 |
|---|---|---|---|
| 网申附件、邮件发送、离线面试 | 版式固定、便于快速浏览、版本明确 | 文件过大、链接失效、动效或交互无法展示 | |
| 网页 | 展示可交互原型、评测明细、持续更新 | 可分层阅读、能承载视频和可操作 Demo | 访问速度、移动端、权限、域名或部署失效 |
| PDF + 网页 | 需要同时兼顾筛选和深挖 | PDF 给主线,网页承载细节和附件 | 两个版本内容冲突、更新不同步 |
更稳妥的组合是:用一份简洁 PDF 固定“问题—判断—证据—限制”的主线,把确有必要的原型、评测明细或演示放在网页。PDF 中应写明项目状态和更新时间;网页打不开时,PDF 仍要能独立说明你的核心决策。
无论采用哪种形式,都应删除密钥、客户原文、内部链接、个人联系方式和未经授权的公司材料。不能公开的证据可以概括方法和你的贡献,但不要用模糊截图暗示并不存在的结果。
十一、面试讲解:从页面目录变成决策故事
不要逐页朗读。先准备一个三分钟版本,再准备可被追问的深挖版本。三分钟讲解可以按以下顺序组织:
- 任务与用户:谁在什么场景下遇到什么问题;
- 依据与基线:你如何确认问题,以及不用 AI 时怎样完成;
- 核心取舍:为什么选择当前方案,哪些部分没有交给 AI;
- 评测与失败:如何构建样本、定义严重失败、发现什么限制;
- 结论与下一步:当前证据支持什么、不支持什么,下一轮验证什么。
深挖时要能回答五类追问:
- 为什么一定要用 AI,规则或搜索为什么不够;
- 你本人做了哪些判断,哪些内容由模型或其他工具辅助;
- 评测样本从哪里来,为什么覆盖这些切片;
- 最严重的失败是什么,产品如何发现、阻断和恢复;
- 如果延迟、成本或质量不达标,你会缩小范围、回退还是停止。
可以把作品集里的任务卡、评测表和决策表各准备一份放大版,面试时直接定位证据。遇到没有验证过的问题,应说明假设和验证方法,而不是临场编造数据。
十二、提交前自查
- 问题具体,且有非 AI 基线
- 评测集覆盖常见、边界和高风险输入
- 合成数据、公开数据和用户数据来源清晰
- 结果按切片和失败类型展示,不只报平均分
- 原型包含来源、编辑、拒绝、确认和回退
- 质量、延迟、成本与人工审核同时被评估
- 上线规则包含护栏、停止条件和负责人
- 没有虚构用户量、业务结果或任职经历
- 评分表中的每个 2 分都有可复核材料
- PDF 在脱离网页后仍能讲清核心决策
- 网页链接、移动端和访问权限已经检查
- 能用三分钟讲清项目,并回答五类关键追问
如果还不确定自己最需要补哪一项,先完成AI 产品经理作品集 12 项免费自检,按低分项安排修改。准备 2027 届校招时,再用2027 届 AI 产品经理秋招准备清单把作品集证据映射到 JD 和投递节奏。已经有一版材料、希望获得逐项反馈时,可以查看作品集 / 简历异步批改。