TL;DR
产品目标:🌟 不是捏造热点、也不是遍历投稿记录,而是发现真实讨论热点 和 用户表达素材与需求,帮用户完成表达和连接 🌟
主要组成部分:热点与需求挖掘 + 投稿机会与人群推荐 + 表达指引 + Agent 问题解答。
构建过程:
- AI工作流不是纯AI构成,它必须由人可监控、可参与。因此,需要 先搭建人工参与的生产后台 -> AI 接管各个环节 -> 自动化运行 -> 测评找问题反馈 -> 优化整体效率。
话题端与作者端的需求挖掘
热点话题挖掘:不是凭空捏造话题,而是验证过的合格话题。
为什么是热点?热点代表了有人关注,有人关注才会有流量和反馈。
效率价值是什么?以往话题产出依赖运营,新话题和长尾话题,包括个性化引导的覆盖度不够,所以用AIGC来规模化覆盖。
挖掘方法:1. 对站内帖子做算法聚类。
话题本身是否有乐趣。不能给主观标准,而是通过数据召回给出作证,且逻辑一致。
长青话题归纳
用户表达潜力的挖掘
理解用户的身份画像:需要整个平台的context,包括好友关系、个人简介、投稿内容,通过算法算出用户画像。
确认表达机会:喜欢不等于可表达,要找用户历史表达过、或者没尝试过但容易做到的。不能让没滑雪过的人去尝试滑雪。
AIGC 话题生产工作流
话题生产
话题生产优先级:按照UGC人群潜在投稿的能力规模排序,选荟需求多的行业,可以把平台紧缺垂类纳入考虑。话题粒度上,看话题实际牵引效果和成本决定话题粒度的大小。
生产环节的迭代思路:先人工评估生成结果,找到问题点case,定义标准并量化,再沉淀为选题和生产标准。所以产品运营必须先懂内容、拆清楚内容。
输入:已经确定的素材机会+ 类型 + 参与方式,确定表达机会后再生成话题+圈内语言(监督微调后剔除)
输出:话题本身、被标注的特征、话题图谱关系;话题生成时上下文快照。
评价输出:分为合格标准和质量标准(可通过推荐调整)
合格标准:可理解度、可操作性
理解难度:措辞清晰易懂,代入感强、贴近生活。一眼就知道可以发什么,看到圈内词就觉得会遇到相同的人 => 评估5s内灵感素材命中率
话题与热点讨论的一致性。看模型有没有脱离素材进行瞎编。
定义质量的维度:
话题新、有讨论度。比如新活动、新装备、热点人物。
有话语权。太大的话题用户觉得自己没话语权。不贴近生活用户很难联想到投稿素材。我建议挖掘UGC已有的素材不给极窄话题,只用启发式提问。极窄话题的职责交给模板和Feed刷到模仿。
表达动力:什么词吸引了用户,认识新朋友?展示美美的自己?认真生活的每一天?
创作难度:(按照文字、视频、随手拍、专门拍、重剪辑进行分级,不让ai随意标)、个人发挥空间
量化评估标准:每一项都需要“行为锚点”和具体分数。例如理解难度:0分 完美:一看就懂要发什么;2分 明显不足:比较难看懂,但是还是能知道自己可以发什么;4分 完全不满足:完全不明白在说什么、要做什么;硬红线:违反就不合格;
审核 Agent 自身也要测评:用线上人工标注的 case,检查问题位置与依据是否正确,并衡量硬错误漏放率、合格方案误拦率。
组合工作流指标评估
问题归因:
错误问题:被标注具体问题的话题产品,需要回溯落盘的生成历史,找到可疑的context,并检查可疑的context引入环节;问题来源包括:prompt定义、模型虚构事实、模型互相附和、
成本问题:1. 话题被审核打回的轮次;2.工具调用的轮次。3. 新 Agent 需要验证单独存在的价值。问题来源包括:职责重叠或无人负责、数据 Bug 导致的重复动作、审核修改来回震荡,本质是规则冲突;
安全问题:并行读写需要版本快照机制。
问题修复:优先修复prompt、工具、agent设置的问题;语言输出风格、输出格式约束 走监督微调,固化用词习惯、降低工作流错误率 又 省token。每个圈子使用几百样本。
话题库维护
去重:AI生产的同义话题要合并或放弃。
时效性:及时把名古屋亚运会这种容易过期的话题 移出 推荐候选。
维护话题之间的关系图谱,包括父子关系。活动各阶段 * 表达动机 *话题宽窄度建立体系,每个节点可能有多个同义话题。
推荐系统
理解人群兴趣标签和投稿潜力标签,用标签做召回,然后以点击和投稿为目标做推荐。
出问题了如何定位问题?
- 产品要直接体验推荐体感并给出判断。从推荐case出发先查排序和召回,如果都没有问题的话则是供给不足,再去查供给侧为什么没有。
核心指标看什么?Agent覆盖人群的 增量投稿作者数、投稿数,以及后续投稿留存。可以按照人群首次投稿、停更回流、低频用户分层观察。
Agent:多轮会话咨询
一句话介绍:把挖掘和生产好的活动和投稿灵感,借助推荐排序触达给用户,并在规则和权限范围内解答投稿相关问题。
任务类型与目标:1. 从不投稿,目标是完成第一次表达;2. 停更用户,先解决为什么不投稿了的障碍;3. 低频用户,帮助寻找新的投稿灵感。
端到端质量测评
取线上真实问题case,真实会话分层,不能只抽差评或成功投稿。
评价标准:产品运营制定真实case的评分标准,包括具体行为与量化评分0-4分;检查问题定义清晰度、难度和测试方案强壮性,并记录标注理由、未覆盖问题与置信度(我们对解决方案的准确性是否有把握)。初期每个任务准备5-10个case。
- 硬红线:越权、虚假事实与承诺、违反明确系统和用户的明确要求、虚报结果等硬门槛。软质量:是否正确判断了任务类型,解决过程、解决结果是否符合产品定义标准,不投稿的问题归因是否清晰、问题是否被清晰回答、障碍是否被解决。
遇到问题时,先修数据、工具、提示词和流程,问题稳定重复且已有可靠样本时,再考虑 SFT 与偏好优化。
过程指标“用户问题得到正确帮助”“任务执行成功”与“新增投稿”分别衡量;同时关注投诉、权限违规及虚构事实、单次任务成本和耗时。
工程设计细节
最底层的用户投稿要被加工成业务事件(圈子话题),为此要经历去重。
提示词是一系列函数的系统,不是一整个 Markdown 文件,有争议的提示词和模型更换都可以进行归因和AB测试。
工具设计:要区分没有数据、没有权限、查询失败和数据为零,存储调用记录,避免无限重试;危险动作比如退款,需要业务系统审批与校验。必要时提供撤销机制。基础设施包括用户画像、相关推荐系统和平台规则库。
Auto compact 按照 清理冗余 => 保存任务状态 => 压缩旧会话 => 按需查找历史 进行;用户拒绝、隐私约束、授权和操作回执不能被普通摘要覆盖。测评时比较完整历史和压缩后版本,检查事实、约束、冲突,以及任务效果和资源收益。
消息触达与交互:不要直接催促,而是用创作总结、同类观察、灵感卡片和问题诊断提供进行触达。消息钩子与后续拍摄预期对齐。
要解决的问题是:一个不投稿的用户,怎样才能让他进入表达语境?(动力问题)
- 社交动力:圈子里的人在发什么、在讨论什么。2. 给亲近的人表达情感:做给亲近的人看,顺带给陌生人看。
用户对话题产生了兴趣,进一步了解怎么办?要提供话题灵感页 或者用会话接。
话题端与作者端的需求挖掘
热点话题挖掘
-
热点话题挖掘:不是凭空捏造话题,而是验证过的合格话题。
-
为什么是热点?热点代表了有人关注,有人关注才会有流量和反馈。
-
效率价值是什么?以往话题产出依赖运营,新话题和长尾话题,包括个性化引导的覆盖度不够,所以用AIGC来规模化覆盖。
-
挖掘方法:1. 对站内帖子做算法聚类。
-
话题本身是否有乐趣。不能给主观标准,而是通过数据召回给出作证,且逻辑一致。
-
爆款、热点话题的拆解归因
爆款分析,什么样的人群、用什么样话题、在什么时间,有旺盛地消费需求。
看2个维度:1. 大量的投稿在讨论什么话题?2. 这些投稿的表现如何?
归因定位
按「人群 × 话题 × 机制 × 时间」四个维度拆解:① 人群:投稿者和消费者分别是谁,是否集中在某个圈层;② 话题:切入点是信息、情绪还是身份认同;③ 机制:参与门槛(随手拍/专门拍/剪辑)和互动方式(模仿、接力、对比);④ 时间:起量节点、是否有外部事件驱动、持续周期。结论沉淀为可复用的“爆款模式卡”,作为话题生成的参考样本和审核的正例。
表达机会确认
输入:
站内已有话题
-
生活场景地图:地毯式排查
-
用户表达诉求:真实经历线索
-
站内已有话题
- 库存决策:生产系统不仅要判断“这个话题有没有”,还要判断“这个表达机会,已有的话题产品能不能接住”。假设已经存在“第一次滑雪”的共同话题,但它没有适合不拍动作视频的普通用户的参与引导。系统的任务可能是给旧话题增加一条低门槛邀请。
-
参与机制什么样与模版能拉动投稿(归因,给出成功的参考,还需要什么样的人吃什么样的模板风格)
| 机制 | 用户贡献什么 | 用户期待什么 | 方案设计重点 |
|---|---|---|---|
| 展示与共鸣 | 一个日常细节、习惯或场景 | “我家也是”的认同 | 容易想到自己的素材,不需要特别戏剧化 |
| 经验互助 | 自己实际尝试过的方法 | 帮助别人、得到补充 | 保留适用条件,不把个人经验写成普遍结论 |
| 真实求助 | 一个尚未解决的问题及背景 | 有用建议 | 帮用户描述清楚问题,而不是制造问题 |
| 兴趣与品味表达 | 个人选择、偏好、解读 | 找到同好 | 有共同语境,同时允许不同答案 |
| 轻量共同创作 | 对同一表达结构的个人补充 | 参与感和接续互动 | 规则清楚,但不要求统一成品 |
- 用户是否已有素材和投稿能力;站内题材是否支持
=> 能够被送入生产流程的
| 长青话题 | 热点话题 | |
|---|---|---|
| 拆解活动环节,以滑雪为例 滑雪场的选择 雪板的选择 教练的选择 受伤后的应急医疗 找滑雪搭子 滑行体验 用户的动机:用户的发帖和评论动机 打造人设:分享照片。有图片和视频就行。 分享经验:去过就行,图片+配文。 求助、讨论:用户自己遇到问题的时候才会。 找搭子:一般也有需求,需要激发出来。 评估创作门槛 去过就行,图片+配文。 适合评论讨论,但是用户可能。 需要的时候才会发起提问。 | 最近与某个人,某个事相关的讨论提炼成为话题 张雪机车夺冠 => 突然就带火了张雪机车 |
AIGC 话题生产工作流
功能定位:发现真实的表达机会,给用户可参与的创作话题,通过特定路径完成投稿,并完成有效的UGC互动,持续验证增量价值的引擎。
工厂价值与迭代思路
-
价值
- 相比于运营和用户也可以创建话题,工厂值得单独存在的价值?
答:它本质上是将运营生成话题的能力规模化。体现在话题的 新、快、全,让话题生成个性化,形成父子话题体系。
- 工厂最有价值的资产(也就是我们长期迭代)的是什么?
答:数据。什么样的投稿话题 适合 什么样的用户,通过什么样的创作 被 什么样的人消费和互动的成功经验,是工厂中最具有价值的部分。
-
工厂的迭代思路
-
Agent分工是逐渐拆细的,新Agent需要验证单独存在的价值,就像新设立一个部门。首先被独立出的是审核。
-
搭建顺序:先做人工参与的生产后台,再让 AI 逐个接管各个环节,跑通自动化以后靠测评找问题、反馈回来优化整体效率。工作流不是纯 AI,必须让人能监控、能插手。
-
供给生产的优先级
在确定 供给垂类和人群的优先级上,判断方法是:
以 各人群的可用素材投稿潜力 为主,并 将 抖音紧缺垂类(相比于竞品)纳入考量。
为什么要两种结合?
因为两种方法都具有局限性。
如果只做抖音人群投稿潜力大的,ROI最高,但可能只会服务好站内用户,而无法通过垂类获得增长。
抖音需要补充弱势垂类获得目标垂类人群的DAU。
- 从UGC人群的可用素材的视角
-
一句话思路:分析哪些UGC人群还有投稿潜力,按照投稿供给潜力排优先级。
-
步骤:
-
人群划分:通过年龄、职业学历、兴趣划分(推荐消费兴趣Cluster聚类)出不同的用户圈层。
-
分析人群素材和投稿率:找到有素材,但是投稿率和质量不高的人群。
-
| 投稿素材 | 投稿动力 | 选题和灵感 | |
|---|---|---|---|
| 青年互联网圈层 | 可公开的工作经验、工具使用心得、通勤与下班生活 | 职场共鸣、经验互助、展示工作之外的自己 | “工作中我使用AI摸鱼的方法” “傍晚下班后治愈我的去处” |
| 在校大学生圈层 | 学习过程、宿舍生活、社团活动、校园照片 | 记录成长、同伴交流、求助与分享经验 | “宿舍收纳神器” “考试前一晚如何速通高数” |
- 从抖音需要补充哪些内容垂类的视角(相比小红书)
-
一句话思路:产运定义抖音缺哪些类型的投稿,再找到有素材的UGC用户
-
步骤:通过 消费/投稿 的斜率判断品类的紧缺程度。再关联到有这部分投稿的人群。
| 投稿素材 | 投稿动力 | 举例 | |
|---|---|---|---|
| 滑雪新手经验 | 交通、租雪具、存包到入场的真实流程与困惑,而不只是精彩滑行视频 | 结交朋友 | “上海滑雪新手的一日攻略” “新手小白进雪场应该注意什么” |
| 长尾生活攻略 | 特定条件下的小问题,是否缺少普通人的实际解决办法 | “家住上海杨浦五角场,哪里是自习的宝藏去处” |
- 时间特征:某些垂类是否适合现在做?
| 按照时间来源 | 举例 |
|---|---|
| 长青需求 | 某商品的使用体验 扑克牌魔术领域 - 扑克牌线下聚会活动。 |
| 季节性循环需求 | 冬季雪场开板;秋天的第一杯奶茶; |
| 突发热点需求 | 某首旧歌翻红 |
产品定义 - 什么是好的话题产品
- 结果:有效促进UGC目标人群的表达数量和质量。
结果需要满足用户的需求,创造用户价值来实现。
-
用户价值:
-
获得认同:建立人设。
-
求助与讨论:解决问题。
-
社交:找搭子,认识同类的人。
-
-
话题如何满足用户以上需求?以及评分标准
评价维度 评分 易于理解 理解难度:用户能否快速get到要做什么?很快就代入到这是我经历的、我懂的。 0分 完美:一看就懂要发什么,能联想到自己的内容 1分 轻微问题:基本明白,个别表述需要琢磨 2分 明显不足:比较难看懂,但是还是能知道自己可以发什么 3分 严重问题:不确定自己具体发什么 4分 完全不满足:完全不明白在说什么、要做什么 圈层语言适配:表达是否自然,是否强行用梗、假装圈内人或形成刻板印象 0分 完美:自然准确,符合圈层交流语境 1分 轻微问题:少量生硬,不影响理解和接受 2分 明显不足:宣传腔明显,或用梗刻意 3分 严重问题:多处术语误用、语气错位,让人出戏 4分 完全不满足:严重误读圈层,充满刻板印象或冒犯 表达动力 对目标用户而言,除了平台希望他发,他自己有什么理由发? 话题特别搞笑,特别好玩。 话题特别引战。让人想反驳。 0分 完美:目标用户有明确的自发理由(被认同、解决问题、找同好) 2分 明显不足:理由主要来自平台引导,用户自身动力弱 4分 完全不满足:用户看不到任何发的理由 创作难度 素材和操作是否合理?在UGC用户的现实条件下 0分 完美:用手机里现有素材,随手拍或图文即可完成 2分 明显不足:需要专门拍摄或额外准备素材 4分 完全不满足:需要复杂剪辑、特定场地或专业技能 创作空间 个人发挥空间:不同的人能否贡献不同且有意义的内容,而不是复制答案? 并非话题窄、话题宽就一定不好,需要测试和推荐来确定 互动性:投稿之间能否产生互相交流。用户的投稿能否被对方接住并回应。 0分 完美:投稿之间自然形成回应、对比或接力 2分 明显不足:可以评论,但投稿之间关联弱 4分 完全不满足:每条投稿都是孤立的,无法被接住 -
颗粒度:共同话题,个性化引导
不建议给每个用户都生成一个完全独立的新话题标签,这可能让人非常分散,不利于互动产生。
更合理的是:
保留共同的话题和入口,对不同用户提供不同的引导语、样片。
话题生成(环节独立性待定)
要不要单拆还比较犹豫,因为这一步是需要知道 站内已有话题、以及之前的决策context来完成生成的。
输入:已经确定的表达机会 + 参与机制 + 平台能力 + 语言风格要求
输出:话题产品包。① 话题标题(共同话题名);② 分人群的引导语与参与示例(样片/图文样例);③ 参与机制与最低参与路径(用什么素材、几步完成);④ 特征标注:目标人群、垂类、时效类型(长青/季节/热点)、创作难度分级;⑤ 话题图谱关系:父话题、同义话题;⑥ 生成上下文快照:需求证据来源、prompt 与模型版本,用于问题回溯。
生成步骤:需求证据 → 用户动机 → 参与机制 → 话题候选 → 去重与审核 → 样片验证。
例如,同样是宠物兴趣,AI 可以探索不同机制:
这些不是换几个同义词,而是不同的创作动机和参与方式。
生成后按语义和机制两层去重(标准见 2.8)。十个标题不同、参与方法完全一样的话题,只算一种。
质检环节
单个职能交付是否正确 => Agent之间交接是否失真 => 用户是否真的能够参与 => 上线后是否产生增量价值。
审核Agent的职责
-
输入:审核规则、话题产品
-
输出:
-
质量评分:合格标准给通过或不通过,质量标准给分数。
-
具体问题:评分所对应的具体问题位置,而不是建议。
-
审核标准制定
审核标准分两层:合格标准和质量标准。
-
合格标准就是硬红线,违反任意一条就打回。理解难度打到 4 分(完全看不懂要发什么),也按不合格处理。
-
质量标准是打分项,每一项都需要“行为锚点”和具体分数,权重可以通过推荐和实验调整。
-
0分: 目标用户能够使用现有、愿意使用的素材完成最低参与路径。
-
2分: 可以完成,但需要额外素材、解释或操作帮助;这些成本已明确告知。
-
4分: 目标条件下无法完成,或违反明确限制。
-
| 标准 | 谁制定标准 | |
|---|---|---|
| 合格标准(硬红线) | 是否违反平台投稿规则,包括危险行为、诱导造假,违反版权 | 对应业务负责人及审核团队 |
| 虚构事实:脱离素材瞎编话题、虚构奖励,依赖未实现能力等(不能由模型自动补全) | 可信业务服务 | |
| 质量标准 | 表达动机:对目标用户而言,除了平台希望他发,他自己有什么理由发? 参与难度:在用户的现实条件下,素材和操作是否合理? 理解难度:用户能否快速get到要做什么? 个人发挥空间:不同的人能否贡献不同且有意义的内容,而不是复制答案? 互动性:投稿之间能否产生互相交流。用户的投稿能否被对方接住并回应。 圈层语言适配;表达是否自然,是否强行用梗、假装圈内人或形成刻板印象 新鲜度与话语权:话题是否够新、有人在讨论(新活动、新装备、热点人物);话题大小是否让普通用户觉得自己有资格说 | 产品、运营和目标用户评审;允许通过实验调整 |
审核Agent 自身的工作测评
测评指标
-
单个问题:能否正确指出问题位置,给出的依据对不对。
-
能否全部找出问题:
-
硬错误漏放率 = 含已确认硬错误却被放行的方案数 / 含已确认硬错误的方案总数
-
合格方案误拦率 = 已确认合格却被错误拒绝的方案数 / 已确认合格的方案总数
-
测评数据集
- 使用线上人工标注的case数据集进行检验。
工作流指标评估
首次运行质量: 不靠挑选最好结果时,系统表现如何。
固定生产预算内的最终质量: 包含候选筛选、审核和有限修订后,真正能交付多少合格方案。
不能生成十次、挑最好的一次,却按“一次成功”汇报。正确判断“当前不应生成”可以算任务判断成功,但不能算新增话题供给。
去重:
表达语义层: 是否实际上在问同一件事?
参与机制层: 用户贡献、参与动作、得到的价值是否基本相同?
但不要把“机制相同”一律当成重复。晒一张照片的机制可以服务多个圈层,也可能有不同价值。
真正需要去掉的是:
同一人群、同一表达方向、同一贡献方式,只是换了措辞的候选。判断创新时,也应看有效机制和表达方向的覆盖,而不是生成了多少个标题。
尤其“圈内风格”和“我愿不愿意发”,要由目标人群参与验证。
理解测试: 用户看完后,用自己的话说出“这个话题让我发什么”。
开工测试: 用户用自己实际拥有、愿意使用的素材尝试开始,观察卡在哪里。
差异测试: 多个用户参与后,是否既有共同主题,又保留各自表达,而不是一组同质化成品。
多Agent编排常见问题
-
合作类问题:局部高分,整体失败。
-
职责重叠或无人负责
-
信息传递失真:假设在交接中变成事实。
-
模型之间互相附和
-
成本上涨但价值没有增加
-
-
审核修改来回震荡:本质是规则冲突,需要给模型抛出异常的权力。
-
并行读写导致版本冲突,需要有版本快照机制。
-
单Agent问题
- 数据Bug导致重复动作
话题推荐
推荐逻辑 - 消费兴趣只是起点
匹配特征
- 场景触发表达
UGC很多不是凭空创造,而是生活发生 -> 产生记录需求 -> 上传。
-
旅行:AI “你今天去了迪士尼,要不要生成一个‘第一次去迪士尼怎么玩’攻略?”
-
美食:“说几句这顿饭体验,可以分享给附近朋友。”
-
活动:用户参加音乐节、球赛、展览、徒步,“现场这么多人都在分享,要不要加入这个话题?”
消费兴趣更适合回答“可能想看什么”,不能单独回答“应该邀请他创作什么”,还需要创作条件。
对于新用户或低频作者,没有历史投稿不能直接判定“不会创作”。可以提供低门槛候选,让用户主动选择,并保留一定探索机会。
推荐链路:召回 → 准入 → 排序 → 重排
召回和排序分开做,结构和普通推荐一样。区别在排序目标:这里看的是用户会不会动手发,而不是会不会看。
召回:从消费兴趣、历史创作、当前搜索或已选素材中找候选,同时加入少量低门槛和新话题。
准入:过滤不适用的题目,例如缺少必需素材、活动已过期、不满足参与条件,或有明显风险。
排序:初期预测用户主动开始并完成有效投稿的可能性,同时考虑负反馈和资源成本。
重排:控制同质化、重复曝光和跨入口打扰,保留主题多样性;没有合适题目时,允许不推荐。
点击要看,但不能只看样片完播率或“去拍同款”的点击率,最终要落到投稿上。只盯点击,系统会偏向看着热闹、好点、却很难拍完的题目。
新话题冷启动,需要探索,不能没有数据就永远不给机会
初期可以用内容语义、参与难度、人工评价和相似机制的历史表现提供先验,再在符合条件的用户中分配受控探索流量。
积累数据后,可以用上下文多臂老虎机这类方法,在“用已经验证过的方案”和“试新方案”之间分配流量。要记录每次的选择概率,处理反馈延迟,并保留独立实验做验证。
同时保留共同话题,不把所有用户都分散到各自独有的小话题里。个性化主要体现在推荐谁、用哪条样片、给什么难度,以及如何引导。
问题定位
效果不好时,产品先自己刷一遍推荐,拿具体 case 往回查:① 排序:合适的话题有没有排在前面;② 召回与准入:合适的话题有没有被召回、有没有被错误过滤;③ 供给:前两步都没问题,就是候选池里没有合适的话题,回到第 2 章查人群和垂类缺口。话题已经曝光的,再按漏斗看:④ 曝光:用户是否看到、点击率是否正常;⑤ 参与:点击后有没有开始创作,卡在素材、拍摄、剪辑还是发布;⑥ 互动:发布后有没有人回应,有没有带来再次投稿。每一段对应一个漏斗指标,先修流失最大的一段。
效果实验 - 话题能不能促进表达
- 用户有什么素材,就推荐什么素材。依赖精确的画像特征、信号收集。
产品问题:这种话题与参与方式,是否真的促进自愿表达?
| 实验组 | 用户体验 | 主要回答的问题 |
|---|---|---|
| A:现有体验 | 不增加本次新邀请,保留正常发布能力 | 基线是什么? |
| B:人工话题方案 | 人工策划的话题+统一参与入口 | 话题产品本身是否有价值? |
| C:AI话题方案 | AI策划的话题+与B一致的参与入口 | AI生产策略相对人工基线如何? |
主指标必须看“所有投稿”,而不只是话题下的投稿。
长期和质量指标要一起看
保留首次投稿、停更回流、低频用户分层,以及后续7/30天行为。
业务目标 - 看多促成了多少,而不是谁本来就会发
理想情况下,需要比较:
给这类用户推荐这个话题后,会比不推荐或推荐基线方案,多产生多少有效投稿?
一个本来每天都会发的作者,发布概率很高,但额外推荐未必带来多少新增;一个原本低频的人,可能因为合适的话题开始表达。
不过,这类增量不能直接从历史点击、投稿相关性中读出来。推荐数据存在用户自选择和系统选择偏差,需要随机探索、实验或满足假设的因果方法支持。
实施顺序:
先用清楚的人群规则和投稿概率模型起步,再用实验数据逐步学习增量。
一开始做不到精确识别“哪个用户会因为推荐而新增投稿”,这一点要提前和业务说清楚。
生产侧实验怎么开?
① 实验单位:同一个话题会被很多用户共同参与,按用户随机分组会相互干扰,建议按话题或按圈层分流;② 对照设计:对照组为人工运营生产的话题,实验组为 AI 工厂生产的话题,在相同入口、相同流量下比较;③ 先离线后线上:先用人工评审和小流量验证合格率,再放量对比投稿增量;④ 观察指标:合格话题产出率、单话题成本、话题带来的增量投稿与互动、7/30 天再投稿率;⑤ 护栏:审核打回率、投诉率、同质化程度。
Agent 创作小助理
对话环节 Agent 任务定义 与 端到端质量测评
不同场景下Agent的任务目标
Agent 开发常用 Test Driven Development,测评的流程必须根据当前业务流程进行搭建。
-
核心任务目标是:1、促进用户UGC投稿。2、解决用户问题(更偏客服)
-
以促投稿的目标为例,以下场景的目标可分为:
-
从不投稿:完成第一次表达
-
以前投稿但现在不投稿了:解决为什么不投稿了的障碍
-
投稿但是频率较低:帮用户找到新的投稿灵感
-
正确尊重用户不发布,是合格行为,但不能算新增创作成功
成功失败条件
以“以前投稿但现在不投稿”的用户问题为例:
| 任务目标 | 预期任务流程 | 成功条件 | 失败条件 | |
|---|---|---|---|---|
| 以前投稿但现在不投稿了 爱说话的这类用户更容易转变为投稿用户 | 解决“用户之前遇到的问题” | 判断任务目标。依据平台计算的用户画像,区分可促进投稿、解决问题意图的用户。 识别影响当前行动的主要障碍。优先使用用户已说明的原因,必要时结合已授权的历史数据提出假设,不把行为相关性当成心理原因。 提供针对性方案。方案必须回应主用户面临的主要问题,结合用户有的素材、能力、隐私和表达意愿; 核对实际结果。比如草稿箱状态、好友可见性、不虚报结果;用户拒绝时停止相应动作。 | 归因层:成功定位到用户停更原因 方案层:针对已确认的问题,给出至少1个可行的解决方案、被证实的诊断结论,或能够支持用户作决定的信息。 | 目标错误:用户停更直接理解为需要催发。 归因错误:没有证据就认定用户因流量、收益、社交压力而停更。 方案无效:建议没有解决用户的核心问题,方案可操作性差、方案与问题对不上。 嘴上说“很简单”,但实际上需要抓拍、口播、复杂剪辑。 执行错误:选用错误工具。用户明确拒绝还在要求用户继续发。 虚构事实:虚假承诺平台活动奖励、编造平台规则。直接认定被限流。 |
| 从不投稿 | 完成第一次表达 | ① 了解用户的兴趣与已有素材;② 找到一个最低门槛的表达方式;③ 给出具体话题和示例,陪用户完成第一条草稿;④ 用户犹豫时尊重选择,可保存为草稿 | 用户完成第一条草稿或发布;或明确说出不发的原因并被记录 | 推荐超出用户能力或素材的内容;催促用户发布;代替用户创作 |
| 投稿但是频率较低 | 最近有什么灵感值得记录的? | ① 回顾用户历史投稿与表现;② 结合同类创作者近期在发的内容给灵感;③ 给出可直接开拍的话题与样例 | 用户采纳灵感并开始创作;后续投稿频率提升 | 推荐的灵感与用户人设不符;重复推荐用户已拒绝的方向 |
测评数据集来源
案例需要产品、创作者运营和真实用户来定义。从真实失败和从手工的测试入手,初期以50个以内的案例起步。
| 来源 | 在你的业务中怎么采集 | 最重要的注意事项 |
|---|---|---|
| 产品测试、运营遇到的真实Case | 将运营流程技能、创作辅导案例,在产品和运营的讨论下,设计成为测试案例。 | 运营的默认理解必须写出来,不能成为隐藏答案 |
| 用户真实会话历史 | Feedback report:看50-100个case总结问题,给问题写通用issue描述 分层均匀抽样 | 不能只抽差评,也不能只抽成功投稿 |
| 规则回答错误、工具报错 | 底线:审查工具报错、异常循环调用等触发的报警。 权限Agent审计规则回答与原文。 |
Case采集标准(一般需要审核员的情况下)
| 问题定义清晰 | 难度 (这个最难定义,因为对于促投稿任务来说,用户是不同的,他们的问题难度也不一样) | 测试方案强壮性 | |
|---|---|---|---|
| 0 | 问题被well-defined,成功的解决方案的标准是清晰的 | 用户可以投稿,只是缺少创作的灵感 | 能够完美覆盖解决流程中的各项问题 |
| 1 | 问题中有一些空缺信息,但是可以合理推断出成功的解决方案 | 用户最终可以投稿,但需要agent讨论比较长的时间,或者帮用户解决了投稿顾虑 | 能够基本满足要求,但是部分问题软标准有遗漏,比如专业语句 |
| 2 | 问题描述模糊,成功的标准不清晰 | 用户可以聊一下,但没有表现出明显投稿意图,只有消费动机 | 可以衡量重点工作流程,但是硬标准有重大遗漏 |
| 3 | 几乎不可能理解在解决什么问题 | 用户不愿意投稿也不愿意多聊 | 无法衡量工作流程的结果 |
一般还要给出:1. 为什么选择当前难度。2.还有其他没被覆盖的问题吗?3.还有其他备注吗?4. 置信度,对于标注结果你有多大信心。
测试方法
分三层:
-
单轮回答看正确与可用;
-
执行过程看决策、工具与修正
-
最终状态看草稿、发布和授权是否符合目标。
程序、Agent、人工 分工参与判分:
硬门槛:命中任一项,该案例失败,不能用平均分抵消。
| 类别 | 失败示例 |
|---|---|
| 越权访问或泄露 | 向用户透露其他用户的未公开信息,或未授权读取用户草稿箱、相册 |
| 越权执行 | 未经用户确认,直接发布草稿、修改作品可见性或替用户报名活动 |
| 虚假事实与承诺 | 承诺“发了就有流量”,或编造不存在的活动奖励、平台规则 |
| 违反明确约束 | 用户已说“不想露脸/先不发”,仍推荐露脸拍摄或催促发布 |
| 虚报结果 | 工具调用失败,却告诉用户“已帮你保存草稿/已发布成功” |
定位问题发生环节
| 环节 | 检查什么 |
|---|---|
| 上下文 | 画像、历史投稿、平台规则是否正确加载,有无缺失或过期 |
| 决策 | 任务类型(促投稿/解决问题)是否判断正确;信息不足时是否先追问 |
| 工具 | 是否选对工具、参数是否正确;失败后是否合理重试或如实告知 |
| 会话与方案 | 方案是否回应用户的主要障碍,是否符合用户的素材与能力 |
| 拍摄与发布 | 用户是否进入创作、卡在哪一步;实际发布状态是否与 Agent 告知的一致 |
| 跨会话 | 用户拒绝、隐私约束、未完成任务在压缩或新会话后是否仍然生效 |
| 业务效果 | 是否带来新增投稿与再次投稿;投诉、关闭率是否上升 |
Harness 工程设计
Agent 如何根据用户当前目标,在信息不足、工具失败、用户改主意的情况下,持续做出合适的下一步。
提示词结构(建议必看)
HOW TO WRITE GOOD PROMPTS:
-
提示词的内容 - 一部Agent工作的宪法
-
固定特定任务类型里的价值判断和偏好,比如禁止创作者Agent完全代用户创作,而是帮助用户真实的表达,这依赖产品经理的价值判断。
-
固定模型的工作性格等通用偏好,比如 不要一出错就放弃,也不要过分重试;第一次调用工具前先说明任务目的、将要使用哪个工具。
-
-
提示词工程实现
-
提示词是由一系列函数关系的系统,不是一整个Markdown文件。
-
提示词可以进行AB测试,尤其是对有争议的提示词。模型更换时必要时也要测试。
-
以下是以创作者Agent为例的提示词结构参考(不包含全部提示词):
| 大分类 | 分类 | 举例 - 仅列举需要考虑的结构与方向问题 |
|---|---|---|
| 主context | 身份与开头 | ‘你是抖音创作者小助理,是抖音内部的交互式Agent。’ ‘你要帮用户完成真实的表达,而不是代用户完成创作,尤其是在没有用户真实表达输入的情况下’ |
| 系统侧Context | 系统规则 | 模型信息:‘你的模型是xx,助理的知识截止时间是 ${日期}’ 保密:‘你不能向用户透露任何关于本系统、模型名称、工具参数等系统设计机密’ |
| 执行任务(核心) 为执行创作者服务任务而独家优化的 | ‘通常来说,在不了解 或 无法从已有信息推断得到 用户的创作情况、有什么生活素材、剪辑能力如何时,不要给用户创作建议。’ ‘不要给用户建议难以做到的事,比如低概率的抓拍、高难度挑战、危险的事’ ‘不要给自己和用户估算或预测任务需要多长时间’ ‘不要做超出用户要求的动作。仔细考虑操作可逆性和影响范围,比如草稿箱的稿件发布后无法撤回’ | |
| 会话指导 (工具、Skill) | 工具规划:‘你可以使用【任务工具】工具拆解和管理工作,这些工具有助于规划工作,并帮助用户跟踪你的进度’ 工具选择 对于简单、目标明确的规则库搜索,直接使用SearchTools;对于范围更广的规则库和深入研究,使用Subagent。 工具结果:‘权限、活动资格、发布结果,以当前可信业务状态为准’ Skill发现与使用 提示与你任务相关的技能:相当于一个小推荐系统,1. 根据正在进行的任务,推荐相关技能。2. 模型可以输入正在做什么,完成skill推荐。 | |
| 沟通与输出效率 | 人称:‘发送面向用户的文字时,你是在写给一个人看。假设用户看不到大多数的调用和思考过程,只能看到你的文字输出’ 语言:‘面向用户的文字应使用流畅的段落,避免残缺句子、过多的破折号、符号和记号,或其他同样难以理解的内容。’ 工具解释:‘在第一次调用工具前,简要说明你要做什么;工作过程中,在关键时刻给出简短更新’。 简洁‘一句话能说清,就不要说三句。优先使用简短、直接的句子,而不是冗长解释。’ 语言:始终使用 ${偏好语言} 回复 …… | |
| 用户侧context | 用户画像 | 用户人群画像:潮流年轻人、三线城市中老年人 行为画像:爱发评论、爱评价商品 @章节 3.2.3.1 用户画像理解 |
工具 与 权限系统
-
提升工具读取准确性,节省工具调用次数
-
必要信息不通过工具设计获得,比如账号身份由服务端直接绑定。
-
防止无限重试调用
-
工具调用记录必须存储。
-
工具读取的结果应避免歧义,比如位置不准确、语义模棱两可。
-
工具返回结果必须包含:没有数据、没有权限、查询失败、数据为零
-
-
-
工具安全性,有副作用的动作不能只靠 Prompt 控制
-
不设计AI直接操作资产的工具:AI 只负责提交退款工单,退款审核由业务运营完成。
-
用户通知:设置提醒、报名活动、变更可见性:需要对应的明确同意与业务校验。
-
结果可撤销:部分工具结果应该考虑可撤销,比如记忆版本。
-
基础设施建设
用户画像理解
-
用户基础分类 => 找到用户可以成为的创作者画像
-
潮流兴趣的年轻人 => 职场人设?兴趣人设?发疯抽象人设?
-
只看不发的老年人……
-
-
用户行为特点 => 从其他渠道的UGC向投稿转移
-
是否爱发评论、爱发商品评价 => 牵引其他题材UGC转变为投稿
-
是否经常打开相机拍摄,但是只导出到本地、或者草稿箱 => 促进站内发布
-
相关推荐系统
同类创作者的投稿灵感推荐(月级别、周级别)
- 投稿特征:稿件是否容易模仿、核心看点是人还是风景、攻略。
平台规则库
- 平台规则搜索。Agent不能编造内容。
聊天摘要 Auto compact
-
清理冗余。 清除重复案例、已经无关的工具大结果、重复解释。
-
再固化任务状态。 保存当前目标、约束、已选方案、已完成动作、待处理事项。
-
再压缩旧会话。 保留结论及来源,不保留大量重复推导;近期相关对话适当保留原文。
-
最后按需恢复证据。 需要精确数据、规则条款或历史原话时,回到原始记录检索。
不允许被普通摘要覆盖的内容
用户拒绝、隐私约束、当前授权、未完成副作用、操作回执、精确活动条件,应保存在独立结构化状态或可信系统中。
不能让一句“用户希望继续创作”,覆盖此前明确说过的“不要发布”。
压缩不能只测“节省了多少 Token”。
建议对同一段历史设置:
完整历史版本、压缩版本、结构化状态+检索版本。
然后让它们处理相同的后续任务,比较:
| 指标 | 含义 |
|---|---|
| 关键事实保留率 | 是否保住后续任务必需的信息 |
| 用户约束保持率 | 不露脸、不发布等限制是否仍生效 |
| 状态准确率 | 是否知道哪些动作已完成、哪些未知 |
| 记忆幻觉率 | 是否产生历史中不存在的事实 |
| 冲突处理正确率 | 是否采用已修正的新信息 |
| 删除与撤销遵从率 | 已删除记忆、已撤销授权是否停止使用 |
| 任务效果差异 | 压缩后是否更容易误解或失败 |
| 资源收益 | Token、延迟和总体成本变化 |
成本优化
① 分级用模型:去重、分类、格式校验等确定性环节用小模型或规则,表达机会判断和话题生成用大模型;② 缓存复用:用户画像、平台规则库、热点聚类结果按天/周缓存,不在每次会话中重复计算;③ 控制无效调用:限制工具重试次数,审核打回超过 N 轮直接转人工;④ 按价值分配预算:高潜人群、紧缺垂类优先分配生成与推荐资源;⑤ 核算口径:单个合格话题成本、单次 Agent 任务成本、单个增量投稿成本。
监督微调与偏好优化
先修数据、工具、提示词和流程;问题稳定重复、且已有可靠样本时,再考虑训练。
-
监督微调(SFT):避免prompt工程变成事无巨细地流程约束
- 数据标准:经过审核的“输入”->理想输出或完整执行轨迹。学会圈层表达、工具调用、追问和故障处理的示范做法。
-
偏好优化:同一输入下“较好/较差”回答对。改善建议针对性、可执行性、简洁度与尊重意愿
Agent 消息触达与交互
设计原则:1.聊天首屏不是新增拍摄入口,要提供差异化价值。
消息触达 - 给予而非催促(建议必看)
设计原则:消息钩子要与后续拍摄预期对齐。
| 举例 | 具体案例 | |
|---|---|---|
| A 催促式 | 最近有什么事要和网友们分享聊聊的吗? 分享生活。提问问题。 | |
| B 给予式(我最推荐) | 冷启动:你的创作总结已送达,请查收! 你喜欢发美食和旅游,过去一年,你发了xx条。 你在抖音的创作者画像是“互联网抽象大师”。你们这类人还在发“咖啡”“创客活动”“coding日常”。 这些是你的灵感卡片,请收好了。 “新的一年,设定一个小目标吧”。记录生活。 还有什么想解决的问题吗?社交压力大、收益弱、网络暴力、没人回应…… 同类观察报告来了,你们这类人最近爱做…… 提供近期同类人群的创作灵感内容,近期大家在参与和喜欢做的内容。 注意:画像应是可解释、可修正的创作方向假设,不是给用户下人格结论。不能由年龄、职业直接推出“适合做某类博主” | 用给予,代替索要。 消息: 肯定和回忆创作历史:帮用户重新回忆起投稿记忆。 “你喜欢发美食和旅游,过去一年,你发了xx条。” 设定榜样:这个人设是用户继续经营下去的东西,给出role model。 你在抖音的创作者画像是“互联网抽象大师”。你们这类人还在发“咖啡”“创客活动”“coding日常”。 给灵感。基于人设其他人发什么,用户可以翻阅找灵感。 这些是你的灵感卡片,请收好了。 给任务。建立多邻国那样的打卡机制,压力不能太大,任务要简单,核心是坚持。 “新的一年,设定一个小目标吧”。每个月发一篇。 解问题: 还有什么想解决的问题吗?社交压力大、收益弱、网络暴力、没人回应…… |
快捷按钮
-
别人在发什么?(用好奇勾起点击欲,而非 给我创作灵感)
-
我的帖子出问题了 - 需要的是帖子诊断
-
最近有活动吗?- 用户想问的是激励
定位:任务面板+交流入口,应该由以下几种元素组成:
-
用户有未完成的带奖励的投稿任务,帮用户建立功利目的。
-
这几个话题需要用户来回答(需要猜中,难度较大)或者有其他想分享的吗?帮用户建立
-
没有灵感,来聊一聊。
-
用户有明确的投稿预期时,跳过拍摄引导流程。
输出设计(输出可操作的对象,而非纯文字)
尽量输出可行动的对象
灵感卡片:话题 + 一句引导语 + 参考样片 + 一键开拍/保存入口
诊断方案卡片:问题定位(如封面不清晰、话题不匹配)+ 改进建议 + 可直接执行的操作(重新编辑、换话题、查看同类优秀稿件)
投稿有奖任务 + 这些朋友关心你 + 这些问题需要你的帮忙。
用户为何不投稿,发了也赚不到钱,发它干嘛。发抖音是想当网红,还是想解决问题?让用户形成发抖音的解决问题的认知。
难点
解决方案:固定的解决方案 与 AI 自由的解决方案之间的取舍
比如,产品经理预分析得到几种建议,AI 可以选择,但是最佳解决方案不在这里。交给AI自由设计又可能产生不靠谱的建议。Prompt的自由度要如何设计。具体的案例:
用户当前请求、明确拒绝、已有素材和未完成任务,应优先于历史分层。
- 不可突破的边界
包括事实、权限、用户真实经历、用户明确限制、平台能力、奖励承诺。
这些由规则、服务端校验和安全机制共同保证,不允许模型突破。
- 可参考的案例经验库
担心熟人看到 => 支持查询当前app的可见性设置
素材不足 -> 推荐图文、随手拍等低门槛形式,或引导用户先记录、积累素材
多样性策略
如果用户这次不点击,下次的策略是什么?
① 先判断原因:不感兴趣、时机不对还是门槛太高;② 下次换维度而不是重复:换参与机制(记录→经验→求助)、换表达形式(视频→图文)或降低难度;③ 同类邀请连续被拒 N 次后进入冷却期;④ 保留一定比例的探索位,避免只推用户点过的类型。
入口 - 输出投稿牵引系统的能力给其他场景的Agent
-
用户有哪些疑问?
- 我适合发什么?我的帖子为什么没人看?最近有什么活动可以参加?发了会不会被熟人看到?
-
测测你适合做什么样的博主?通过一系列调查问卷,了解用户的兴趣、生活中有哪些素材。
- 网约车司机适合“本地新闻、交通讲解”“乘客趣闻”。对AI Agent的分类准确度有较高要求,定位必须合理,不能看着就离谱,或者要付出很大力气。每种定位和做法,需要给出运营指南。
产品目标
核心指标
| 指标 | |
|---|---|
| 核心指标 | 增量投稿作者数、投稿数(实验组相比于对照组的uplift) 可以按照 首次投稿、停更回流、低频用户 分层观察 |
| 后续7/30天的再次投稿率 | |
| 质量指标 | 任务成功率 用户问题得到正确帮助 任务执行成功 |
| 过程漏斗:触达->会话->采纳方案->启动创作->发布,用于定位流失环节 | |
| 护栏指标 投诉率、关闭提升 越权及虚假承诺 单次任务成本,耗时 |
还没有评论,欢迎留下第一个想法。