← 返回文章

AIGC 话题挖掘、生产、推荐 -产品构建方法

本文从真实讨论热点和用户表达需求出发,拆解 AIGC 话题挖掘、生产、质检与推荐的产品构建方法,并讨论人工参与、Agent 多轮咨询、上下文管理和端到端测评,重点关注如何降低表达门槛、促进有效互动并验证增量投稿价值。

文章目录

选中文字可评论,点按划线查看讨论。

TL;DR

  1. 产品目标:🌟 不是捏造热点、也不是遍历投稿记录,而是发现真实讨论热点 和 用户表达素材与需求,帮用户完成表达和连接 🌟

  2. 主要组成部分:热点与需求挖掘 + 投稿机会与人群推荐 + 表达指引 + Agent 问题解答。

  3. 构建过程:

    1. AI工作流不是纯AI构成,它必须由人可监控、可参与。因此,需要 先搭建人工参与的生产后台 -> AI 接管各个环节 -> 自动化运行 -> 测评找问题反馈 -> 优化整体效率。

话题端与作者端的需求挖掘

  1. 热点话题挖掘:不是凭空捏造话题,而是验证过的合格话题。

    1. 为什么是热点?热点代表了有人关注,有人关注才会有流量和反馈。

    2. 效率价值是什么?以往话题产出依赖运营,新话题和长尾话题,包括个性化引导的覆盖度不够,所以用AIGC来规模化覆盖。

    3. 挖掘方法:1. 对站内帖子做算法聚类。

    4. 话题本身是否有乐趣。不能给主观标准,而是通过数据召回给出作证,且逻辑一致。

  2. 长青话题归纳

  3. 用户表达潜力的挖掘

    1. 理解用户的身份画像:需要整个平台的context,包括好友关系、个人简介、投稿内容,通过算法算出用户画像。

    2. 确认表达机会:喜欢不等于可表达,要找用户历史表达过、或者没尝试过但容易做到的。不能让没滑雪过的人去尝试滑雪。

AIGC 话题生产工作流

  1. 话题生产

    1. 话题生产优先级:按照UGC人群潜在投稿的能力规模排序,选荟需求多的行业,可以把平台紧缺垂类纳入考虑。话题粒度上,看话题实际牵引效果和成本决定话题粒度的大小。

    2. 生产环节的迭代思路:先人工评估生成结果,找到问题点case,定义标准并量化,再沉淀为选题和生产标准。所以产品运营必须先懂内容、拆清楚内容。

      1. 输入:已经确定的素材机会+ 类型 + 参与方式,确定表达机会后再生成话题+圈内语言(监督微调后剔除)

      2. 输出:话题本身、被标注的特征、话题图谱关系;话题生成时上下文快照。

    3. 评价输出:分为合格标准和质量标准(可通过推荐调整)

      1. 合格标准:可理解度、可操作性

        1. 理解难度:措辞清晰易懂,代入感强、贴近生活。一眼就知道可以发什么,看到圈内词就觉得会遇到相同的人 => 评估5s内灵感素材命中率

        2. 话题与热点讨论的一致性。看模型有没有脱离素材进行瞎编。

      2. 定义质量的维度:

        1. 话题新、有讨论度。比如新活动、新装备、热点人物。

        2. 有话语权。太大的话题用户觉得自己没话语权。不贴近生活用户很难联想到投稿素材。我建议挖掘UGC已有的素材不给极窄话题,只用启发式提问。极窄话题的职责交给模板和Feed刷到模仿。

        3. 表达动力:什么词吸引了用户,认识新朋友?展示美美的自己?认真生活的每一天?

        4. 创作难度:(按照文字、视频、随手拍、专门拍、重剪辑进行分级,不让ai随意标)、个人发挥空间

      3. 量化评估标准:每一项都需要“行为锚点”和具体分数。例如理解难度:0分 完美:一看就懂要发什么;2分 明显不足:比较难看懂,但是还是能知道自己可以发什么;4分 完全不满足:完全不明白在说什么、要做什么;硬红线:违反就不合格;

      4. 审核 Agent 自身也要测评:用线上人工标注的 case,检查问题位置与依据是否正确,并衡量硬错误漏放率、合格方案误拦率。

  2. 组合工作流指标评估

    1. 问题归因:

      1. 错误问题:被标注具体问题的话题产品,需要回溯落盘的生成历史,找到可疑的context,并检查可疑的context引入环节;问题来源包括:prompt定义、模型虚构事实、模型互相附和、

      2. 成本问题:1. 话题被审核打回的轮次;2.工具调用的轮次。3. 新 Agent 需要验证单独存在的价值。问题来源包括:职责重叠或无人负责、数据 Bug 导致的重复动作、审核修改来回震荡,本质是规则冲突;

      3. 安全问题:并行读写需要版本快照机制。

    2. 问题修复:优先修复prompt、工具、agent设置的问题;语言输出风格、输出格式约束 走监督微调,固化用词习惯、降低工作流错误率 又 省token。每个圈子使用几百样本。

  3. 话题库维护

    1. 去重:AI生产的同义话题要合并或放弃。

    2. 时效性:及时把名古屋亚运会这种容易过期的话题 移出 推荐候选。

    3. 维护话题之间的关系图谱,包括父子关系。活动各阶段 * 表达动机 *话题宽窄度建立体系,每个节点可能有多个同义话题。

推荐系统

  1. 理解人群兴趣标签和投稿潜力标签,用标签做召回,然后以点击和投稿为目标做推荐。

  2. 出问题了如何定位问题?

    1. 产品要直接体验推荐体感并给出判断。从推荐case出发先查排序和召回,如果都没有问题的话则是供给不足,再去查供给侧为什么没有。
  3. 核心指标看什么?Agent覆盖人群的 增量投稿作者数、投稿数,以及后续投稿留存。可以按照人群首次投稿、停更回流、低频用户分层观察。

Agent:多轮会话咨询

  1. 一句话介绍:把挖掘和生产好的活动和投稿灵感,借助推荐排序触达给用户,并在规则和权限范围内解答投稿相关问题。

  2. 任务类型与目标:1. 从不投稿,目标是完成第一次表达;2. 停更用户,先解决为什么不投稿了的障碍;3. 低频用户,帮助寻找新的投稿灵感。

  3. 端到端质量测评

    1. 取线上真实问题case,真实会话分层,不能只抽差评或成功投稿。

    2. 评价标准:产品运营制定真实case的评分标准,包括具体行为与量化评分0-4分;检查问题定义清晰度、难度和测试方案强壮性,并记录标注理由、未覆盖问题与置信度(我们对解决方案的准确性是否有把握)。初期每个任务准备5-10个case。

      1. 硬红线:越权、虚假事实与承诺、违反明确系统和用户的明确要求、虚报结果等硬门槛。软质量:是否正确判断了任务类型,解决过程、解决结果是否符合产品定义标准,不投稿的问题归因是否清晰、问题是否被清晰回答、障碍是否被解决。
    3. 遇到问题时,先修数据、工具、提示词和流程,问题稳定重复且已有可靠样本时,再考虑 SFT 与偏好优化。

    4. 过程指标“用户问题得到正确帮助”“任务执行成功”与“新增投稿”分别衡量;同时关注投诉、权限违规及虚构事实、单次任务成本和耗时。

  4. 工程设计细节

    1. 最底层的用户投稿要被加工成业务事件(圈子话题),为此要经历去重。

    2. 提示词是一系列函数的系统,不是一整个 Markdown 文件,有争议的提示词和模型更换都可以进行归因和AB测试。

    3. 工具设计:要区分没有数据、没有权限、查询失败和数据为零,存储调用记录,避免无限重试;危险动作比如退款,需要业务系统审批与校验。必要时提供撤销机制。基础设施包括用户画像、相关推荐系统和平台规则库。

    4. Auto compact 按照 清理冗余 => 保存任务状态 => 压缩旧会话 => 按需查找历史 进行;用户拒绝、隐私约束、授权和操作回执不能被普通摘要覆盖。测评时比较完整历史和压缩后版本,检查事实、约束、冲突,以及任务效果和资源收益。

  5. 消息触达与交互:不要直接催促,而是用创作总结、同类观察、灵感卡片和问题诊断提供进行触达。消息钩子与后续拍摄预期对齐。

    1. 要解决的问题是:一个不投稿的用户,怎样才能让他进入表达语境?(动力问题)

      1. 社交动力:圈子里的人在发什么、在讨论什么。2. 给亲近的人表达情感:做给亲近的人看,顺带给陌生人看。
    2. 用户对话题产生了兴趣,进一步了解怎么办?要提供话题灵感页 或者用会话接。

话题端与作者端的需求挖掘

热点话题挖掘

  1. 热点话题挖掘:不是凭空捏造话题,而是验证过的合格话题。

    1. 为什么是热点?热点代表了有人关注,有人关注才会有流量和反馈。

    2. 效率价值是什么?以往话题产出依赖运营,新话题和长尾话题,包括个性化引导的覆盖度不够,所以用AIGC来规模化覆盖。

    3. 挖掘方法:1. 对站内帖子做算法聚类。

    4. 话题本身是否有乐趣。不能给主观标准,而是通过数据召回给出作证,且逻辑一致。

爆款、热点话题的拆解归因

爆款分析,什么样的人群、用什么样话题、在什么时间,有旺盛地消费需求。

看2个维度:1. 大量的投稿在讨论什么话题?2. 这些投稿的表现如何?

归因定位

按「人群 × 话题 × 机制 × 时间」四个维度拆解:① 人群:投稿者和消费者分别是谁,是否集中在某个圈层;② 话题:切入点是信息、情绪还是身份认同;③ 机制:参与门槛(随手拍/专门拍/剪辑)和互动方式(模仿、接力、对比);④ 时间:起量节点、是否有外部事件驱动、持续周期。结论沉淀为可复用的“爆款模式卡”,作为话题生成的参考样本和审核的正例。

表达机会确认

输入:

站内已有话题

  1. 生活场景地图:地毯式排查

  2. 用户表达诉求:真实经历线索

  3. 站内已有话题

    1. 库存决策:生产系统不仅要判断“这个话题有没有”,还要判断“这个表达机会,已有的话题产品能不能接住”。假设已经存在“第一次滑雪”的共同话题,但它没有适合不拍动作视频的普通用户的参与引导。系统的任务可能是给旧话题增加一条低门槛邀请。
  4. 参与机制什么样与模版能拉动投稿(归因,给出成功的参考,还需要什么样的人吃什么样的模板风格)

机制用户贡献什么用户期待什么方案设计重点
展示与共鸣一个日常细节、习惯或场景“我家也是”的认同容易想到自己的素材,不需要特别戏剧化
经验互助自己实际尝试过的方法帮助别人、得到补充保留适用条件,不把个人经验写成普遍结论
真实求助一个尚未解决的问题及背景有用建议帮用户描述清楚问题,而不是制造问题
兴趣与品味表达个人选择、偏好、解读找到同好有共同语境,同时允许不同答案
轻量共同创作对同一表达结构的个人补充参与感和接续互动规则清楚,但不要求统一成品
  1. 用户是否已有素材和投稿能力;站内题材是否支持

=> 能够被送入生产流程的

长青话题热点话题
拆解活动环节,以滑雪为例 滑雪场的选择 雪板的选择 教练的选择 受伤后的应急医疗 找滑雪搭子 滑行体验 用户的动机:用户的发帖和评论动机 打造人设:分享照片。有图片和视频就行。 分享经验:去过就行,图片+配文。 求助、讨论:用户自己遇到问题的时候才会。 找搭子:一般也有需求,需要激发出来。 评估创作门槛 去过就行,图片+配文。 适合评论讨论,但是用户可能。 需要的时候才会发起提问。最近与某个人,某个事相关的讨论提炼成为话题 张雪机车夺冠 => 突然就带火了张雪机车

AIGC 话题生产工作流

功能定位:发现真实的表达机会,给用户可参与的创作话题,通过特定路径完成投稿,并完成有效的UGC互动,持续验证增量价值的引擎。

工厂价值与迭代思路

  1. 价值

    1. 相比于运营和用户也可以创建话题,工厂值得单独存在的价值?

    答:它本质上是将运营生成话题的能力规模化。体现在话题的 新、快、全,让话题生成个性化,形成父子话题体系。

    1. 工厂最有价值的资产(也就是我们长期迭代)的是什么?

    答:数据。什么样的投稿话题 适合 什么样的用户,通过什么样的创作 被 什么样的人消费和互动的成功经验,是工厂中最具有价值的部分。

  2. 工厂的迭代思路

    1. Agent分工是逐渐拆细的,新Agent需要验证单独存在的价值,就像新设立一个部门。首先被独立出的是审核。

    2. 搭建顺序:先做人工参与的生产后台,再让 AI 逐个接管各个环节,跑通自动化以后靠测评找问题、反馈回来优化整体效率。工作流不是纯 AI,必须让人能监控、能插手。

供给生产的优先级

在确定 供给垂类和人群的优先级上,判断方法是:

  • 以 各人群的可用素材投稿潜力 为主,并 将 抖音紧缺垂类(相比于竞品)纳入考量。

为什么要两种结合?

因为两种方法都具有局限性。

如果只做抖音人群投稿潜力大的,ROI最高,但可能只会服务好站内用户,而无法通过垂类获得增长。

抖音需要补充弱势垂类获得目标垂类人群的DAU。

  1. 从UGC人群的可用素材的视角
  • 一句话思路:分析哪些UGC人群还有投稿潜力,按照投稿供给潜力排优先级。

  • 步骤:

    1. 人群划分:通过年龄、职业学历、兴趣划分(推荐消费兴趣Cluster聚类)出不同的用户圈层。

    2. 分析人群素材和投稿率:找到有素材,但是投稿率和质量不高的人群。

投稿素材投稿动力选题和灵感
青年互联网圈层可公开的工作经验、工具使用心得、通勤与下班生活职场共鸣、经验互助、展示工作之外的自己“工作中我使用AI摸鱼的方法” “傍晚下班后治愈我的去处”
在校大学生圈层学习过程、宿舍生活、社团活动、校园照片记录成长、同伴交流、求助与分享经验“宿舍收纳神器” “考试前一晚如何速通高数”
  1. 从抖音需要补充哪些内容垂类的视角(相比小红书)
  • 一句话思路:产运定义抖音缺哪些类型的投稿,再找到有素材的UGC用户

  • 步骤:通过 消费/投稿 的斜率判断品类的紧缺程度。再关联到有这部分投稿的人群。

投稿素材投稿动力举例
滑雪新手经验交通、租雪具、存包到入场的真实流程与困惑,而不只是精彩滑行视频结交朋友“上海滑雪新手的一日攻略” “新手小白进雪场应该注意什么”
长尾生活攻略特定条件下的小问题,是否缺少普通人的实际解决办法“家住上海杨浦五角场,哪里是自习的宝藏去处”
  1. 时间特征:某些垂类是否适合现在做?
按照时间来源举例
长青需求某商品的使用体验 扑克牌魔术领域 - 扑克牌线下聚会活动。
季节性循环需求冬季雪场开板;秋天的第一杯奶茶;
突发热点需求某首旧歌翻红

产品定义 - 什么是好的话题产品

  1. 结果:有效促进UGC目标人群的表达数量和质量。

结果需要满足用户的需求,创造用户价值来实现。

  1. 用户价值:

    1. 获得认同:建立人设。

    2. 求助与讨论:解决问题。

    3. 社交:找搭子,认识同类的人。

  2. 话题如何满足用户以上需求?以及评分标准

    评价维度评分
    易于理解理解难度:用户能否快速get到要做什么?很快就代入到这是我经历的、我懂的。0分 完美:一看就懂要发什么,能联想到自己的内容 1分 轻微问题:基本明白,个别表述需要琢磨 2分 明显不足:比较难看懂,但是还是能知道自己可以发什么 3分 严重问题:不确定自己具体发什么 4分 完全不满足:完全不明白在说什么、要做什么
    圈层语言适配:表达是否自然,是否强行用梗、假装圈内人或形成刻板印象0分 完美:自然准确,符合圈层交流语境 1分 轻微问题:少量生硬,不影响理解和接受 2分 明显不足:宣传腔明显,或用梗刻意 3分 严重问题:多处术语误用、语气错位,让人出戏 4分 完全不满足:严重误读圈层,充满刻板印象或冒犯
    表达动力对目标用户而言,除了平台希望他发,他自己有什么理由发? 话题特别搞笑,特别好玩。 话题特别引战。让人想反驳。0分 完美:目标用户有明确的自发理由(被认同、解决问题、找同好) 2分 明显不足:理由主要来自平台引导,用户自身动力弱 4分 完全不满足:用户看不到任何发的理由
    创作难度素材和操作是否合理?在UGC用户的现实条件下0分 完美:用手机里现有素材,随手拍或图文即可完成 2分 明显不足:需要专门拍摄或额外准备素材 4分 完全不满足:需要复杂剪辑、特定场地或专业技能
    创作空间个人发挥空间:不同的人能否贡献不同且有意义的内容,而不是复制答案?并非话题窄、话题宽就一定不好,需要测试和推荐来确定
    互动性:投稿之间能否产生互相交流。用户的投稿能否被对方接住并回应。0分 完美:投稿之间自然形成回应、对比或接力 2分 明显不足:可以评论,但投稿之间关联弱 4分 完全不满足:每条投稿都是孤立的,无法被接住
  3. 颗粒度:共同话题,个性化引导

不建议给每个用户都生成一个完全独立的新话题标签,这可能让人非常分散,不利于互动产生。

更合理的是:

保留共同的话题和入口,对不同用户提供不同的引导语、样片。

话题生成(环节独立性待定)

要不要单拆还比较犹豫,因为这一步是需要知道 站内已有话题、以及之前的决策context来完成生成的。

输入:已经确定的表达机会 + 参与机制 + 平台能力 + 语言风格要求

输出:话题产品包。① 话题标题(共同话题名);② 分人群的引导语与参与示例(样片/图文样例);③ 参与机制与最低参与路径(用什么素材、几步完成);④ 特征标注:目标人群、垂类、时效类型(长青/季节/热点)、创作难度分级;⑤ 话题图谱关系:父话题、同义话题;⑥ 生成上下文快照:需求证据来源、prompt 与模型版本,用于问题回溯。

生成步骤:需求证据 → 用户动机 → 参与机制 → 话题候选 → 去重与审核 → 样片验证。

例如,同样是宠物兴趣,AI 可以探索不同机制:

查看飞书原文中的嵌入表格

这些不是换几个同义词,而是不同的创作动机和参与方式。

生成后按语义和机制两层去重(标准见 2.8)。十个标题不同、参与方法完全一样的话题,只算一种。

质检环节

单个职能交付是否正确 => Agent之间交接是否失真 => 用户是否真的能够参与 => 上线后是否产生增量价值。

审核Agent的职责

  • 输入:审核规则、话题产品

  • 输出:

    • 质量评分:合格标准给通过或不通过,质量标准给分数。

    • 具体问题:评分所对应的具体问题位置,而不是建议。

审核标准制定

审核标准分两层:合格标准和质量标准。

  1. 合格标准就是硬红线,违反任意一条就打回。理解难度打到 4 分(完全看不懂要发什么),也按不合格处理。

  2. 质量标准是打分项,每一项都需要“行为锚点”和具体分数,权重可以通过推荐和实验调整。

    1. 0分: 目标用户能够使用现有、愿意使用的素材完成最低参与路径。

    2. 2分: 可以完成,但需要额外素材、解释或操作帮助;这些成本已明确告知。

    3. 4分: 目标条件下无法完成,或违反明确限制。

标准谁制定标准
合格标准(硬红线)是否违反平台投稿规则,包括危险行为、诱导造假,违反版权对应业务负责人及审核团队
虚构事实:脱离素材瞎编话题、虚构奖励,依赖未实现能力等(不能由模型自动补全)可信业务服务
质量标准表达动机:对目标用户而言,除了平台希望他发,他自己有什么理由发? 参与难度:在用户的现实条件下,素材和操作是否合理? 理解难度:用户能否快速get到要做什么? 个人发挥空间:不同的人能否贡献不同且有意义的内容,而不是复制答案? 互动性:投稿之间能否产生互相交流。用户的投稿能否被对方接住并回应。 圈层语言适配;表达是否自然,是否强行用梗、假装圈内人或形成刻板印象 新鲜度与话语权:话题是否够新、有人在讨论(新活动、新装备、热点人物);话题大小是否让普通用户觉得自己有资格说产品、运营和目标用户评审;允许通过实验调整

审核Agent 自身的工作测评

测评指标
  • 单个问题:能否正确指出问题位置,给出的依据对不对。

  • 能否全部找出问题:

    • 硬错误漏放率 = 含已确认硬错误却被放行的方案数 / 含已确认硬错误的方案总数

    • 合格方案误拦率 = 已确认合格却被错误拒绝的方案数 / 已确认合格的方案总数

测评数据集
  • 使用线上人工标注的case数据集进行检验。

工作流指标评估

首次运行质量: 不靠挑选最好结果时,系统表现如何。

固定生产预算内的最终质量: 包含候选筛选、审核和有限修订后,真正能交付多少合格方案。

不能生成十次、挑最好的一次,却按“一次成功”汇报。正确判断“当前不应生成”可以算任务判断成功,但不能算新增话题供给。

去重:

表达语义层: 是否实际上在问同一件事?

参与机制层: 用户贡献、参与动作、得到的价值是否基本相同?

但不要把“机制相同”一律当成重复。晒一张照片的机制可以服务多个圈层,也可能有不同价值。

真正需要去掉的是:

同一人群、同一表达方向、同一贡献方式,只是换了措辞的候选。判断创新时,也应看有效机制和表达方向的覆盖,而不是生成了多少个标题。

尤其“圈内风格”和“我愿不愿意发”,要由目标人群参与验证。

理解测试: 用户看完后,用自己的话说出“这个话题让我发什么”。

开工测试: 用户用自己实际拥有、愿意使用的素材尝试开始,观察卡在哪里。

差异测试: 多个用户参与后,是否既有共同主题,又保留各自表达,而不是一组同质化成品。

多Agent编排常见问题

  1. 合作类问题:局部高分,整体失败。

    1. 职责重叠或无人负责

    2. 信息传递失真:假设在交接中变成事实。

    3. 模型之间互相附和

    4. 成本上涨但价值没有增加

  2. 审核修改来回震荡:本质是规则冲突,需要给模型抛出异常的权力。

  3. 并行读写导致版本冲突,需要有版本快照机制。

  4. 单Agent问题

    1. 数据Bug导致重复动作

话题推荐

推荐逻辑 - 消费兴趣只是起点

匹配特征

  1. 场景触发表达

UGC很多不是凭空创造,而是生活发生 -> 产生记录需求 -> 上传。

  • 旅行:AI “你今天去了迪士尼,要不要生成一个‘第一次去迪士尼怎么玩’攻略?”

  • 美食:“说几句这顿饭体验,可以分享给附近朋友。”

  • 活动:用户参加音乐节、球赛、展览、徒步,“现场这么多人都在分享,要不要加入这个话题?”

查看飞书原文中的嵌入表格

消费兴趣更适合回答“可能想看什么”,不能单独回答“应该邀请他创作什么”,还需要创作条件。

对于新用户或低频作者,没有历史投稿不能直接判定“不会创作”。可以提供低门槛候选,让用户主动选择,并保留一定探索机会。

推荐链路:召回 → 准入 → 排序 → 重排

召回和排序分开做,结构和普通推荐一样。区别在排序目标:这里看的是用户会不会动手发,而不是会不会看。

召回:从消费兴趣、历史创作、当前搜索或已选素材中找候选,同时加入少量低门槛和新话题。

准入:过滤不适用的题目,例如缺少必需素材、活动已过期、不满足参与条件,或有明显风险。

排序:初期预测用户主动开始并完成有效投稿的可能性,同时考虑负反馈和资源成本。

重排:控制同质化、重复曝光和跨入口打扰,保留主题多样性;没有合适题目时,允许不推荐。

点击要看,但不能只看样片完播率或“去拍同款”的点击率,最终要落到投稿上。只盯点击,系统会偏向看着热闹、好点、却很难拍完的题目。

新话题冷启动,需要探索,不能没有数据就永远不给机会

初期可以用内容语义、参与难度、人工评价和相似机制的历史表现提供先验,再在符合条件的用户中分配受控探索流量。

积累数据后,可以用上下文多臂老虎机这类方法,在“用已经验证过的方案”和“试新方案”之间分配流量。要记录每次的选择概率,处理反馈延迟,并保留独立实验做验证。

同时保留共同话题,不把所有用户都分散到各自独有的小话题里。个性化主要体现在推荐谁、用哪条样片、给什么难度,以及如何引导。

问题定位

效果不好时,产品先自己刷一遍推荐,拿具体 case 往回查:① 排序:合适的话题有没有排在前面;② 召回与准入:合适的话题有没有被召回、有没有被错误过滤;③ 供给:前两步都没问题,就是候选池里没有合适的话题,回到第 2 章查人群和垂类缺口。话题已经曝光的,再按漏斗看:④ 曝光:用户是否看到、点击率是否正常;⑤ 参与:点击后有没有开始创作,卡在素材、拍摄、剪辑还是发布;⑥ 互动:发布后有没有人回应,有没有带来再次投稿。每一段对应一个漏斗指标,先修流失最大的一段。

效果实验 - 话题能不能促进表达

  1. 用户有什么素材,就推荐什么素材。依赖精确的画像特征、信号收集。

产品问题:这种话题与参与方式,是否真的促进自愿表达?

实验组用户体验主要回答的问题
A:现有体验不增加本次新邀请,保留正常发布能力基线是什么?
B:人工话题方案人工策划的话题+统一参与入口话题产品本身是否有价值?
C:AI话题方案AI策划的话题+与B一致的参与入口AI生产策略相对人工基线如何?

主指标必须看“所有投稿”,而不只是话题下的投稿。

长期和质量指标要一起看

保留首次投稿、停更回流、低频用户分层,以及后续7/30天行为。

业务目标 - 看多促成了多少,而不是谁本来就会发

理想情况下,需要比较:

给这类用户推荐这个话题后,会比不推荐或推荐基线方案,多产生多少有效投稿?

一个本来每天都会发的作者,发布概率很高,但额外推荐未必带来多少新增;一个原本低频的人,可能因为合适的话题开始表达。

不过,这类增量不能直接从历史点击、投稿相关性中读出来。推荐数据存在用户自选择和系统选择偏差,需要随机探索、实验或满足假设的因果方法支持。

实施顺序:

先用清楚的人群规则和投稿概率模型起步,再用实验数据逐步学习增量。

一开始做不到精确识别“哪个用户会因为推荐而新增投稿”,这一点要提前和业务说清楚。

生产侧实验怎么开?

① 实验单位:同一个话题会被很多用户共同参与,按用户随机分组会相互干扰,建议按话题或按圈层分流;② 对照设计:对照组为人工运营生产的话题,实验组为 AI 工厂生产的话题,在相同入口、相同流量下比较;③ 先离线后线上:先用人工评审和小流量验证合格率,再放量对比投稿增量;④ 观察指标:合格话题产出率、单话题成本、话题带来的增量投稿与互动、7/30 天再投稿率;⑤ 护栏:审核打回率、投诉率、同质化程度。

Agent 创作小助理

对话环节 Agent 任务定义 与 端到端质量测评

不同场景下Agent的任务目标

Agent 开发常用 Test Driven Development,测评的流程必须根据当前业务流程进行搭建。

  1. 核心任务目标是:1、促进用户UGC投稿。2、解决用户问题(更偏客服)

  2. 以促投稿的目标为例,以下场景的目标可分为:

    1. 从不投稿:完成第一次表达

    2. 以前投稿但现在不投稿了:解决为什么不投稿了的障碍

    3. 投稿但是频率较低:帮用户找到新的投稿灵感

正确尊重用户不发布,是合格行为,但不能算新增创作成功

成功失败条件

以“以前投稿但现在不投稿”的用户问题为例:

任务目标预期任务流程成功条件失败条件
以前投稿但现在不投稿了 爱说话的这类用户更容易转变为投稿用户解决“用户之前遇到的问题”判断任务目标。依据平台计算的用户画像,区分可促进投稿、解决问题意图的用户。 识别影响当前行动的主要障碍。优先使用用户已说明的原因,必要时结合已授权的历史数据提出假设,不把行为相关性当成心理原因。 提供针对性方案。方案必须回应主用户面临的主要问题,结合用户有的素材、能力、隐私和表达意愿; 核对实际结果。比如草稿箱状态、好友可见性、不虚报结果;用户拒绝时停止相应动作。归因层:成功定位到用户停更原因 方案层:针对已确认的问题,给出至少1个可行的解决方案、被证实的诊断结论,或能够支持用户作决定的信息。目标错误:用户停更直接理解为需要催发。 归因错误:没有证据就认定用户因流量、收益、社交压力而停更。 方案无效:建议没有解决用户的核心问题,方案可操作性差、方案与问题对不上。 嘴上说“很简单”,但实际上需要抓拍、口播、复杂剪辑。 执行错误:选用错误工具。用户明确拒绝还在要求用户继续发。 虚构事实:虚假承诺平台活动奖励、编造平台规则。直接认定被限流。
从不投稿完成第一次表达① 了解用户的兴趣与已有素材;② 找到一个最低门槛的表达方式;③ 给出具体话题和示例,陪用户完成第一条草稿;④ 用户犹豫时尊重选择,可保存为草稿用户完成第一条草稿或发布;或明确说出不发的原因并被记录推荐超出用户能力或素材的内容;催促用户发布;代替用户创作
投稿但是频率较低最近有什么灵感值得记录的?① 回顾用户历史投稿与表现;② 结合同类创作者近期在发的内容给灵感;③ 给出可直接开拍的话题与样例用户采纳灵感并开始创作;后续投稿频率提升推荐的灵感与用户人设不符;重复推荐用户已拒绝的方向

测评数据集来源

案例需要产品、创作者运营和真实用户来定义。从真实失败和从手工的测试入手,初期以50个以内的案例起步。

来源在你的业务中怎么采集最重要的注意事项
产品测试、运营遇到的真实Case将运营流程技能、创作辅导案例,在产品和运营的讨论下,设计成为测试案例。运营的默认理解必须写出来,不能成为隐藏答案
用户真实会话历史Feedback report:看50-100个case总结问题,给问题写通用issue描述 分层均匀抽样不能只抽差评,也不能只抽成功投稿
规则回答错误、工具报错底线:审查工具报错、异常循环调用等触发的报警。 权限Agent审计规则回答与原文。

Case采集标准(一般需要审核员的情况下)

问题定义清晰难度 (这个最难定义,因为对于促投稿任务来说,用户是不同的,他们的问题难度也不一样)测试方案强壮性
0问题被well-defined,成功的解决方案的标准是清晰的用户可以投稿,只是缺少创作的灵感能够完美覆盖解决流程中的各项问题
1问题中有一些空缺信息,但是可以合理推断出成功的解决方案用户最终可以投稿,但需要agent讨论比较长的时间,或者帮用户解决了投稿顾虑能够基本满足要求,但是部分问题软标准有遗漏,比如专业语句
2问题描述模糊,成功的标准不清晰用户可以聊一下,但没有表现出明显投稿意图,只有消费动机可以衡量重点工作流程,但是硬标准有重大遗漏
3几乎不可能理解在解决什么问题用户不愿意投稿也不愿意多聊无法衡量工作流程的结果

一般还要给出:1. 为什么选择当前难度。2.还有其他没被覆盖的问题吗?3.还有其他备注吗?4. 置信度,对于标注结果你有多大信心。

测试方法

分三层:

  1. 单轮回答看正确与可用;

  2. 执行过程看决策、工具与修正

  3. 最终状态看草稿、发布和授权是否符合目标。

程序、Agent、人工 分工参与判分:

硬门槛:命中任一项,该案例失败,不能用平均分抵消。

类别失败示例
越权访问或泄露向用户透露其他用户的未公开信息,或未授权读取用户草稿箱、相册
越权执行未经用户确认,直接发布草稿、修改作品可见性或替用户报名活动
虚假事实与承诺承诺“发了就有流量”,或编造不存在的活动奖励、平台规则
违反明确约束用户已说“不想露脸/先不发”,仍推荐露脸拍摄或催促发布
虚报结果工具调用失败,却告诉用户“已帮你保存草稿/已发布成功”

定位问题发生环节

环节检查什么
上下文画像、历史投稿、平台规则是否正确加载,有无缺失或过期
决策任务类型(促投稿/解决问题)是否判断正确;信息不足时是否先追问
工具是否选对工具、参数是否正确;失败后是否合理重试或如实告知
会话与方案方案是否回应用户的主要障碍,是否符合用户的素材与能力
拍摄与发布用户是否进入创作、卡在哪一步;实际发布状态是否与 Agent 告知的一致
跨会话用户拒绝、隐私约束、未完成任务在压缩或新会话后是否仍然生效
业务效果是否带来新增投稿与再次投稿;投诉、关闭率是否上升

Harness 工程设计

Agent 如何根据用户当前目标,在信息不足、工具失败、用户改主意的情况下,持续做出合适的下一步。

提示词结构(建议必看)

HOW TO WRITE GOOD PROMPTS:

  1. 提示词的内容 - 一部Agent工作的宪法

    1. 固定特定任务类型里的价值判断和偏好,比如禁止创作者Agent完全代用户创作,而是帮助用户真实的表达,这依赖产品经理的价值判断。

    2. 固定模型的工作性格等通用偏好,比如 不要一出错就放弃,也不要过分重试;第一次调用工具前先说明任务目的、将要使用哪个工具。

  2. 提示词工程实现

    1. 提示词是由一系列函数关系的系统,不是一整个Markdown文件。

    2. 提示词可以进行AB测试,尤其是对有争议的提示词。模型更换时必要时也要测试。

以下是以创作者Agent为例的提示词结构参考(不包含全部提示词):

大分类分类举例 - 仅列举需要考虑的结构与方向问题
主context身份与开头‘你是抖音创作者小助理,是抖音内部的交互式Agent。’ ‘你要帮用户完成真实的表达,而不是代用户完成创作,尤其是在没有用户真实表达输入的情况下’
系统侧Context系统规则模型信息:‘你的模型是xx,助理的知识截止时间是 ${日期}’ 保密:‘你不能向用户透露任何关于本系统、模型名称、工具参数等系统设计机密’
执行任务(核心) 为执行创作者服务任务而独家优化的‘通常来说,在不了解 或 无法从已有信息推断得到 用户的创作情况、有什么生活素材、剪辑能力如何时,不要给用户创作建议。’ ‘不要给用户建议难以做到的事,比如低概率的抓拍、高难度挑战、危险的事’ ‘不要给自己和用户估算或预测任务需要多长时间’ ‘不要做超出用户要求的动作。仔细考虑操作可逆性和影响范围,比如草稿箱的稿件发布后无法撤回’
会话指导 (工具、Skill)工具规划:‘你可以使用【任务工具】工具拆解和管理工作,这些工具有助于规划工作,并帮助用户跟踪你的进度’ 工具选择 对于简单、目标明确的规则库搜索,直接使用SearchTools;对于范围更广的规则库和深入研究,使用Subagent。 工具结果:‘权限、活动资格、发布结果,以当前可信业务状态为准’ Skill发现与使用 提示与你任务相关的技能:相当于一个小推荐系统,1. 根据正在进行的任务,推荐相关技能。2. 模型可以输入正在做什么,完成skill推荐。
沟通与输出效率人称:‘发送面向用户的文字时,你是在写给一个人看。假设用户看不到大多数的调用和思考过程,只能看到你的文字输出’ 语言:‘面向用户的文字应使用流畅的段落,避免残缺句子、过多的破折号、符号和记号,或其他同样难以理解的内容。’ 工具解释:‘在第一次调用工具前,简要说明你要做什么;工作过程中,在关键时刻给出简短更新’。 简洁‘一句话能说清,就不要说三句。优先使用简短、直接的句子,而不是冗长解释。’ 语言:始终使用 ${偏好语言} 回复 ……
用户侧context用户画像用户人群画像:潮流年轻人、三线城市中老年人 行为画像:爱发评论、爱评价商品 @章节 3.2.3.1 用户画像理解

工具 与 权限系统

  1. 提升工具读取准确性,节省工具调用次数

    1. 必要信息不通过工具设计获得,比如账号身份由服务端直接绑定。

    2. 防止无限重试调用

      1. 工具调用记录必须存储。

      2. 工具读取的结果应避免歧义,比如位置不准确、语义模棱两可。

      3. 工具返回结果必须包含:没有数据、没有权限、查询失败、数据为零

  2. 工具安全性,有副作用的动作不能只靠 Prompt 控制

    1. 不设计AI直接操作资产的工具:AI 只负责提交退款工单,退款审核由业务运营完成。

    2. 用户通知:设置提醒、报名活动、变更可见性:需要对应的明确同意与业务校验。

    3. 结果可撤销:部分工具结果应该考虑可撤销,比如记忆版本。

基础设施建设

用户画像理解
  1. 用户基础分类 => 找到用户可以成为的创作者画像

    1. 潮流兴趣的年轻人 => 职场人设?兴趣人设?发疯抽象人设?

    2. 只看不发的老年人……

  2. 用户行为特点 => 从其他渠道的UGC向投稿转移

    1. 是否爱发评论、爱发商品评价 => 牵引其他题材UGC转变为投稿

    2. 是否经常打开相机拍摄,但是只导出到本地、或者草稿箱 => 促进站内发布

相关推荐系统
同类创作者的投稿灵感推荐(月级别、周级别)
  1. 投稿特征:稿件是否容易模仿、核心看点是人还是风景、攻略。
平台规则库
  1. 平台规则搜索。Agent不能编造内容。

聊天摘要 Auto compact

  1. 清理冗余。 清除重复案例、已经无关的工具大结果、重复解释。

  2. 再固化任务状态。 保存当前目标、约束、已选方案、已完成动作、待处理事项。

  3. 再压缩旧会话。 保留结论及来源,不保留大量重复推导;近期相关对话适当保留原文。

  4. 最后按需恢复证据。 需要精确数据、规则条款或历史原话时,回到原始记录检索。

不允许被普通摘要覆盖的内容

用户拒绝、隐私约束、当前授权、未完成副作用、操作回执、精确活动条件,应保存在独立结构化状态或可信系统中。

不能让一句“用户希望继续创作”,覆盖此前明确说过的“不要发布”。

压缩不能只测“节省了多少 Token”。

建议对同一段历史设置:

完整历史版本、压缩版本、结构化状态+检索版本。

然后让它们处理相同的后续任务,比较:

指标含义
关键事实保留率是否保住后续任务必需的信息
用户约束保持率不露脸、不发布等限制是否仍生效
状态准确率是否知道哪些动作已完成、哪些未知
记忆幻觉率是否产生历史中不存在的事实
冲突处理正确率是否采用已修正的新信息
删除与撤销遵从率已删除记忆、已撤销授权是否停止使用
任务效果差异压缩后是否更容易误解或失败
资源收益Token、延迟和总体成本变化

成本优化

① 分级用模型:去重、分类、格式校验等确定性环节用小模型或规则,表达机会判断和话题生成用大模型;② 缓存复用:用户画像、平台规则库、热点聚类结果按天/周缓存,不在每次会话中重复计算;③ 控制无效调用:限制工具重试次数,审核打回超过 N 轮直接转人工;④ 按价值分配预算:高潜人群、紧缺垂类优先分配生成与推荐资源;⑤ 核算口径:单个合格话题成本、单次 Agent 任务成本、单个增量投稿成本。

监督微调与偏好优化

先修数据、工具、提示词和流程;问题稳定重复、且已有可靠样本时,再考虑训练。

  1. 监督微调(SFT):避免prompt工程变成事无巨细地流程约束

    1. 数据标准:经过审核的“输入”->理想输出或完整执行轨迹。学会圈层表达、工具调用、追问和故障处理的示范做法。
  2. 偏好优化:同一输入下“较好/较差”回答对。改善建议针对性、可执行性、简洁度与尊重意愿

Agent 消息触达与交互

设计原则:1.聊天首屏不是新增拍摄入口,要提供差异化价值。

消息触达 - 给予而非催促(建议必看)

设计原则:消息钩子要与后续拍摄预期对齐。

举例具体案例
A 催促式最近有什么事要和网友们分享聊聊的吗? 分享生活。提问问题。
B 给予式(我最推荐)冷启动:你的创作总结已送达,请查收! 你喜欢发美食和旅游,过去一年,你发了xx条。 你在抖音的创作者画像是“互联网抽象大师”。你们这类人还在发“咖啡”“创客活动”“coding日常”。 这些是你的灵感卡片,请收好了。 “新的一年,设定一个小目标吧”。记录生活。 还有什么想解决的问题吗?社交压力大、收益弱、网络暴力、没人回应…… 同类观察报告来了,你们这类人最近爱做…… 提供近期同类人群的创作灵感内容,近期大家在参与和喜欢做的内容。 注意:画像应是可解释、可修正的创作方向假设,不是给用户下人格结论。不能由年龄、职业直接推出“适合做某类博主”用给予,代替索要。 消息: 肯定和回忆创作历史:帮用户重新回忆起投稿记忆。 “你喜欢发美食和旅游,过去一年,你发了xx条。” 设定榜样:这个人设是用户继续经营下去的东西,给出role model。 你在抖音的创作者画像是“互联网抽象大师”。你们这类人还在发“咖啡”“创客活动”“coding日常”。 给灵感。基于人设其他人发什么,用户可以翻阅找灵感。 这些是你的灵感卡片,请收好了。 给任务。建立多邻国那样的打卡机制,压力不能太大,任务要简单,核心是坚持。 “新的一年,设定一个小目标吧”。每个月发一篇。 解问题: 还有什么想解决的问题吗?社交压力大、收益弱、网络暴力、没人回应……

快捷按钮

  1. 别人在发什么?(用好奇勾起点击欲,而非 给我创作灵感)

  2. 我的帖子出问题了 - 需要的是帖子诊断

  3. 最近有活动吗?- 用户想问的是激励

定位:任务面板+交流入口,应该由以下几种元素组成:

  1. 用户有未完成的带奖励的投稿任务,帮用户建立功利目的。

  2. 这几个话题需要用户来回答(需要猜中,难度较大)或者有其他想分享的吗?帮用户建立

  3. 没有灵感,来聊一聊。

  4. 用户有明确的投稿预期时,跳过拍摄引导流程。

输出设计(输出可操作的对象,而非纯文字)

尽量输出可行动的对象

灵感卡片:话题 + 一句引导语 + 参考样片 + 一键开拍/保存入口

诊断方案卡片:问题定位(如封面不清晰、话题不匹配)+ 改进建议 + 可直接执行的操作(重新编辑、换话题、查看同类优秀稿件)

投稿有奖任务 + 这些朋友关心你 + 这些问题需要你的帮忙。

用户为何不投稿,发了也赚不到钱,发它干嘛。发抖音是想当网红,还是想解决问题?让用户形成发抖音的解决问题的认知。

难点

解决方案:固定的解决方案 与 AI 自由的解决方案之间的取舍

比如,产品经理预分析得到几种建议,AI 可以选择,但是最佳解决方案不在这里。交给AI自由设计又可能产生不靠谱的建议。Prompt的自由度要如何设计。具体的案例:

用户当前请求、明确拒绝、已有素材和未完成任务,应优先于历史分层。

  1. 不可突破的边界

包括事实、权限、用户真实经历、用户明确限制、平台能力、奖励承诺。

这些由规则、服务端校验和安全机制共同保证,不允许模型突破。

  1. 可参考的案例经验库

担心熟人看到 => 支持查询当前app的可见性设置

素材不足 -> 推荐图文、随手拍等低门槛形式,或引导用户先记录、积累素材

多样性策略

如果用户这次不点击,下次的策略是什么?

① 先判断原因:不感兴趣、时机不对还是门槛太高;② 下次换维度而不是重复:换参与机制(记录→经验→求助)、换表达形式(视频→图文)或降低难度;③ 同类邀请连续被拒 N 次后进入冷却期;④ 保留一定比例的探索位,避免只推用户点过的类型。

入口 - 输出投稿牵引系统的能力给其他场景的Agent

  1. 用户有哪些疑问?

    1. 我适合发什么?我的帖子为什么没人看?最近有什么活动可以参加?发了会不会被熟人看到?
  2. 测测你适合做什么样的博主?通过一系列调查问卷,了解用户的兴趣、生活中有哪些素材。

    1. 网约车司机适合“本地新闻、交通讲解”“乘客趣闻”。对AI Agent的分类准确度有较高要求,定位必须合理,不能看着就离谱,或者要付出很大力气。每种定位和做法,需要给出运营指南。

产品目标

核心指标

指标
核心指标增量投稿作者数、投稿数(实验组相比于对照组的uplift) 可以按照 首次投稿、停更回流、低频用户 分层观察
后续7/30天的再次投稿率
质量指标任务成功率 用户问题得到正确帮助 任务执行成功
过程漏斗:触达->会话->采纳方案->启动创作->发布,用于定位流失环节
护栏指标 投诉率、关闭提升 越权及虚假承诺 单次任务成本,耗时

飞书原文

© 薛俊皓 · 未经作者允许,不得转载。

GitHub 记录

GitHub

这篇文章暂未关联仓库、提交或 PR。

还没有评论,欢迎留下第一个想法。

原文讨论

评论已隐藏或删除,请刷新页面。