AI-基于LLM的工具

基于LLM做的一些工具,还有一些小想法

随笔,工具
AI-基于LLM的工具

AI真正的价值,不只是能力,而是约束

最近工作中接触到了 LLM Wiki,让我有一种茅塞顿开的感觉。

AI发展到今天,已经进入了一个真正“好用”的阶段。无论是写作、分析、编程,还是处理日常工作,它都能给出相当不错的结果。

但在实际使用过程中,我也一直有一个很明显的感受:

AI虽然能生成内容,但生成的东西经常“不对味”。

它可能写得很完整,也可能看起来很专业,但真正拿到工作中使用时,还是需要反复修改。有时是方向不对,有时是颗粒度不够,有时则是不符合具体业务场景。

最近,我尝试基于大语言模型做一个工作中可以使用的小工具。在这个过程中,我逐渐意识到:

未来真正能够让AI发挥更大价值的,可能不是最会使用AI的人,而是最会约束AI的人。

AI的发展过程,本质上是在不断增加约束

AI刚出现的时候,市面上最火的是“提示词”。

后来出现了 Skill、Agent、各种工作流,以及最近很流行的“养龙虾”。

这些概念看起来不同,但背后的逻辑其实非常相似:通过规则、流程、工具和上下文,对AI的行为进行约束。

AI本身的能力已经很强。

从各种基准测试和考试成绩来看,AI在很多领域可能已经超过了绝大多数普通人。单纯比考试、知识储备或者信息处理能力,人类未必还能占据明显优势。

但在实际工作中,不同人使用AI的效果却天差地别。

同样是AI,有人只能让它生成一些泛泛而谈的文字;有人却能让它稳定地完成复杂任务,甚至直接嵌入生产流程。

这说明,AI的基础能力只是下限。

真正决定最终产出质量的,是使用者能否把自己的需求转化成明确的规则、流程和限制条件。

为什么有些AI产品更好用

现在市面上的 Codex、Claude,以及各种基于大模型开发的产品,实际使用体验差异非常明显。

有些产品让人感觉非常顺手,有些产品明明使用的是同等级的大模型,结果却始终不够好用。

过去我不太理解这种差异。

但在开发这个小工具的过程中,我发现,所谓AI产品设计,很大一部分工作其实是在不断地给AI:

  • 制定规则;
  • 规定流程;
  • 提供上下文;
  • 明确输出格式;
  • 限制禁止事项;
  • 在关键节点进行检查和纠正。

换句话说,模型本身可能没有发生变化,但不同的约束方式,会产生完全不同的结果。

AI像一场大雨

我现在更愿意把AI比作一场大雨。

雨水已经非常充沛,甚至可以说取之不尽。但对普通个人来说,我们往往只能张开嘴,接住其中很少的一部分。

而那些大型公司的AI产品,就像一个个制作精良的漏斗。

它们通过产品设计、业务流程、知识库和规则,把更多的AI能力汇聚起来,再准确地输送到用户面前。

当然,我们未必能够做出和大厂一样精密的漏斗。

但我们也可以找到一些叶子,把它卷起来,制作一个简单的工具。

它可能不够漂亮,也不够通用,却可以解决自己工作中的具体问题。

这也是我开始制作这个小工具的原因。

我的第一个AI工具:游戏测试用例生成器

我目前从事游戏测试工作。

在我的理解中,大部分游戏测试内容可以拆分成三个部分:

  1. 表现层测试:主要是客户端表现,例如UI、动画、特效、文本、交互反馈等;
  2. 功能层测试:主要验证服务器逻辑、数值计算、状态变化和功能流程;
  3. 耦合测试:验证不同功能、系统和模块之间相互影响时产生的问题。

简单来说,就是:

客户端表现、服务器功能,以及不同系统之间的耦合。

游戏测试用例通常需要根据策划文档进行编写。

传统的方式,是测试人员阅读策划文档,理解功能设计,再逐步拆分测试点、异常场景和边界条件。

而我制作的用例生成器,就是尝试让AI完成其中一部分工作。

它并不是简单地把策划文档丢给AI,然后要求它“生成测试用例”。

因为这样生成出来的内容通常比较泛,缺少业务深度,也无法稳定满足实际需求。

我真正做的事情,是先对游戏测试过程进行拆解,然后为不同部分制定规则,例如:

  • 表现层应该检查哪些内容;
  • 功能层需要验证哪些状态;
  • 输入和输出之间应该如何对应;
  • 哪些场景需要进行边界测试;
  • 哪些系统之间可能产生耦合;
  • 用例应该采用什么格式;
  • 哪些内容不能重复;
  • 哪些结论不能凭空推测。

通过这些规则,对AI生成的内容进行控制,最终让输出逐渐接近我真正想要的结果。

从结果倒推规则

制作这个工具的过程,本质上是一个循环。

首先,我会让AI生成一版测试用例。

然后检查结果中存在哪些问题:

  • 是否漏掉了关键测试点;
  • 是否存在大量重复内容;
  • 是否只覆盖了正常流程;
  • 是否缺少异常和边界场景;
  • 是否没有考虑系统之间的影响;
  • 是否对策划文档中没有说明的内容进行了猜测。

接着,我会根据这些问题修改规则。

再让AI重新生成,再次检查结果。

整个过程可以概括为:

从结果倒推规则,再通过规则获得新的结果,然后不断循环优化。

随着规则越来越完整,AI生成结果的稳定性也会越来越高。

到这个时候,AI就不再只是一个聊天工具,而是逐渐变成了一个能够参与实际工作的生产工具。

最后的感受

过去我们谈论AI,更多是在讨论模型有多聪明、参数有多大、考试成绩有多高。

但真正开始把AI用到工作中之后,我越来越觉得:

AI能力的上限由模型决定,而AI价值的实现程度,则由约束决定。

未来,人与AI之间的差距,可能不仅仅是谁更懂AI,也不仅仅是谁更会写提示词。

真正重要的能力,是能否理解业务、拆解流程、制定规则,并把自己的经验转化成AI能够执行的系统。

AI不会自动理解我们想要什么。

但只要我们能够把“想要的结果”拆解成清晰的规则,它就有可能成为一个非常强大的执行者。

这或许也是普通人使用AI最现实的一条路径:

不一定要制造一场雨,也不一定要拥有大厂的漏斗。

先从身边的问题出发,卷一片属于自己的叶子。