AI-基于LLM的工具
基于LLM做的一些工具,还有一些小想法
AI真正的价值,不只是能力,而是约束
最近工作中接触到了 LLM Wiki,让我有一种茅塞顿开的感觉。
AI发展到今天,已经进入了一个真正“好用”的阶段。无论是写作、分析、编程,还是处理日常工作,它都能给出相当不错的结果。
但在实际使用过程中,我也一直有一个很明显的感受:
AI虽然能生成内容,但生成的东西经常“不对味”。
它可能写得很完整,也可能看起来很专业,但真正拿到工作中使用时,还是需要反复修改。有时是方向不对,有时是颗粒度不够,有时则是不符合具体业务场景。
最近,我尝试基于大语言模型做一个工作中可以使用的小工具。在这个过程中,我逐渐意识到:
未来真正能够让AI发挥更大价值的,可能不是最会使用AI的人,而是最会约束AI的人。
AI的发展过程,本质上是在不断增加约束
AI刚出现的时候,市面上最火的是“提示词”。
后来出现了 Skill、Agent、各种工作流,以及最近很流行的“养龙虾”。
这些概念看起来不同,但背后的逻辑其实非常相似:通过规则、流程、工具和上下文,对AI的行为进行约束。
AI本身的能力已经很强。
从各种基准测试和考试成绩来看,AI在很多领域可能已经超过了绝大多数普通人。单纯比考试、知识储备或者信息处理能力,人类未必还能占据明显优势。
但在实际工作中,不同人使用AI的效果却天差地别。
同样是AI,有人只能让它生成一些泛泛而谈的文字;有人却能让它稳定地完成复杂任务,甚至直接嵌入生产流程。
这说明,AI的基础能力只是下限。
真正决定最终产出质量的,是使用者能否把自己的需求转化成明确的规则、流程和限制条件。
为什么有些AI产品更好用
现在市面上的 Codex、Claude,以及各种基于大模型开发的产品,实际使用体验差异非常明显。
有些产品让人感觉非常顺手,有些产品明明使用的是同等级的大模型,结果却始终不够好用。
过去我不太理解这种差异。
但在开发这个小工具的过程中,我发现,所谓AI产品设计,很大一部分工作其实是在不断地给AI:
- 制定规则;
- 规定流程;
- 提供上下文;
- 明确输出格式;
- 限制禁止事项;
- 在关键节点进行检查和纠正。
换句话说,模型本身可能没有发生变化,但不同的约束方式,会产生完全不同的结果。
AI像一场大雨
我现在更愿意把AI比作一场大雨。
雨水已经非常充沛,甚至可以说取之不尽。但对普通个人来说,我们往往只能张开嘴,接住其中很少的一部分。
而那些大型公司的AI产品,就像一个个制作精良的漏斗。
它们通过产品设计、业务流程、知识库和规则,把更多的AI能力汇聚起来,再准确地输送到用户面前。
当然,我们未必能够做出和大厂一样精密的漏斗。
但我们也可以找到一些叶子,把它卷起来,制作一个简单的工具。
它可能不够漂亮,也不够通用,却可以解决自己工作中的具体问题。
这也是我开始制作这个小工具的原因。
我的第一个AI工具:游戏测试用例生成器
我目前从事游戏测试工作。
在我的理解中,大部分游戏测试内容可以拆分成三个部分:
- 表现层测试:主要是客户端表现,例如UI、动画、特效、文本、交互反馈等;
- 功能层测试:主要验证服务器逻辑、数值计算、状态变化和功能流程;
- 耦合测试:验证不同功能、系统和模块之间相互影响时产生的问题。
简单来说,就是:
客户端表现、服务器功能,以及不同系统之间的耦合。
游戏测试用例通常需要根据策划文档进行编写。
传统的方式,是测试人员阅读策划文档,理解功能设计,再逐步拆分测试点、异常场景和边界条件。
而我制作的用例生成器,就是尝试让AI完成其中一部分工作。
它并不是简单地把策划文档丢给AI,然后要求它“生成测试用例”。
因为这样生成出来的内容通常比较泛,缺少业务深度,也无法稳定满足实际需求。
我真正做的事情,是先对游戏测试过程进行拆解,然后为不同部分制定规则,例如:
- 表现层应该检查哪些内容;
- 功能层需要验证哪些状态;
- 输入和输出之间应该如何对应;
- 哪些场景需要进行边界测试;
- 哪些系统之间可能产生耦合;
- 用例应该采用什么格式;
- 哪些内容不能重复;
- 哪些结论不能凭空推测。
通过这些规则,对AI生成的内容进行控制,最终让输出逐渐接近我真正想要的结果。
从结果倒推规则
制作这个工具的过程,本质上是一个循环。
首先,我会让AI生成一版测试用例。
然后检查结果中存在哪些问题:
- 是否漏掉了关键测试点;
- 是否存在大量重复内容;
- 是否只覆盖了正常流程;
- 是否缺少异常和边界场景;
- 是否没有考虑系统之间的影响;
- 是否对策划文档中没有说明的内容进行了猜测。
接着,我会根据这些问题修改规则。
再让AI重新生成,再次检查结果。
整个过程可以概括为:
从结果倒推规则,再通过规则获得新的结果,然后不断循环优化。
随着规则越来越完整,AI生成结果的稳定性也会越来越高。
到这个时候,AI就不再只是一个聊天工具,而是逐渐变成了一个能够参与实际工作的生产工具。
最后的感受
过去我们谈论AI,更多是在讨论模型有多聪明、参数有多大、考试成绩有多高。
但真正开始把AI用到工作中之后,我越来越觉得:
AI能力的上限由模型决定,而AI价值的实现程度,则由约束决定。
未来,人与AI之间的差距,可能不仅仅是谁更懂AI,也不仅仅是谁更会写提示词。
真正重要的能力,是能否理解业务、拆解流程、制定规则,并把自己的经验转化成AI能够执行的系统。
AI不会自动理解我们想要什么。
但只要我们能够把“想要的结果”拆解成清晰的规则,它就有可能成为一个非常强大的执行者。
这或许也是普通人使用AI最现实的一条路径:
不一定要制造一场雨,也不一定要拥有大厂的漏斗。
先从身边的问题出发,卷一片属于自己的叶子。