木木 LV
发表于 2025-4-8 14:03:46
澄清一下,OpenAI一开始就没有开放对于中国用户的访问权限,也就是说你在中国国内直接访问ChatGPT,出现的是这个东西,也就是压根没在这个地区开放使用权限。
只不过这是OpenAI提供的服务之一,也就是你直接用“网页版/移动版”的ChatGPT APP跟它交互,这个是一直以来中国用户就用不了的。
但是OpenAI不仅提供直接的服务,它还有一项业务是出售API服务,它的全称是Application Programming Interface,简单来说就是你可以把ChatGPT嫁接在你的产品上。
相比起直接使用,很多公司以及项目上用的都是API服务,因为它有两个优点:(1)智能程度高,OpenAI的产品智能程度称霸一年多了,基本上同级别的模型它的性能是最好的。(2)便宜,有人算过OpenAI的API服务比自己搞个服务器运行还要便宜。
这两个优势下导致了很多的公司不约而同的用OpenAI的API,中国的很多公司的AI相关业务也是这么考虑的,因为理论上这是最优解。
但是这次的封禁基本上卡死了这条路,因为OpenAI这次的封禁是直接针对于来自中国的API请求。
这就意味着不得不放弃OpenAI的API服务,因为即使通过各种网络手段来绕开OpenAI的检测,但是终究面临着不稳定的威胁,对于AI服务来说,稳定是非常重要的指标。
那最稳定的解决办法是什么?
那就是自建大模型且服务跑在本地服务器上。
我们刚刚提到的两种AI服务的逻辑,一种就是直接用别家提供的API服务,可以理解为你只需要扔给OpenAI你的问题,然后OpenAI经过思考后把答案再传输给你。
这个思考的过程是在远在天边的OpenAI的服务器干的,你做的就是单纯的发送和接收数据。
你发现这个逻辑的缺点了吗?那就是你其实是被动的一方,如果OpenAI宕机了,或者人家单方面的不想给你提供服务,你是没有半点儿反制手段的,比如OpenAI说了不给某些地区的公司提供服务,那人家是可以立即切断这条服务的。
而蓝色的这个逻辑,理论上是最安全的,因为你的服务跑在本地的服务器,而你服务器保持正常运行,理论上来说你就可以得到源源不断的稳定的AI服务,而且它还有个区别于OpenAI API的最大优势,那就是所有的数据传输只是在本地,所以数据的安全性不言而喻,特别是自己的业务数据需要很高安全级别的话,自建本地AI可以说是唯一选择了。
好在现在的开源大模型很多,我们只需要做简单的训练跟微调就可以拥有自己的专属AI大模型助手,比如根据自己的编程习惯训练出来的AI Agent,可以说是又快又好,事半功倍。
具体的训练思路就是「开源大模型」+「Domain Knowledge」进行知识增强,详细的原理以及训练方法我非常建议去听听业内大佬孙志岗研发的课程,他之前独立开发的AI大模型评测软件ChatALL.ai,几次登上Github的全球热榜第一。对AI大模型感兴趣的,强推去看一下这个公开课,特别是开源模型训练的具体技术细节,一定要仔细听!入口我直接给大家找过来了,直接听就可以⬇️
其实你要做的东西很简单,像开源大模型的预训练以及微调都有现成的流程,而你需要功夫主要集中在「搜集特定领域数据」。
比如你要做一个针对于诊所的AI问诊机器人,通用大模型回答的表现就是泛泛而谈,根本做不到对某一个方向言之有物。
而最好的办法就是给大模型打补丁,通用的做法就是下面三类:RAG、微调或者提示工程。
技术 | 描述 | 优势 | 限制 | RAG(检索增强生成) | 将语言模型生成与外部数据源的检索相结合 | 利用外部知识,提高事实准确性 | 需要外部数据源,可能引入无关信息 | 微调 | 在特定任务或数据集上进一步训练预训练语言模型 | 适应特定领域/任务,利用预训练知识,计算效率高 | 潜在的灾难性遗忘,受限于预训练数据分布 | 提示工程 | 精心设计输入提示以引导语言模型的行为 | 无需重新训练就能引导模型,灵活性强,可以与其他技术结合 | 耗时,需要反复试验,可能泛化效果不佳 | 这三个相比起来提示工程的效果最有限,很难保证模型的输出一致性,还特别依赖于模型本身的智能程度,而微调相对来说会比较稳定,但是对于微调数据以外的问题泛化性能也会打个折扣,而RAG的话可能会引入无关信息。
所以其实并没有完美的解决办法,只能是不停的去试验,甚至可能最后面需要所有的方法都加上才能得到想要的效果。
对于RAG技术,可以参考这个非常火爆的项目:RAGFLow,Github上有1.2万的喜欢。
Fine-tune微调其实各个开源大模型都提供了,比如这是阿里云通义千问文档,它就告诉了你如何进行微调。
比如它提供的第一个微调框架Axolotl,里面就提到了它可以微调大多数的开源大模型。
方法也很简单,准备好它需要的文件,然后用开源框架进行训练即可。
所以说,OpenAI停掉中国服务也不全是坏事,起码可以倒逼其他厂家推出更好的服务,以及开源大模型或许可以抓住这个机会做更广泛的推广。 |
|