你在我这儿 LV
发表于 2025-4-9 13:21:54
尽管我最早不是全部精力都集中在NLP的操作上，但是最近几年一直在做LLM相关的工作，所以我想，NLP未来的路我是很清楚的。未来任何一个方向都变成了LLM或者MMLM了。
所以综合一句话：
打好编程基础，理解以前的各种传统方法与CNN+RNN的大概原理，以后要集中在Transformer上。
编程基础比较好理解，也不难：
建议从Python语言入手，因为它拥有丰富的NLP库和框架，如NLTK、spaCy、Pytorch、Numpy、Pandas、Transformers等。所以掌握Python的基本语法和常用库是进入NLP领域的第一步。
同时你一定要熟悉Pytorch这个现在差不多是AI的开发基础库了。
- Python是AI的开发语言。
- Pytorch是AI的开发基础库。
再简单列个传统方法的基本概念。就是下面这些东西，你要清楚它们的大概原理还有功能，如果做对比实验啥的，能在网上找到现成的代码，然后把环境搭起来，跑个对比结果就好了。
词袋模型（Bag of Words, BoW）、TF-IDF（词频-逆文档频率）、N-Gram模型、词嵌入模型（Word Embeddings）、隐马尔可夫模型（Hidden Markov Model, HMM）、条件随机场（Conditional Random Fields, CRF）
当然了，如果你就特别喜欢把一个学科从头到尾都搞成“通透”，那我真的很佩服你，这个也都是过去的传统NLP必备的基础知识，我想它的核心是HMM，如果你真的搞懂它，其实还是对以后的工作大有裨益的。
再谈核心的未来工作：
CNN与RNN要懂，至少手写代码要没问题才成。同时我真的建议你，把RNN这个东西搞得再深一些：
递归神经网络（Recurrent Neural Networks, RNN）
这是最基础的序列模型了，在过去的NLP处理中，曾经也是SOTA的存在。你可能要读一点儿代码与论文，关于它怎么用在语言建模、文本生成和机器翻译等任务。
长短期记忆网络（Long Short-Term Memory, LSTM）
LSTM是RNN的改进版本，通过引入记忆单元解决梯度消失问题，能够更好地处理长距离依赖。它在机器翻译、文本生成等任务中，是刷新过RNN的。如果没有Transformer这个结构，可能现在大家还在努力想怎么改进RNN。
RNN适合处理短期依赖的序列数据，而LSTM则通过门控机制扩展了记忆能力，能够更好地捕捉长距离依赖。这句并不是空话。
但是当GPT3的1750亿参数公布后，所有干NLP的发现，自己已经被绑到一个不得不上的战车上了。以Transformer为基础结构的LLM，是干NLP的差不多唯一的方向。
我们现在唯一要做的就是掌握大模型的基本原理
如果是初学者，可以从BERT、GPT等预训练模型开始，学习它们的架构和工作原理。特别是以下几点值得关注：
•Transformer架构：理解自注意力机制（Self-attention）和多头注意力（Multi-head attention）是解读大模型的关键。
•预训练与微调：学习如何使用预训练模型，并在特定任务上进行微调（Fine-tuning），如文本分类、机器翻译等。
•阅读最新论文：如阅读关于BERT、GPT系列和最新大模型的论文，以理解模型的改进与应用。
•参加社区讨论：加入Hugging Face等技术社区，学习其他开发者的经验与实践，参与开源项目。
在这个基础上，你可能就要看看自己是不是能系统化的掌握Prompt、RAG、FineTune、Agent这一系列的工作。也许未来你就要在这几个大方向上雕花。
比如FineTune，至少就有下面这几种花儿了。
- Adapter Tuning
- Prompt Tuning
- prefix tuning
- p-tuning & P-tuning V2
- LoRA & AdaLoRA & QLoRA
现在又出现了强化学习（RL）这个方向。也许未来AGI真的靠它来实现呢。所以至少RL与FineTune的结合你要研究一下才成。
当然了，如果你想找个快捷且系统的方法，我推荐你考虑一下知乎知学堂的《用AI大模型弯道超车》。这门课是个免费课程。整个课程的研发核心人员是前得到的副总裁，还是LangChain的贡献者。所以在这一两次的试听课里就能把Transformer这部分讲解得非常透彻。可能你只需要听一次，自己就有了系统的认知了。在AI时代，找到最适合自己、最便捷的方式是很重要的。
我听了所有的试听课，基本上对于Transformer的结构、FineTune什么的都有了不错的介绍。对于我的知识体系，也能做到一个补充性的作用。所以建议你听一下，又不要钱，你为什么不给个机会自己？
现在是不是觉得nlp这事入门不难了。无论是选择慢慢来的自学。还是相对速度与质量都有保障的系统化的学习。你都会发现，自己一定会学会nlp的。
而在现在的AI界。nlp或者说扩展了nlp能力的llm/mmlm已经是整个AI界最火热，也是最基础的功能了。而AI也是以一个指数级的曲线在向前。你如果不在这快速发展的AI中占个位置，可能学会了nlp也会发现屠龙之术无用武之地了。
所以呢，学习要趁早！入局也要趁早，要不然啊，AGI后的世界，人类就是下面这样了！
|
|
