如何系统学习自然语言处理(NLP)?

最好能推荐一些经典书籍、论文
收藏者
0
被浏览
62

5 个回答

沐沐君观宇宙 LV

发表于 2025-4-9 13:58:23

这篇回答绝对是2024年最全的自然语言处理路线和未来规划,包括语言大模型(Large Language Model, LLM) 详细路线。
认识自然语言处理

自然语言处理的发展历史仅有六七十年的时间,但是发展迅速,尤其是ChatGPT里程碑式的突破,更是实现了人机交互的顶峰。
在上世纪 50 年代到 70 年代,人们对用计算机处理自然语言的认识都局限在人类学习语言的方式上,用了二十多年时间苦苦探寻让计算机理解语言的方法,最终却一无所获。
阶段一:当时学术界普遍认为完成NLP任务必须让计算机理解自然语言,在这个阶段出现了很多的专家定义的语法规则。但是这些规则仅仅能覆盖部分,不同的语法规则还存在项目矛盾的情况。
阶段二:神经网络的出现,改变了这一场景。通过神经网络对自然语言进行建模形成一组机器可以理解的向量,成为词向量。也是这个阶段,自然语言的语义通过神经网络学习了出来,而不是通过专家来定义规则。
从技术来看,在阶段一当中诸多任务通常采用的是传统机器学习方法;在阶段二大量引入深度学习的方法来进行处理。
自然语言处理任务

按照类别划分自然语言处理任务可以划分成两类,自然语言理解和自然语言生成。

如何系统学习自然语言处理(NLP)?-1.jpg

自然语言理解主要是让机器理解输入的自然语言,任务包括文本分类、情感分析、信息提取、信息检索等等方面。
自然语言生成则是让机器能够输出我们人类可以看懂的自然语言,任务包括文本生成、对话机器人、机器翻译等等方面。
自然语言技术

自然语言处理技术的发展十分迅速,不仅仅需要回顾过去的知识,还需要展望未来技术。
很多小伙伴一开始都不知道应该从哪里入手,如果按照历史方式 一点点学习的话感觉会花费大量时间在传统方法上;
如果不管历史知识,上手就是深度学习的话也会出现沙上建塔,在某些问题上出现唯深度学习论的情况
下面我给出一个建议,如何安排自己的时间在每一个部分。

如何系统学习自然语言处理(NLP)?-2.jpg

20%时间:用于传统机器学习算法的学习,同时包括一些数据预处理方法(词形还原、词干提取、停用词去除等等),还有一些语义特征规则的学习,包括词袋模型、N-gram模型、TF-IDF等等。这些东西在目前来看很少会用得到,但是能够让你对自然语言处理的演变过程有着理解。
60%时间:这个部分算是重中之重,其中包括词向量的演变过程、神经网络知识、深度学习模型、还有2017年超级火热的Attention机制,最后还有统治过一段时间的ELMO、GPT、BERT等等模型。最重要的就是在这个阶段认识自己的目标任务,并能够跟随最新研究成果。
20%时间: 这个时间最重要的部分是让你认识到当下最火热的技术是什么,无可厚非就是LLM技术,在这个阶段就必须对开源大模型的模型有着深度的理解。在此基础上位了迎合当下最火热的技术,还需要学会模型的微调、部署、预训练等等技术。
LLM领域会划分为两个领域:模型研究模型落地。模型研究领域肯定被一大波顶级AI领域大牛们畅想未来,而模型落地就与我们程序员更进一步了,模型的训练微调、数据集的处理、如何上线、工程优化等等。
说白了,LLM大模型的理解必须需要有一个引路人,这里我就直接给大家推荐知乎知学堂发布的大模型直播课,手把手引你入门大模型、模型微调、模型理解、模型落地和搭建。入口就在下面,趁着还是0元抓紧上车吧↓


对了,课上关于Transformer 的原理、使用Fine-Tuning进行模型微调的方面,一定要仔细听,学完你也可以定制属于自己的大模型。
学习资源推荐

机器学习

虽然目前是深度学习的时代,我们也很少使用传统机器学习的算法来解决问题,但是一方面一些基础概念仍然是相通的,另一方面经典机器学习算法的思想,如 EM、LDA 等,在深度学习时代往往能够历久弥新,以另一种方式焕发出新的光彩。 对于想要快速入门的初学者来说,建议先熟悉机器学习基础概念(什么是机器学习,机器学习用来干什么,什么是数据集,如何对机器学习算法进行评测等),了解几种具体的经典机器学习算法。

  • <a href="http://link.zhihu.com/?target=https%3A//www.bilibili.com/video/BV164411b7dxfrom%3Dsearch%26seid%3D13732295711057612613" class=" wrap external" target="_blank" rel="nofollow noreferrer">吴恩达机器学习系列课程

    • 吴恩达老师在Coursera上的公开课视频,内容偏向理论而并非实战,适合初学机器学习、深度学习的同学

  • 李宏毅机器学习(2017)

    • 台大教授李宏毅制作的,经常被认为机器学习中文课程的首选,而且课程风格诙谐幽默,这就让枯燥的课程变的有趣许多。而且最重要的是,课程中布置了很多作业

  • 机器学习白板推导系列

    • 来自清华的大佬手把手教你从开局一个白板,推导所有的机器学习模型。最大的特点是先列出整体框架,在单张去分解重点,符合我们学习方式。

  • 西瓜书/统计学习方法

    • 如果说真的需要选择一本教材的话,还是推荐周志华老师的《西瓜书》或者李航老师的《统计学习方法》


机器学习方面暂时学习到这里就已经足够了,上面陈述的视频选择一个或者多个学习,如果有基础的我强推白板推导系列,对我而言简直醍醐灌顶的解决方法。《统计学习方法》和《西瓜书》选择一个进行学习就足够,在这个阶段能够知道各个算法的优缺点以及使用场景就好,具体的算法模型推导理解就行。
深度学习

深度学习的发展为我们的世界带来了巨大的改变,2018的图灵奖也颁给了对深度学习有卓越贡献的 Yoshua Bengio、Yann LeCun、Geoffrey Hinton。
图书:Deep Learning(GoodFellow, Bengio, Courville),神经网络与深度学习(邱锡鹏)
深度学习基础知识


  • 深度学习基础知识
  • 深度学习简介 - 麻省理工学院
  • 深入研究深度学习(英文) | (Ar) 版本➡️第 1 部分和第 2 部分
  • 深度学习加州大学伯克利分校
  • 深入 DL 的 github
对于初学者来说,仅仅了解深度学习的基本概念、基本算法是不够的,更应当到代码当中去获得更为直观和深入的认识。大家可能也听说过 TensorFlow、PyTorch 这样的深度学习框架,目前学术界通常使用 PyTorch。
PyTorch 对初学者也提供了快速入门指南和 tutorial,对于 tutorial,建议从简单的图像分类算法学起,然后再进一步学习简单的文本分类、简单的文本生成等自然语言处理相关教程。
PyTorch 提供了非常详细的文档,遇到不明白的函数、概念都可以在文档中进行查询和学习
自然语言处理技术

分词 Word Segmentation

词是能够独立活动的最小语言单位。 在自然语言处理中,通常都是以词作为基本单位进行处理的。由于英文本身具有天生的优势,以空格划分所有词。而中文的词与词之间没有明显的分割标记,所以在做中文语言处理前的首要任务,就是把连续中文句子分割成「词序列」。这个分割的过程就叫分词
综述研究

  • 汉语分词技术综述 {Paper}
  • 国内中文自动分词技术研究综述 {Paper}
  • 汉语自动分词的研究现状与困难 {Paper}
  • 汉语自动分词研究评述 {Paper}
  • 中文分词十年又回顾: 2007-2017 {Paper}    <br/>词嵌入 Word Embedding<br/>词嵌入就是找到一个映射或者函数,生成在一个新的空间上的表示,该表示被称为「单词表示」。<br/>综述文章,总结词嵌入方式
  • Word Embeddings: A Survey {Paper}
  • Visualizing Attention in Transformer-Based Language Representation Models {Paper}
  • PTMs: Pre-trained Models for Natural Language Processing: A Survey {Paper} {Blog}
  • Efficient Transformers: A Survey {Paper}
  • A Survey of Transformers {Paper}   <br/>Word2Vec<br/>Word2Vec于2013年推出,使用香草神经网络从原始文本中学习高维单词嵌入。它有两种变体:Skip-Gram,其中我们尝试在给定目标单词的情况下预测周围的单词,以及连续词袋(CBOW),它试图从周围的单词中预测目标单词。在训练后丢弃最后一层后,这些模型将一个单词作为输入并输出一个单词嵌入,该嵌入可用作许多 NLP 任务的输入。来自 Word2Vec 捕获上下文的嵌入。如果特定单词出现在类似的上下文中,则它们的嵌入将是相似的。

如何系统学习自然语言处理(NLP)?-3.jpg


GLoVE类似于Word2Vec,因为它也学习词嵌入,但它通过使用矩阵分解技术而不是神经学习来实现。GLoVE 模型基于全局单词到单词共现计数构建矩阵。
ELMO
2018 年 ELMO 模型的提出,直接在词向量端给出了一种简洁优雅的解决方案。与 Word2Vec 训练好之后就固定了的静态词向量不同,ELMO 会自动地根据词语的上下文信息去动态调整词语的词向量,因此自然就解决了多义词问题。
具体地,ELMO 首先利用语言模型进行预训练,然后在实际使用时,从预训练网络中提取各层的词向量拼接起来作为新的词向量。


如何系统学习自然语言处理(NLP)?-4.jpg


BERT
2018 年底随着 BERT 的提出,这一阶段神经语言模型的发展终于出现了一位集大成者,它在 11 个 NLP 任务上都达到了最好性能。
BERT 在模型大框架上采用和 GPT 完全相同的两阶段模型,首先是语言模型预训练,然后使用微调模式解决下游任务。BERT 不仅像 GPT 模型一样采用 Transformer 作为编码器,而且在预训练阶段采用了类似 ELMO 的双向语言模型。


如何系统学习自然语言处理(NLP)?-5.jpg


论文总结

  • NNLM: A Neural Probabilistic Language Model {Paper} {Code} {Blog}
  • W2V: Efficient Estimation of Word Representations in Vector Space {Paper}
  • Glove: Global Vectors for Word Representation {Paper}
  • CharCNN: Character-level Convolutional Networks for Text Classification {Paper} {Blog}
  • ULMFiT: Universal Language Model Fine-tuning for Text Classification {Paper}
  • SiATL: An Embarrassingly Simple Approach for Transfer Learning from Pretrained Language Models {Paper}
  • FastText: Bag of Tricks for Efficient Text Classification {Paper}
  • CoVe: Learned in Translation: Contextualized Word Vectors {Paper}
  • ELMo: Deep contextualized word representations {Paper}
  • Transformer: Attention is All you Need {Paper} {Code} {Blog}
  • GPT: Improving Language Understanding by Generative Pre-Training {Paper}
  • GPT2: Language Models are Unsupervised Multitask Learners {Paper} {Code} {Blog}
  • GPT3: Language Models are Few-Shot Learners {Paper} {Code}
  • GPT4: GPT-4 Technical Report {Paper}
  • BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding {Paper} {Code} {Blog}
  • UniLM: Unified Language Model Pre-training for Natural Language Understanding and Generation {Paper} {Code} {Blog}
  • T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer {Paper} {Code} {Blog}
  • ERNIE(Baidu): Enhanced Representation through Knowledge Integration {Paper} {Code}
  • ERNIE(Tsinghua): Enhanced Language Representation with Informative Entities {Paper} {Code}
  • RoBERTa: A Robustly Optimized BERT Pretraining Approach {Paper}
  • ALBERT: A Lite BERT for Self-supervised Learning of Language Representations {Paper} {Code}
  • TinyBERT: Distilling BERT for Natural Language Understanding {Paper}
  • FastFormers: Highly Efficient Transformer Models for Natural Language Understanding {Paper} {Code}   <br/>Attention机制
    Attention 机制如果浅显理解的话,跟他的名字很契合,他的核心逻辑就是“从关注到聚焦”。
    Attention 机制跟人类看图片的逻辑很相似,我们在看一张图片的时候,并不是看图片的全貌,而是关注图片的重点部分。
    Attention 机制最早是在计算机视觉中应用的,随后在 NLP 领域开始得到应用,真正得到推广是在 NLP 领域,因为 2018 年 BERT 和 GPT 的效果出奇的好,进而大受欢迎,而 Transform和 Attention 这些核心也开始被重点关注。
    第 1 步:query与key进行相似度计算,得到权重
    第 2 步:对权重进行归一化,得到直接可用的权重
    第 3 步:加权并对权重和值求和

如何系统学习自然语言处理(NLP)?-6.jpg


Transformer
Transformer 是 Google 在 2017 年的《You have been warning! Is All You Need》论文中提出的。Transformer 是一个完全基于注意力机制的编解码模型,它摒弃了在引入注意力机制之前其他模型所保留的循环和卷积结构,而采用了自注意力机制,在任务性能上有了显著的提升,并且易于训练。

在Transformer出现之前,基于神经网络的机器翻译模型大多采用RNN模型架构,依靠循环函数进行有序序列操作。虽然RNN架构拥有强大的序列建模能力,但是存在训练速度慢、训练质量不高等问题。

与基于 RNN 的方法不同,Transformer 模型中没有循环结构,而是并行处理序列中的所有单词或符号,并直接通过自注意力机制对句子中所有单词之间的关系进行建模,而不考虑它们各自的位置。具体来说,如果要计算给定单词的下一个表征,Transformer 会将该单词与句子中的其他单词逐一进行比较,并得出这些单词的注意力分数。注意力分数决定了其他单词对给定词汇表的语义影响。然后,将注意力分数作为所有单词表征的平均权重,这些表征被输入到全连接网络中以生成新的表征。

由于 Transformer 并行处理所有单词,并且每个单词可以通过多个处理步骤链接到其他单词,因此它比 RNN 模型训练得更快,在翻译任务中的表现也比 RNN 模型更好。除了计算性能和更高的准确性之外,Transformer 的另一个亮点是能够可视化网络注意力的部分,特别是在处理或翻译给定单词时,因此可以深入了解信息是如何通过网络传输的。

后来,谷歌研究人员对标准 Transformer 模型进行了扩展,采用了一种新的、注重效率的时间并行循环结构,使其具备通用计算能力,并在更多任务中取得更好的结果。
当然如果你对想要对Transformer部分有着更深入的了解,以及Transomer在未来对LLM的影响的话,建议看看一下课程

课上以Transformer为切入口详细讲解了Transformer的由来已经在LLM上的使用、训练调优等等知识点,可以对你的学习更有帮助。


如何系统学习自然语言处理(NLP)?-7.jpg


会议论文
主要阅读国际会议论文,相关的会议有:

  • 自然语言处理相关会议:ACL, EMNLP, NAACL, COLING(按影响力排序)
  • ML 理论:ICML, NeurIPS, ICLR
  • AI 应用:AAAI, IJCAI(这两个会议近年来影响力下降)
总结

这个回答算是尽可能总结了所有的自然语言所需要的基本内容,不论是传统的自然语言处理方法还是深度学习领域的处理方法都是涵盖在内,更重要的是增加了LLM内容,紧跟当前火热大模型。
看到这里,希望您 点赞+关注+收藏 三连 支持一下,创作不易

麻辣烫 LV

发表于 2025-4-9 14:13:05

如何系统学习自然语言处理(NLP)?

    自然语言处理(NLP)是人工智能领域的一个重要分支,它涉及计算机和人类(自然)语言之间的相互作用。系统学习NLP需要坚实的基础知识和实践技能。以下是一份详细的学习路径,旨在帮助您系统地掌握NLP。

如何系统学习自然语言处理(NLP)?-1.jpg

1. 基础知识建设


  • 数学基础:学习线性代数、概率论、统计学和微积分。这些是理解NLP算法背后原理的基石。
  • 编程基础:熟悉Python编程语言,因为大多数NLP库和框架都是用Python编写的。
  • 数据结构与算法:掌握基本的数据结构和算法,这对于编写高效NLP代码至关重要。

如何系统学习自然语言处理(NLP)?-2.jpg

2. 语言基础


  • 语言学:了解基本的语言学概念,如语法、语义和句法。
  • 自然语言处理概述:阅读NLP的入门书籍或课程,了解该领域的历史、发展和主要任务。
3. 学习NLP核心技术


  • 文本预处理:学习如何清洗和准备文本数据,包括分词、词性标注、停用词去除等。
  • 词嵌入:了解词嵌入(如Word2Vec、GloVe)的概念和应用,它们是表示文本数据的重要工具。
  • 机器学习基础:学习基本的机器学习算法,如朴素贝叶斯、决策树和随机森林,以及它们在NLP中的应用。
  • 深度学习:熟悉神经网络的基础,特别是循环神经网络(RNN)、长短期记忆网络(LSTM)和Transformer架构,这些都是NLP中常用的深度学习模型。

如何系统学习自然语言处理(NLP)?-3.jpg

4. 实践和项目


  • 使用NLP库:实践使用流行的NLP库,如NLTK、spaCy、gensim和Transformers。
  • 实际项目:参与实际项目,如情感分析、文本分类、机器翻译或聊天机器人,以加深理解。
  • 开源贡献:参与开源项目,了解最新的NLP技术和趋势。
5. 高级主题和最新趋势


  • 预训练模型:研究BERT、GPT等预训练模型,了解它们如何改变NLP领域。
  • 跨学科学习:探索NLP与其他领域的结合,如语音识别、计算机视觉和强化学习。
6. 持续学习和资源


  • 参加在线课程:利用Coursera、edX等平台上的NLP课程。
  • 阅读论文:关注顶级会议(如ACL、NAACL、EMNLP)的最新研究论文。
  • 加入社区:参与NLP相关的论坛、社交媒体群组和本地Meetup,与同行交流。
7. 职业发展


  • 实习和工作经验:在相关领域获得实际工作经验,如数据科学、机器学习工程师。
  • 建立作品集:创建一个展示您NLP项目的个人网站或GitHub仓库。
    系统学习NLP是一个持续的过程,需要时间和努力。但通过上述步骤,您可以构建一个坚实的知识体系,并在实践中不断提高。记住,NLP是一个快速发展的领域,保持好奇心和持续学习的态度至关重要。

大模型之路 LV

发表于 2025-4-9 14:21:44

推荐一本书,直接从transformers开始学习nlp,定位很符合在大模型时代想快速入门的小白:
读完上面的书,你应该对nlp,transformers,预训练模型等概念有所了解了。绝知此事要躬行。请务必把一些经典模型下载下来并运行体验一下。
如果英文不错,再推一本经典书:Speech and Language Processing。作者是斯坦福的,正在写第三版,核心章节在他们官网上都有。我从七八年前就在追这本书,难得的佳作。

jshrjx LV

发表于 2025-4-9 14:33:31

系统学习自然语言处理(NLP)技术是一个涉及理论学习、实践应用和持续更新知识的过程。以下是一些步骤和建议:
1.建立数学和统计学基础:NLP 依赖于数学和统计学原理,因此,你需要对概率论、统计学、线性代数和最优化方法有基本的了解。
2.学习计算机科学基础:掌握计算机科学的基础知识,包括数据结构、算法、编程语言(尤其是Python或Java)和软件开发的基本概念。
3.理解机器学习:学习机器学习的基本概念,包括监督学习、非监督学习、强化学习以及相关的机器学习算法。
4.阅读经典教材:以下是一些推荐的经典NLP书籍,它们涵盖了NLP的基础和高级主题:


    • 《自然语言处理综述》(Daniel Jurafsky & James H. Martin)
    • 《Speech and Language Processing》(Daniel Jurafsky & James H. Martin)
    • 《深度学习》(Ian Goodfellow, Yoshua Bengio, Aaron Courville)
    • 《Python自然语言处理》(Steven Bird, Ewan Klein, Edward Loper)

5.学习NLP工具和框架:熟悉NLP相关的库和框架,如NLTK、spaCy、TensorFlow、PyTorch和transformers。
6.研究前沿论文:阅读和理解NLP领域的顶级会议和期刊论文,如ACL (Association for Computational Linguistics)、NAACL (North American Chapter of the ACL)、EMNLP (Empirical Methods in Natural Language Processing)等等。
当然,经典论文[1]的阅读也是不可或缺的:

  • Word2Vec (Mikolov et al., 2013):提出了一种生成词向量的方法,对后续的NLP任务如文本分类、情感分析等有重要影响。
  • BERT (Devlin et al., 2018):提出了一种预训练深度双向变换器模型,用于理解语言,对NLP领域产生了深远的影响。
  • Transformer (Vaswani et al., 2017):提出了基于自注意力机制的深度学习模型,为后续的模型如BERT提供了基础。
  • GloVe (Pennington et al., 2014):提出了一种全局词向量生成方法,与Word2Vec类似,但使用了不同的方法学。
  • Attention Is All You Need (Vaswani et al., 2017):详细介绍了Transformer模型,对NLP中的序列到序列任务有重大影响。
  • TextCNN (Kim, 2014):提出了一种使用卷积神经网络进行句子分类的方法,对文本分类任务有重要贡献。
  • FastText (Bojanowski et al., 2016):提出了一种文本分类方法,通过学习词的n-gram特征,提高了分类的准确性。
7.参与在线课程:参加在线课程,如Coursera、edX、Udacity或B站提供的NLP相关课程。

  • Udacity的自然语言处理课程
    课程链接:Natural Language Processing Course | Udacity
  • edX上的自然语言处理课程
    课程链接:Best Online Natural Language Processing Courses & Programs | edX
  • Coursera上的自然语言处理专项课程(由deeplearning.ai提供)
    课程链接:Natural Language Processing Specialization - Coursera
8.动手实践:通过实际项目来应用所学知识,参与开源项目或个人项目,解决实际问题。
9.持续学习:NLP是一个快速发展的领域,持续关注最新的研究和技术进展。
<hr/>初学者可以通过这些步骤,系统地学习NLP技术,并逐渐在该领域内进行深入研究。但是,实践是学习的关键,不断地尝试应用所学知识解决实际问题才能加深理解并掌握所学内容。

流风回雪 LV

发表于 2025-4-9 14:46:30

自然语言处理(NLP)是人工智能领域的一个重要分支,主要研究如何让计算机理解和处理人类语言。随着深度学习等技术的发展,NLP 已在机器翻译、语音识别、情感分析等领域取得了显著的成果。要系统地学习 NLP,可以遵循以下步骤:

如何系统学习自然语言处理(NLP)?-1.jpg


图片来源网络,如有侵权,请联系删除

1.基础知识储备

在开始学习 NLP 之前,需要具备一定的数学和编程基础。数学方面,线性代数、概率论和统计学、微积分等基本概念是必不可少的。编程方面,熟悉 Python 或其他编程语言,能够使用数据处理库(如 NumPy、Pandas)和机器学习库(如 scikit-learn)进行数据分析。
2.学习 NLP 基础概念

了解 NLP 的基本概念和技术,包括词性标注、句法分析、语义分析、实体识别等。推荐阅读《自然语言处理综述》(Jurafsky 和 Martin 著),这本书详细介绍了 NLP 的基本概念、技术和应用,适合初学者入门。
3.深入学习 NLP 技术

在掌握 NLP 基础概念后,可以深入学习一些经典技术和算法。例如:

  • 词嵌入(Word Embedding):将词汇映射为低维向量,如 Word2Vec、GloVe 等。
  • 递归神经网络(RNN):处理序列数据,如 LSTM、GRU 等。
  • 卷积神经网络(CNN):提取局部特征,用于文本分类等任务。
  • 生成式预训练模型(如 GPT):基于自回归语言模型,生成自然语言文本。
  • 转换式预训练模型(如 BERT):基于自编码语言模型,提取文本特征。
推荐阅读相关论文,如《Efficient Estimation of Word Representations in Vector Space》、《Sequence to Sequence Learning with Neural Networks》、《Attention Is All You Need》等。
4.实践项目和论文复现

理论学习与实践相结合,动手实践 NLP 项目和复现经典论文。可以从简单的项目开始,如文本分类、情感分析等,逐步提高难度。在实践过程中,可以参考开源代码和教程,如 GitHub 上的 NLP 项目、Kaggle 竞赛等。
5. 深入了解前沿技术和应用

关注 NLP 领域的最新动态,了解前沿技术和应用。可以阅读顶级会议和期刊的论文,如 ACL、EMNLP、NAACL、TACL 等。此外,参加学术会议、研讨会和讲座,与同行交流,也有助于了解前沿动态。
6.拓展阅读和研究

在掌握 NLP 基础知识和实践能力的基础上,可以拓展阅读相关领域的书籍和论文,如计算语言学、认知心理学、人机交互等。同时,开展自己的研究项目,尝试解决实际问题或提出新的方法。

如何系统学习自然语言处理(NLP)?-2.jpg


图片来源网络,如有侵权,请联系删除

以下是一些建议的 NLP 经典书籍和论文:
书籍:


  • 《自然语言处理综述》(Jurafsky 和 Martin 著)
  • 《统计学习方法》(李航 著)
  • 《深度学习》(Goodfellow、Bengio 和 Courville 著)
  • 《自然语言处理与计算语言学》(黄昌宁 著)
论文:


  • Bengio, Y., Ducharme, R., Vincent, P., & Janvin, C. (2003). A neural probabilistic language model. Journal of machine learning research, 3(Feb), 1137-1155.
  • Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems (pp. 3111-3119).
  • Pennington, J., Socher, R., & Manning, C. D. (2014). GloVe: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP) (pp. 1532-1543).
  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention is all you need. In Advances in neural information processing systems (pp. 5998-6008).
  • Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
通过以上步骤,可以系统地学习 NLP,并不断提高自己在该领域的技能和知识。

如何系统学习自然语言处理(NLP)?-3.jpg

您需要登录后才可以回帖 登录 | 立即注册