浅谈Python NLP入门教程
正文 本文简要介绍Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python
程序员文章站2022-07-02IT编程NLP之简单笔记：LSTM
目录一. LSTM简介二. LSTM的计算过程三. LSTM的参数计算四. LSTM为什么能解决梯度消失的问题4.1 RNN出现梯度消失或者爆炸的原因4.2 LSTM缓解梯度消失的原因一. LSTM简介LSTM：即Long Short-tem Memory，长短期记忆神经网络，1997年就被提出来了...
程序员文章站2022-07-01打破华尔街NLP算法记录, 创业两年成市场头号玩家 |「玩秘」余轲
余轲坦陈创业种子的萌发，是受到乔布斯在母校斯坦福大学毕业典礼上一次演讲的鼓舞。乔布斯说，“请你们不要因为一份工作的光鲜亮丽和能被人尊重而去做，要做你们真正热爱的事，如果你还没有找到它，千万不要将就，要一直去寻找!”而对余轲而言，将NLP和深度学习技术应用在生活服务领域改变人类生活方式，就是真正热爱的
程序员文章站2022-06-30新闻Python机器学习NLP自然语言处理基本操作之命名实例提取
目录概述命名实例hmm随机场马尔科夫随机场crf命名实例实战数据集crf预处理主程序概述从今天开始我们将开启一段自然语言处理 (nlp) 的旅程. 自然语言处理可以让来处理, 理解, 以及运用人类的语
程序员文章站2022-06-25IT编程tensorflow, keras, Tokenizer 获取文本信息, NLP
Tokenizer是keras.preprocessing.text包下的一个类，调用路径为：tensorflow.keras.preprocessing.text.Tokenizer.tensorflow和keras就以其数不清的包而著称，也为其诟病。Tokenizer是在数据预处理的时候常用的一...
程序员文章站2022-06-22Python机器学习NLP自然语言处理基本操作之京东评论分类
目录rnnlstm概述从今天开始我们将开启一段自然语言处理 (nlp) 的旅程. 自然语言处理可以让来处理, 理解, 以及运用人类的语言, 实现机器语言和人类语言之间的沟通桥梁.rnnrnn (rec
程序员文章站2022-06-17IT编程NLP语种检测的基准测试
文章目录前言一、langdetect介绍例子要点二、spaCy language detector介绍例子三、gcld3介绍例子四、langid介绍例子五、FastText介绍例子下载实测前言五个Python工具，用于识别文本的语种以及速度和准确性测试。 大多数NLP应用程序往往是特定于语种的，因此...
程序员文章站2022-06-17NLP文本分类问题-电影评论的情感分析
预训练词嵌入数据集是kaggle上的竞赛数据文本分类问题-电影评论的情感分析。https://www.kaggle.com/columbine/imdb-dataset-sentiment-analysis-in-csv-format。从头开始学习嵌入import pandas as pdimport numpy as np#读取csv文件train = pd.read_csv('/kaggle/input/imdb-dataset-sentiment-analysis-in-csv-.
程序员文章站2022-06-15IT编程【NLP】torch hub工具的使用：torch.hub.load、pytorch预训练模型加载、
2.4 加载和使用预训练模型学习目标:了解加载和使用预训练模型的工具.掌握加载和使用预训练模型的过程.加载和使用预训练模型的工具:在这里我们使用torch.hub工具进行模型的加载和使用.这些预训练模型由世界先进的NLP研发团队huggingface提供.加载和使用预训练模型的步骤:第一步: 确定需...
程序员文章站2022-06-13用深度学习做命名实体识别(一)：什么是命名实体识别？ 自然语言处理NLP命名实体识别深度学习机器学习
上一个深度学习系列介绍了如何检测出图片或视频中的物体，本深度学习系列将介绍如何从文章中提取出我们关注的实体，比如提取文章中出现的人名、地址、产品、时间等实体。本文做为该系列的第一篇文章，会先呈现一下命名实体识别的效果，然后给大家介绍几个概念。识别效果 如上图所示，请求体中是要提取实体的句子，...
程序员文章站2022-06-12【NLP】三种知识图谱
三种知识图谱知识图谱本质上是一种语义网络。其结点代表实体（entity）或者概念（concept），边代表实体/概念之间的各种语义关系。Knowledge Graph , Freebase , Wikidata 是目前最常见的三种知识图谱。Knowledge GraphKnowledge Graph...
程序员文章站2022-06-12NLP-词的典型性-词的共现
词共现挖掘词内部的共现信息细分 1.挖掘 词跟所属概念之间的共现 2.挖掘词跟此之间的共现统计维度 1.词跟所有所属概念之间的共现频率关系，得出一词多义中的‘义’的分布概率 2. 同一概念下，所有词跟此概念的共现频率统计，得出概念下的代表词应用关系提取时候，可以将词进行m...
程序员文章站2022-06-12【NLP】自然语言处理基础技能
前言 了解自然语言处理的都知道，我们在得到文本数据的时候，往往需要对文本进行一些操作，例如：匹配字符串、分词以及字符串的相关操作。本篇便是主要介绍自然语言处理中的基础技能，主要包括：Python正则表达式、jieba分词、Python字符串处理等。本篇代码可见：Github一、Python 正则表...
程序员文章站2022-06-12【NLP】中文处理前提--jieba详解
介绍\quad\quad在自然语言处理中，中文处理技术比西文处理技术要落后很大一段距离，许多西文的处理方法中文不能直接采用，就是因为中文必需有分词这道工序。\quad\quad当我们进行自然语言处理的时候，大部分情况下，词汇是我们对句子和文章理解的基础，因此需要一个工具去把完整的文本中分解成粒度更细...
程序员文章站2022-06-12NLP入门（一）词袋模型及句子相似度
本文作为笔者NLP入门系列文章第一篇，以后我们就要步入NLP时代。 本文将会介绍NLP中常见的词袋模型（Bag of Words）以及如何利用词袋模型来计算句子间的相似度（余弦相似度，cosine similarity）。 首先，让我们来看一下，什么是词袋模型。我们以下面两个简单句子为例：s...
程序员文章站2022-06-12句法分析 (syntactic parsing) 在 NLP 领域的应用是怎样的？
问个NLP领域问题。问题原话是这样的，"To what extent would syntactic parsing be useful in an opinion extraction system and an information retrieval system?"题干里的opinion ...
程序员文章站2022-06-04后端开发哈工大NLP处理工具pyltp安装历程
这个pyltp的安装可谓艰辛，pyltp是哈工大的自然语言处理包，用于分词，词性标注，依存句法分析等工作，是目前国内最好的解析器之一。 但是其分词等方法和模型是由C++代码编写，所以使用python调用的时候需要有VC库，也就是需要下载Visio studio，版本在2008以上，然而py...
程序员文章站2022-06-01哈工大NLP处理工具pyltp安装历程
这个pyltp的安装可谓艰辛，pyltp是哈工大的自然语言处理包，用于分词，词性标注，依存句法分析等工作，是目前国内最好的解析器之一。 但是其分词等方法和模型是由C++代码编写，所以使用python调用的时候需要有VC库，也就是需要下载Visio studio，版本在2008以上，然而py...
程序员文章站2022-06-01CNN for NLP——Convolutional Neural Networks for Sentence Classification
又要开始一段看论文的调研生活了。那我开始翻译整理论文了。《Convolutional Neural Networks for Sentence Classification》 这是一篇很经典的用卷积神经网络做文本分类的文章。 作者是纽约大学（New York University）的 Yoon Ki...
程序员文章站2022-05-30编写NLP处理程序的套路学习2-文本相似度度量
1、原理 文本相似度的度量有很多种方法，特定词出现频度，整体文本风格等。本文将使用tf-idf方式，通过cosin相似度度量两个文本的相似度。 tf为词频代表token frequence idf为你文档频率，代表（所有文档的数目）/包含 该单词的文档出现频率） 1+lo...
程序员文章站2022-05-25