NLP情感分析研究
2021-10-06 11:44:33 0 举报AI智能生成
本思维导图，是我在马利西亚理科大学（USM），读人工智能，NLP自然语言处理，情感分析方向以来，从0到1做的所有专业相关技术以及读论文情况的大框架思维导图，希望可以帮到大家。
作者其他创作
大纲/内容
NLP
2001
Neural Language Models （神经语言模型）
2008
Multi-task models（多任务学习
2013
Word embeddings（词嵌入）
Embedding Layer
无监督学习,GOOGLE
Word2Vec（Word to Vector）/ Doc2Vec（Document to Vector）
N-gram 分词器
Skip-gram (Continuous Skip-gram Model)
高频 2-gram
高频词条降采样
负采样
CBOW (Continuous Bag-of-Words Model）
fastText
FACEBOOK
GloVe（Global Vectors for Word Representation）
LSA
2013
Neural networks for NLP（NLP神经网络）
循环神经网络
RNN
LSTM
思路
LSTM前向传播
对比RNN
单元结构
原理
记忆细胞
遗忘门
更新门
输出门
子主题
LSTM如何缓解梯度消失
GRU
CNN 卷积神经网络
架构
大白话讲解卷机工作原理
卷积
池化 pooling
max pooling
average polling
抹零 Relus 激活函数
全连接
前馈神经网络
2014
Sequence-to-sequence models
2015
Attention（注意力机制）
理解
核心目标
从众多信息中选择出对当前目标更关键的信息
将注意力放在这上面
Encoder- decoder框架
架构图
文本处理和语音识别的Encoder部分通常采用【RNN模型】
图像处理的Encoder部分通常采用【CNN】模型
例子：机器翻译
场景：输入的是英文句子：TOM chase Jerry. 翻译生成中文：“汤姆”，“ 追逐”，“ 杰瑞”
信息
TOM chase Jerry.
有效信息
分心模型
引入注意力机制
本质思想
具体计算过程
Self Attention 模型
2015
Memory-based networks（基于记忆的网络）
2018
Pretrained language models （预训练模型）
PTMs
Encoder
MLM
BERT
BERT Architecture
BERT BASE VS BERT LARGE
Next sentence prediction （NSP，discourse- level）
RoBERTa
·
ALBERT
SpanBERT
ERINE
Permuted LM
XLNET
Adversarial
ELECTRA
Decoder
General
GPT, GPT-2, GPT-3, GPT-4
Dialogue
Meena
Blender
DialoGPT
百度 PLATO-2
Enc+Dec
Joint
T5
UniLM
Seperate
BART
MASS
Mixture of Expert (MOE)
Switch Transformers (GOOGLE)
Prompt Tuning
Psttern-Exploiting (PET)
AUTOPROMPT
Learning How to ASK
GPT Understands,Too
PTR: Prompt Tuning with Rules
The Power of Scale for Parameter-Efficient Prompt Tuning
迁移学习
了解追踪竞品数据的工具
酷传
研究关键词搜索趋势及用户画像的工具
百度指数
调研用户的问卷调查工具
问卷星
麦客表单
用户行为分析工具
神策数据
诸葛io
迁移学习
监督学习
无监督学习
核心技术
情感分析（SA）
定义和概念解释
子主题
方法
基于情感词典与规则的情感分析方法
情感词典构造方法
人工标注
自动化方法
基于点互信息的方法
基于标签传播的方法
句子/篇章级情感分析方法
词级别情感分析
离散表示法
连续多维表示法
无监督
基于传统机器学习的情感分析法
句子/篇章级情感分析方法
流程
特征提取
词频方法 Word Frequency,WF
TF-IDF (Term Frequency Inverse Document Frequency)
互信息法 （Mutual Information，MI）
分类
Naive Bayes 朴素贝叶斯
支持向量机，Support Vector Machine,SVM
最大熵 Maximum Entropy, ME
有监督
基于深度学习的情感分析
句子/篇章级情感分析方法
CNN
LSTM
子主题
目标级情感分析
给定评价对象的情感分析
Attention-based LSTM
子主题
评价对象 、情感联合抽取
双向LSTM—CRF层建模
子主题
技术分类
单一神经网络的情感分析
混合（组合、融合）神经网络的情感分析
引入注意力机智的情感分析
使用预训练的情感分析
SKEP
子主题
弱点
易受攻击
Wallace et al,2019
模型学到数据偏见
模型主要利用表面“虚假”关联特征
目前情感分类体系过于简化
难以应对人类语言的复杂性
反讽语言
隐式情感表达出来
比较句
条件句
指代
主要任务
文本情感理解 SAU
情感分类
BERT
Munikar et al,. 2019
观点抽取
两阶段模型
Ma et al, 2017
联合模型
Yin et al, 2019
原因抽取
Xia and Ding, 2019
立场检测
Zhang et al, 2020
情绪识别
情感文本生成 SAG
评论生成
Zang et wan, 2017
情感摘要生成
Wang et Wan,.2021
情感对话
情感回复对话
Wang et wan, 2019
情感激发
Jiang et al., 2021
文本情感转换
Li et al, 2018 斯坦福
Wang et al, 2019
问题与挑战
评价困难
不依赖于情感次的情感文本生成
从情感到感情
跨领域
技术
领域特征对齐
利用领域对抗网络，学习领域无关、情感相关特征
Ganin et al, ICML 2015
融合外部知识对齐领域相关特征
Ghosal et al
基于预训练模型 POST-Training
Du et al, ACL 2020
Zhou et el, COLING 2020
跨领域目标抽取
监督学习
无监督学习
跨领域目标分类
领域独立情感词
情感敏感词典
高层概念
文档情感主题
子主题
跨语言
跨模态 Mulitimode
面向图文的方面级情感分类
Yu et al. IJACL 2019
面向视频的多模态情感分类
Yang WuZijie LinYanyan Zhao, ACL 2021
对话场景下多模态情感分类
Hazarika et al, EMNLP 2018
面向图文的反讽识别
Xu et al, ACL 2020
面向视频的反讽识别
Y Wu，Y Zhao，X Lu，B Qin，J Li, IEEE Multimedia
反讽语言
BLOG
面向网络文本的细粒度情感分析和反讽检测研究
张雯
杭州电子科技大学
杭州电子科技大学
赛尔原创 | 反讽识别综述
今天你“讽刺”了吗？
偏见
Di az, et al. 2018
Kiritchecnko&Mohammad. 2018
方面级情感分析
情感多元组分析框架
观点四元组：(情感对象，情感，对话人，对话时间)
对象三元组：(实体类型，实体，实体方面)
情感三元组：(情绪类型，情绪极性，情绪词)
ABSA 分成多个子任务
Aspect Term Extraction（ATE - 方面词抽取）
Aspect Term Polarity（ATP - 方面词极性识别）
Aspect Category Detection（ACD - 方面类型检测）
Aspect Category Polarity（ACP - 方面类型极性识别）
Opinion Term Extraction（OTE - 观点情感词抽取）
任务定义
Aspect Sentiment Classification
Aspect-Polarity Co-Extraction / Opinion Triplet
应用
服务个人
股票预测
声誉分析
产品比较与推荐
服务机构
服务满意度分析
市场营销
口碑分析
电子商务
面向政府
舆情分析
反抗
未来
机器辩论：与人类辩手同台竞技辩论的自动化论辩系统
让机器更加人性化，有能力与人类进行情感交互
科幻电影 《她》
信息抽取
机器翻译
自动问答
文本摘要
文本蕴含
基础技术
词法分析
句法分析
实体识别
语义分析
篇章分析
语言模型
应用
智能客服
搜索引擎
个人助理
推荐系统
舆情分析
知识图谱
课程
斯坦福
Stanford CS224U
Sentiment Analysis 1
李宏毅
百度飞浆
自然语言处理
情感分析技术及应用
百度飞浆
梳理运营方案的思维导图及流程图工具
processon
随手记录运营想法的工具
印象笔记
编辑活动宣传文案的工具
秀米
录屏工具
GifCam
图片处理工具
光影魔术手
图形设计工具
创客贴
二维码生成器
草料二维码
AI 人才培养
大连理工大学
脑与认知科学概论
人工智能概论
运筹学基础
图像处理基础
机器学习与模式识别
算法分析与设计
计算机视觉
智能机器人
自然语言处理
北京中医药大学
中药材识别
三大基础
算力
GPU
FPGA
TPU
NPU
算法
CNN
RNN
Transformer
GAN
Graph Learning
数据
结构化
非结构化
会议
智源社区
2021/08/15 08:40 - 16:20
智源社区丨KDD 2021预训练 (Pre-train@KDD21) Workshop
Yang ZhiLin
Huang yanping | Google Brain
Gshard
Wang Simon | Facebook AI
Linformer
Han Hu | MSRA
switch transformer
Papers
BAAI 大会
CSIG情感认知，何去何从?
文本情感计算的现状与挑战
万小军
社交媒体中多维度文本情感计算
秦兵：多模态研究
面向社会舆情
微博情绪地图
面向产品口碑
八位评论分析系统
大规模预训练技术之战
预训练模型背景介绍
韩序
AI科技女性专题论坛
自然语言处理中的表示学习
王萱菁：偏见
语音与自然语言处理专题论坛
基于深度上下文词表征的语言结构的发现
Christopher Manning
解读
人工智能伦理、治理与可持续发展
主题报告（张薇 | 联合国开发计划署助理驻华代表）
张薇
悟道之巅- AI创新应用大赛
USM
literature review
Conference Paper
arXiv.org
Fine-grained Sentiment Classification using BERT
1.Introuction
2.Motivation
3.Related work
context-free
1.Embedding
word2vec (The first promising language model)
Mikolov et al
微软实习生
GloVe
Penningtonet al.
N-grams
Bojanowski et al.
2.Document vector
Tai et al
Socher et al
Kim
contextual embed
Peters et al.
Devlinet al.
4.Data Set
SST-2 and SST-5
Stanford Sentiment Treebank (SST)
5.Methodology
BERT
Preprocessing
Canonicalization 规范化
Tokenization 标记化
Special token addition
Proposed Architecture
Dropout
6. Experiments And Results
Comparison Models
Word embeddings
Recursive networks:
RNN
RNTN
Recurrent networks
LSTM
BiLSTM
Convolutional networks
CNN
Evaluation Metric
Results
7.Conclusion
Deep Learning for Sentiment Analysis : A Survey
Abstract
INTRODUCTION
NEURAL NETWORKS
input layer
output layer
hidden layer
activation function.
weight
sigmoid
hyperbolic tangent function (tanh),
rectified linear function (ReLU)
softmax
DEEP LEARNING
WORD EMBEDDING
AUTOENCODER AND DENOISING AUTOENCODER
Autoencoder Neural Network
CONVOLUTIONAL NEURAL NETWORK
Convolutional Neural Network (CNN)
RECURRENT NEURAL NETWORK
Recurrent Neural Network (RNN)
Bidirectional RNN
Deep Bidirectional RNN
Long Short Term Memory
LSTM NETWORK
Long Short Term Memory
ATTENTION MECHANISM WITH RECURRENT NEURAL NETWORK
MEMORY NETWORK
RECURSIVE NEURAL NETWORK
SENTIMENT ANALYSIS TASKS
DOCUMENT LEVEL SENTIMENT CLASSIFICATION
SENTENCE LEVEL SENTIMENT CLASSIFICATION
ASPECT LEVEL SENTIMENT CLASSIFICATION || aspect-based sentiment analysis
aspect extraction
entity extraction
aspect sentiment classification
ASPECT EXTRACTION AND CATEGORIZATION
OPINION EXPRESSION EXTRACTION
SENTIMENT COMPOSITION
OPINION HOLDER EXTRACTION
TEMPORAL OPINION MINING
SENTIMENT ANALYSIS WITH WORD EMBEDDING
SARCASM ANALYSIS
EMOTION ANALYSIS
MULTIMODAL DATA FOR SENTIMENT ANALYSIS
RESOURCE-POOR LANGUAGE AND MULTILINGUAL SENTIMENT ANALYSIS
OTHER RELATED TASKS
Sentiment Intersubjectivity:
Lexicon Expansion
Financial Volatility Prediction:
Opinion Recommendation:
Stance Detection
CONCLUSION
Pre-trained models for natural language processing: A survey
ACL
On the Gap between Adoption and Understanding in NLP
解析
Early Adoption
Computational Papers
Publication Bias
Computationally Unobtainable
Unexplainable Methods
Journal
Expert Systems with Applications
Sentiment analysis based on improved pre-trained word embeddings
Introuction
Related Works
Lexicon-based method
Deep learning method
Word2Vec
Tang et al. (2014)
Severyn and Mos- chitti (2015)
Lauren, Qu, Zhang, and Lendasse (2018)
Fu et al. (2017)
Ren et al. (2016)
pre-trained word embeddings
Kim (2014)
Camacho- Collados et al. (2016)
Zhang and Wallace (2015)
Caliskan et al. (2017)
Wang et al. (2016)
Liu et al. (2018)
Kamkarhaghighi and Makre- hchi (2017)
Proposed Method
Improved Word Vector (IWV)
Lexicon2Vec (L2V)
POS2Vec (P2V)
Word-position2Vec (Wp2V)
Word2Vec and GloVe
相关代码
Experiments
Datasets
Results
Conclusion
10.506/Q2
IEEE Transactions on Affective Computing
Beneath the Tip of the Iceberg: Current Challenges and New Directions in Sentiment Analysis Research
Introuction
Milestones of sentiment analysis research
Nostalgic Past
Optimistic Future
NOSTALGIC PAST: DEVELOPMENTS ANDACHIEVEMENTS IN SENTIMENT ANALYSIS
Early Sentiment Analysis
privates states
Wiebe,1994
subjectivity anakysis
Wiebe,1999
bag of words &syntatic rules
turney,2002
Granularities
document-level sentiment analysis
Liu,2010,2012
Sentence-level sentiment analysis
aspect-level sentiment analysis
Hu and Liu,2004
phrase-level sentiment analysis
Trends in Sentiment Analysis Application
Rule-Based Sentiment Analysis
Sentiment Lexicons
Machine Learning-Based Sentiment Analysis
SVMs
Moraes et al., 2013
Naive Bayes Classifiers
Tan et al., 2009
Deep Learning Era
Recursive Neural Tensor Network (RNTN)
Socher et al. (2013)
CNNs and RNNs
Pre-trained models
Bert
XLNet
RoBERTa
Sentiment-Aware Word Embeddings
Sentiment Analysis in Diverse Domains
OPTIMISTIC FUTURE: UPCOMING TRENDS INSENTIMENT ANALYSIS
Aspect-Based Sentiment Analysis
Aspect-Term Auto-Categorization
Implicit Aspect-Level Sentiment Analysis
Aspect Term-Polarity Co-Extraction
Exploiting Inter-Aspect Relations for Aspect-LevelSentiment Analysis
Quest for Richer and Larger Datasets
Amazon product review
Semeval-2016
Multimodal Sentiment Analysis
Complex Fusion Methods vs. Simple Concatenation
Lack of Large Datasets
MOSI
Zadeh et al., 2016
MOSEI
MOSEI (Zadeh et al.,2018b)
MELD
Poria et al., 2019
Fine-Grained Annotation
Contextual Sentiment Analysis
Influence of Topics
Sentiment Analysis in Monologues and Conversational Context
User, Cultural, and Situational Context
Role of Commonsense Knowledge in Sentiment Analysis
Sentiment Reasoning
Who? The Opinion Holder
Why? The Sentiment Stimulus
Domain Adaptation
Use of External Knowledge
Scaling Up to Many Domains
Multilingual Sentiment Analysis
Language-Specific Lexicons
Sentiment Analysis of Code-Mixed Data
Machine Translation as a Solution to Multilingual Sentiment Analysis
Sarcasm Analysis
Leveraging Context in Sarcasm Detection
User Profiling and Conversational Context
Multimodal Context
Annotation Challenges: Intended vs. Perceived Sarcasm
Target Identification in Sarcastic Text
Style Transfer between Sarcastic and Literal Meaning
Figurative to Literal Meaning Conversion
Generating Sarcasm from Non-Figurative Sentences
Sentiment and Creative Language
irony, humor etc
Sentiment-Aware Natural Language Generation(NLG)
Conditional Generative Models
Our conceptual conditional generative model
Aspect-level text summarization
Sentiment-Aware Dialogue Generation
Sentiment-Aware Style Transfer
Bias in Sentiment Analysis Systems
Identifying Causes of Bias in Sentiment AnalysisSystems
Evaluating Bias
De-biasing
Conclusion
IEEE Transactions on Knowledge and Data Engineering
Survey on Aspect-Level Sentiment Analysis
INTRODUCTION
Applications
Definitions
the quadruple(s; g; h; t)
Outline of Aspect-level Sentiment Analysis
identification
classification
aggregation
additional concerns
robustness
flexibility
speed
Focus of This Survey
Organization
EVALUATION METHODOLOGY
Evaluation Measures
Ranking Loss
MAE
LAE
MSE
DCG
Core Solutions
Aspect Detection
Frequency-Based Methods
Syntax-Based Methods
Supervised Machine Learning Methods
Unsupervised Machine Learning
Hybrid Methods
Sentiment Analysis
Dictionary-Based
Supervised Machine Learning
Unsupervised Machine Learning
Joint Aspect Detection and Sentiment Analysis Methods
Syntax-Based Methods
Supervised Machine Learning
Unsupervised Machine Learning
Hybrid Machine Learning
Related Issues
Sub-Problems
Comparative Opinions
Conditional Sentences
Negations and Other Modifiers
Aggregation
Presentation
Conclusions
research proposal
博士论文
文献综述
目的
找到研究空白
提出研究假设
0 条评论
下一页
