[PAPERS REVIEWED]

Title	Review	Paper	Reviewer	Date
Convolutional neural networks for sentence classification (2014)	review	paper	조현호	18/01/11
CNN을 활용하여, 문장의 라벨을 분류하는 모델이다. 기존에 공개되어 있는 word2vec을 사용하여도 좋은 결과를 보여주었으며, 해당 모델을 통해 word2vec을 update 시키는 경우, 그 효과가 극대화되었다.
A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification (2015)	review	paper	김혜림	18/01/11
CNN 을 통한 Sensitivity Analysis 실험을 진행한 논문이다. 이 논문에서는 practical하게 어떤 parameter가 학습에 최적화되어 있는지를 알려주고 있다
Deep Residual Learning for Image Recognition (2015)	review	paper	김지중	18/01/11
Three
Residual Networks Behave like ensembles of Relatively Shallow Networks (2016)	review	paper	조용래	18/01/11
1. Residual networks는 여러가지 길이의 path의 모임이다. -> main path와 skip connection 2. 그 path들은 서로 별로 연관성을 보이지 않는다, dependent하지 않다. -> emsenble이다. 3. 긴 path들은 거의 영향력이 없고 input에서 output까지 짧은 path들이 대부분의 영향력을 가진다.
Identity Mappings in Deep Residual Networks (2016)	review	paper	강병규	18/01/18
ResNet의 구조에 대한 다양한 실험을 수행하고 기존 구조보다 조금 더 나은 성능을 보이는 새로운 구조 제안
Character level Convolutional Networks for Text Classification (2015)	review	paper	고동영	18/01/18
이 논문은 Character-level convolutional networks을 다양한 데이터셋에 시도해보았고 성능을 비교해보았다. 비교 대상은 전통적인 모델인 bag of words, n-grams, 그들의 TF-IDF버젼, 그리고 딥러닝 모델인 RNN, word-based CNN이었고, 비교 결과상당한 성능을 보였다.
Very Deep Convolutional Networks for Text Classification (2016)	review	paper	김현우	18/01/18
resNet 이전에는 text에 CNN을 적용하면, 최대 6개의 layer만 쌓을 수 있었다. 하지만, resNet을 적용하면 29개의 layer를 쌓을 수 있었으며, 이 성능은 다른 NLP기법보다 좋았다.
Text Understanding from Scratch (2015)	review	paper	김우정	18/01/18
사전학습된 임베딩 없이, 문자로부터 직접 학습하는 CNN 모델을 만들어 보고자 하였다. 사전 학습된 임베딩을 이용한것, 이용하지 않은것에 대해 5개의 task를 수행하였다.
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks (2015)	review	paper	노혜미	18/01/18
tree-lstm의 두 가지 버전인 Dependency Tree-LSTM과 Constituency Tree-LSTM을 이용해 감성 분석과 문장간 유사도를 구하는 task를 수행했다. 감성 분석은 5가지 감성을 분류하는 것과 긍부정을 분류하는 게 있었는데 5가지 감성을 분류하는 것은 Constituency Tree-LSTM이 가장 뛰어났고 긍부정 분류는 Tree-LSTM말고 다른 모델이 뛰어났다. 문장간 유사도를 구하는 것은 Dependency Tree-LSTM이 가장 좋은 성능을 냈다.
A Convolutional Neural Network for Modeling Sentences (2014)	review	paper	이상헌	18/01/18
We describe a convolutional architecture dubbed the Dynamic Convolutional Neural Network (DCNN) that we adopt for the semantic modelling of sentences
Character-Aware-Neural-Language-Model(2016)	review	paper	김현우	18/01/18
LSTM, char-CNN, highway Network을 연결하여 char-CNN모델을 만들었다. 따라서 parameter를 60% 줄일 수 있었으며, 특히 형태소가 많은 언어에서 다른 LSTM 기반 모델보다 성능이 좋았다.
End to end Sequence Labeling via Bi directional LSTM CNNs CRF (2016)	review	paper	노혜미	18/01/26
어떤 전처리도 필요하지 않은 end-to-end sequence labeling을 했다. bi-directional LSTM, CNN, CRF을 한꺼번에 사용했다. CNN을 이용해 char representaion을 만들어내고, word-embeddings와 concatenate한 다음 BLSTM에 넣었다. 그리고 마지막 층에서 CRF를 이용해 label을 예측했다.
Character-Word LSTM Language Models (2017)	review	paper	고동영	18/01/26
Character-Word를 둘다 사용하는 LSTM으로써 word based의 문제를 해결하고, 파라미터 수를 줄였다. Character 단위의 정보는 단어의 비슷함을 알려주기도 하고 unknown word나 infrequent word 대해서도 적용할 수 있어 모델의 성능을 높여준다.
ByteNet : Neural Machine Translation in Linear Time (2016)	review	paper	조용래	18/01/26
ByteNet은 Encoder 위에 Decoder를 쌓고 Dynamic unfolding을 이용해 서로 다른 길이의 인풋과 아웃풋 시퀀스 길이를 고려하는 새로운 모델 아키텍쳐이다. 이로써 모델 실행 시간이 linear time으로 줄어 들고, 인풋 길이에 따라 source representation이 길어지는 resolution preserving 특징을 지니게 되었다. Machine Translation과 Language Modeling 문제에서 state-of-the-art 성능을 내었다.
A Hierarchical Recurrent Encoder Decoder for Generative Context Aware Query Suggestion(2015)	review	paper	노혜미	18/02/01
임의의 길이를 갖는 이전 쿼리 sequence를 고려할 수 있는 확률적 suggestion 모델이다. 즉, 맥락을 알아내 generation하는 모델이다. 각각의 encoder와 decoder에 GRU를 이용했고 LTR 알고리즘을 사용했다. HRED를 사용하니 빈번하지 않은 context에 대해서도 잘 예측할 수 있었다.
Show and Tell: A Neural Image Caption Generator	review	paper	고동영	18/02/01
CNN을 사용한 Encoding과 RNN을 사용하여 image를 보고 sentence generating을 하는 neural net을 만들었다. 학습은 likelihood를 maximize하는 방향으로 학습하였다. 우리의 NIC는 양적평가(BLEU등), 질적평가에서 모두 뛰어났다.
Depthwise Separable Convolutions for Neural Machine Translation	review	paper	조현호	18/02/01
기존의 RNN에 Attention을 결합한 모델은 Neural Machine Translation에서 좋은 성과를 보였으나, 너무 느렸으며 앞뒤로 짧은 시간만 볼 수 있었다. 이를 해결하기 위해 CNN 모델들이 구상되었으나 너무 많은 parameter가 필요하다는 단점이 있었다. 이 논문에서는 depthwise seperable convolution layers를 이용하여 parameter 수를 줄이며, 한 단계 더 나아가 super-seperable convolution 이라는 모델을 제안하여, parameter 숫자를 획기적으로 줄였다.
A Diversity-Promoting Objective Function for Neural Conversation Models	review	paper	이상헌	18/02/01
We suggest that the traditional objective function, i.e., the likelihood of output (response) given input (message) is unsuited to response generation tasks. Instead we propose using **Maximum Mutual Information (MMI)** as the objective function in neural models.