4 posts tagged with "nlp"

文字をベクトル化する

2019-09-23

文章生成にchar-level lstmを使ってみる。英語ではうまくいっている例があるが日本語では難しい。これは、日本語は英語に比べ文字数が多く、ニューラルネットワークの次元数(パラメータ数)が増やす必要があるのが原因の1つだと思う。また、次元削減のため、日本語では文章を単語に区切り単語をベクトル化し、lstm…

ニューラルネットワークを用いた対話モデルのための多様性を促進する目的関数

2019-09-23

Qiitaに投稿した記事、kerasでHREDを構築してみるの記事で、こちらの論文が参考になるとのコメント頂いて、読んで見たので簡単にまとめました。 A Diversity-Promoting Objective Function for Neural Conversation Models https://arxiv.org/abs/1510.0305…

SeqGANの論文を読む

2019-09-23

SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient https://arxiv.org/pdf/1609.05473.pdf SeqGANの論文を読んだのでまとめておきます。実装を行おうと思って読んだので手法をメインに読みます。 結果などは余力があれば加筆します。 はじめに 文章生成では、LSTMcellを使ったRNN…

自然言語処理シリーズの構文解析を読む(概要)

2019-09-23

はじめに 自然言語処理シリーズの構文解析を読んでいきます。 全体の概要把握:1時間 中身の細かいとこ:3時間 という感じで読み進めて行こうと思います。 概要 構文解析を用いることで、単語の並びの背後にある文法的な構造を明らかにすることができる。構文解析を学ぶことで、自然言語処理で用いられる様々な先人の知恵を学習できる。 この本では以下のような構成となっている。 1章、はじめに…