Nlp

多言語モデルであるxglmを動かしてみます。 最も大きいもので7.5Bのparameterを持つ。 同等のサイズのGPT3のモデルを上回るらしい。 Our largest model with 7.5 billion parameters sets new state of the art in …

T5を強化したモデルであるFlan-t5を動かしてみます。 FlanはFinetunedLAnguage Netの略。 ちなみに、Flanはカスタードプリンとかプリンの意味らしい。 …

tokeninzerとかencodeとか色々あって毎回調べることになるのでメモ。 以下の日本語tokenizerを使わせてもらう。 tokenizer = T5Tokenizer.from_pretrained("sonoisa/t5-base-japanese") …

Hugging Faceのpipelineを’使って会話モデルを動かしたのでメモ。 あまり日本語記事がなかったので残しておく。 huggingfaceについてはこっちの記事を参照 https://www.if-blog.site/posts/nlp/huggingface-doc/ pipeline …

Hugging FaceなのかTransformersなのか呼び方がわからん。 BERTやGPT-2などの様々なモデルが扱えるライブラリ 事前学習済のモデルとタスクが用意されており、そのままモデルを使ったりFine-Tuningが簡単にできる。 …

日本語、中国語、タイ語など、形態素解析に基づく単語境界を持たない言語の分析や理解のためには、単語の埋め込みの前に適切な単語分割を行うことが望まれるが、これらの言語では本質的に困難である。しかし、これらの言語では、それは本質的に困難である。近年、ディープラーニングに基づく様々な言語モデルの進歩は目覚 …

Enhanced character embedding for Chinese named entity recognition https://journals.sagepub.com/doi/pdf/10.1177/0020294020952456 従来の名前付き実体認識方法では、主に手作業に …

SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient https://arxiv.org/pdf/1609.05473.pdf SeqGANの論文を読んだのでまとめておきます。実装を行おうと思って読んだので手法をメインに読 …

Qiitaに投稿した記事、kerasでHREDを構築してみるの記事で、こちらの論文が参考になるとのコメント頂いて、読んで見たので簡単にまとめました。 A Diversity-Promoting Objective Function for Neural Conversation Models …

はじめに 自然言語処理シリーズの構文解析を読んでいきます。 全体の概要把握:1時間 中身の細かいとこ：3時間 という感じで読み進めて行こうと思います。 概要 構文解析を用いることで、単語の並びの背後にある文法的な構造を明らかにすることができる。構文解析を学ぶことで、自然言語処理で用いられる様々な先人 …