BloomをLoRaで日本語finetuning LlamaをAlpacaデータセットを使いLoRaでfine tuneしたものが良い感じだったので、Bloomを日本語で学習させてみようと思う。 https://github.com/tloen/alpaca-lora とりあえず動かすまででしっかりfine tuneしきってないので注意 huggi nlp deeplearning python huggingface 2023-03-20
LlamaIndex(GPTIndex)を触る LlamaIndexを動かしていきます。最近名前がGPTIndexから変わったみたい。 LlamaIndexとは、LLMのPromptの作成などを外部のデータソースと連携して行えるようにしたツールキット。 https://gpt-index.readthedocs.io/en/latest/guid nlp deeplearning python huggingface 2023-03-04
code blockにrefarenceをつける Hugoでコードブロックを使うときは、GitHubからの引用し、その下に参照元のURLを貼り付けることが多い。 コードブロックの下にそのままURLが表示されるの若干見づらかったので、コードブロックとセットでいい感じに表示したい。 HugoにMarkdown Render Hooksにcodebloc hugo 2023-02-28
FlexGenで遊ぶ くそでかlarge language modelsは一般人の持ってるPCだと動かすこともできない。 FlexGenでは、そんなLLMを限られたリソースで実行できるようにしてくれる。 https://github.com/FMInference/FlexGen 日本語が喋れるモデルでも動かせるように色 nlp deeplearning python huggingface 2023-02-28
Huggingfaceのtext generation pipelineとtext2text generation pipeline HuggingfaceのpipelineでTextGenerationPipelineとText2TextGenerationPipelineがあるが、 何が違うのかよくわからなかったので軽く調査。 https://huggingface.co/docs/transformers/main_clas nlp deeplearning python huggingface 2023-02-06
xglmをquick start 多言語モデルであるxglmを動かしてみます。 最も大きいもので7.5Bのparameterを持つ。 同等のサイズのGPT3のモデルを上回るらしい。 Our largest model with 7.5 billion parameters sets new state of the art in f nlp deeplearning python huggingface 2023-02-05
flan_t5をquick start T5を強化したモデルであるFlan-t5を動かしてみます。 FlanはFinetunedLAnguage Netの略。 ちなみに、Flanはカスタードプリンとかプリンの意味らしい。だからプリンのイラストあったのか https://huggingface.co/docs/transformers/mo nlp deeplearning python huggingface 2023-02-04
Hugging Faceのtokenizerで迷ったのでまとめておく tokeninzerとかencodeとか色々あって毎回調べることになるのでメモ。 以下の日本語tokenizerを使わせてもらう。 tokenizer = T5Tokenizer.from_pretrained("sonoisa/t5-base-japanese") よく見る書き方 nlp deeplearning python huggingface 2022-08-16
Hugging Faceのpipelineで会話モデルを動かす Hugging Faceのpipelineを’使って会話モデルを動かしたのでメモ。 あまり日本語記事がなかったので残しておく。 huggingfaceについてはこっちの記事を参照 https://www.if-blog.site/posts/nlp/huggingface-doc/ pipeline nlp deeplearning python huggingface 2022-05-05
プログラミングTypeScript――スケールするJavaScriptアプリケーション開発 オライリーのtypescriptの本を読んだ。 typescriptのジェネリクスなど基本的な動作は知ってたがいくつか知らないことが合ったので それだけメモしておく。 4章 関数 4.1.4 thisの型付け javascriptではすべての関数に対してthisが定義される。 これによりコードが脆弱 typescript 2021-12-26