Towards Data-Efficient Language Models: A Child-Inspired Approach to Language Learning (AI論文要約)

AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2503.04611 どんなもの 本論文は、従来の大規模言語モデル(LLM)と比べて大幅に少ないデータで言語モデル(LM)を訓練する手法を提案しています。その手法は、人間の子供が言 …

Titans: Learning to Memorize at Test Time (AI論文要約)

AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2501.00663 どんなもの Titansは、テスト時に情報を記憶することを学習する新しいニューラル長期記憶モジュールを備えた、深層学習アーキテクチャのファミリーです。 このモ …

Transformer2 : Self-adaptive LLMs (AI論文要約)

AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2501.06252 どんなもの Transformer2は、未学習のタスクに対してリアルタイムでLarge Language Models (LLMs) を適応させるための自己適 …

Phi-4 Technical Report (AI論文要約)

AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2412.08905 どんなもの 140億パラメータの言語モデルphi-4。データの質に重点を置いたトレーニングレシピで開発された。ウェブコンテンツやコードなどのオーガニックデータ …