AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2503.04611 どんなもの 本論文は、従来の大規模言語モデル(LLM)と比べて大幅に少ないデータで言語モデル(LM)を訓練する手法を提案しています。その手法は、人間の子供が言 …
Language Model Can Listen While Speaking (AI論文要約)
AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2408.02622 どんなもの 本論文は、リアルタイムの双方向音声対話を実現する、Listening-while-Speaking Language Model (LSLM) を …
MiniMax-01: Scaling Foundation Models with Lightning Attention (AI論文要約)
AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2501.08313 どんなもの MiniMax-01シリーズ(MiniMax-Text-01とMiniMax-VL-01を含む)は、最先端モデルと同等の性能を持ちながら、より長い …
SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context (AI論文要約)
AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2408.00655 どんなもの Large Language Models (LLMs) の推論効率を向上させるための新しい推論方法である next-sentence …
Small Language Models (SLMs) Can Still Pack a Punch: A survey (AI論文要約)
Tensor Product Attention Is All You Need (AI論文要約)
AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2501.06425 どんなもの Tensor Product Attention (TPA) は、クエリ(Q)、キー(K)、バリュー(V)をコンパクトに表現するためにテンソル分解 …
Titans: Learning to Memorize at Test Time (AI論文要約)
AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2501.00663 どんなもの Titansは、テスト時に情報を記憶することを学習する新しいニューラル長期記憶モジュールを備えた、深層学習アーキテクチャのファミリーです。 このモ …
Transformer2 : Self-adaptive LLMs (AI論文要約)
Phi-4 Technical Report (AI論文要約)
AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2412.08905 どんなもの 140億パラメータの言語モデルphi-4。データの質に重点を置いたトレーニングレシピで開発された。ウェブコンテンツやコードなどのオーガニックデータ …
Can LLMs Design Good Questions Based on Context? (AI論文要約)
AIを使った論文要約です。簡単なサーベイ用で詳細は論文を参照してください。 https://arxiv.org/abs/2501.03491 どんなもの 本論文は、Large Language Models (LLMs)を用いたコンテキストベースの質問生成 (Question Generation: …