Samsung LittleBit
13Bを0.84GBへ、ただし商用は不可
重みを保存せず、二値化した低ランク因子と3種類のスケールだけを持ちます。Llama2-13Bは31分の1、70Bは約70分の1に。KVキャッシュも約21倍削減されます。2026.10.18
Samsung Labsが公開した量子化手法LittleBitは、重みあたり0.1ビットという極端な領域でLLMを圧縮します。Llama2-13BはFP16の26.06GBから0.84GBへ、約31分の1に。70Bクラスでも1.98GBまで縮みます。ただし無償で使えるわけではなく、品質の崖と非商用ライセンスという2つの制約があります。
- 確認済み 公式ブログ・GitHub・一次資料で確認した事実
- 提供元公称 開発元・ベンダー自身の発表。第三者検証は未完了
- 第三者検証 外部の開発者・メディア・実測者が独自に確認したもの
- AIfrontierの見解 編集部の解釈
1. 何が圧縮されたのか確認済み
LittleBitはNeurIPS 2025の論文（arXiv:2506.13771）で、後続のLittleBit-2はICML 2026の論文です。実装はSamsungLabsのGitHubで公開されています。 出典：GitHub（SamsungLabs/LittleBit） 出典：Samsung Research
| モデル | FP16 | 0.3 BPW | 0.1 BPW | 削減率 |
|---|---|---|---|---|
| Llama2-7B | 13.49 GB | 0.79 GB | 0.63 GB | 21倍超 |
| Llama2-13B | 26.06 GB | — | 0.84 GB | 31.02倍 |
| Llama2-70B | 138.04 GB | — | 1.98 GB | 69.72倍 |
「13Bを1GB未満に」という言い方は正確です。70Bが1.98GBという数字のほうが、実務への含意は大きいかもしれません。
2. 仕組み：重みを保存せず、因数の符号とスケールだけを持つ確認済み
通常の量子化は、各重みを4ビット・3ビット・2ビットといった精度で保存します。LittleBitは重み行列そのものを保存しません。
- 潜在分解：重み行列Wを、低ランクの2つの因子U・Vの積（W≅UVT）で近似し、その因子を2値（±1）に二値化します。
- 3種類のスケールで補償：二値化で失われる情報を、学習可能なFP16スケールで戻します。行スケールh、列スケールg、そして潜在スケールl（各ランク次元の重要度を学習する、この手法の要点）。
- Dual-SVID初期化：切り詰めSVDから因子の符号を取り、大きさはランク1近似でスケールを推定する初期化。QAT（量子化を意識した学習）を安定に始めるための工夫です。
- 残差補償：ビット予算は増やさず、1本の高ランク近似を2本の低ランク経路に再配分します。主経路が取りこぼした分を残差経路が補い、推論時は両者を加算します。
計算は「小さい二値行列積2回＋要素ごとのスケーリング」に置き換わり、実効的なフルサイズの重みは決して保存されません。推論時のアーキテクチャは元モデルのままです。
3. 品質：崖の手前までは安定する提供元公称
WikiText-2のperplexity（低いほど良い）で、先行のサブ1ビット手法STBLLMと比較した数値です。
| 条件 | LittleBit | STBLLM |
|---|---|---|
| Llama2-7B @ 0.55 BPW | 10.47 | 30.67 |
| Llama2-7B @ 0.3 BPW | 12.00 | 1.8e3（崩壊） |
| Llama2-7B @ 0.1 BPW | 15.92 | — |
0.3 BPWでSTBLLMが崩壊する一方、LittleBitは12.00を保ちます。0.1 BPWでも15.92で、これはSTBLLMが0.7 BPWで出した19.17より良い値です。常識推論のゼロショット精度でも、Llama2-7B @ 0.55 BPWで平均47.26%（STBLLM 44.29%）、0.3 BPWでも45.20%を維持しています。 出典：Samsung Research
4. 速度とKVキャッシュ提供元公称
- カーネル単位：Llama2-70BのMLP層で、0.1 BPWがFP16比11.6倍高速（A100、バッチサイズ1）。
- エンドツーエンド：Llama2-7Bの128トークン生成で203.20トークン/秒（FP16は82.56）＝2.46倍。ただし線形層のみを高速化した条件です。
- KVキャッシュ：Key/Value射影行列が分解されているため、モデル次元dではなく潜在次元rだけをキャッシュできます。Llama2-7B @ 0.1 BPWで約21.3倍の削減。
KVキャッシュの削減は副産物として付いてくる点が実務的です。長い文脈を扱う推論では、重みのサイズよりKVキャッシュが制約になる場面が多いためです。
5. 使う前に知っておくべき3つの制約第三者検証
品質はビット幅が下がるほど悪化し、0.3〜0.1 BPWの区間に崖があります。0.1 BPWは「動く」ことが示された領域であって、「常用できる」領域ではありません。実運用の判断は0.3〜0.5 BPWあたりから始めるのが妥当です。
残差経路のアブレーション（OPT-1.3B）では、1.0〜0.3 BPWでは残差が品質を改善しますが、0.1 BPWでは逆転します（残差あり60.011、なし48.512）。最端の設定では設計の前提が崩れる、という正直な結果です。
リポジトリのライセンスはCC BY-NC 4.0（非商用）です。「オープンソース」ではありますが、商用製品への組み込みは許諾されません。また方式がQAT（量子化を意識した学習）であるため、圧縮済みモデルを配るだけでなく学習時のGPU時間が必要です。さらにlm_headと埋め込み層はFP16のまま圧縮されません。
対応モデルはOPT、Llama／Llama 2・3、Phi-4、Qwen2.5とQwQ、Gemma 2・3、Qwen3です。 出典：alphaXiv（論文解説）
6. 見えてきたことAIfrontierの見解
「13Bが1GB未満」は事実ですが、それは保存容量の話です。計算そのものが31倍速くなるわけではなく、エンドツーエンドで測った高速化は2.46倍（線形層のみ）。ここを混同すると期待を外します。
本当に効くのはKVキャッシュの21倍削減のほうかもしれません。長文脈の推論では、重みよりもKVキャッシュがボトルネックになる場面が多く、そこで21倍取れるなら同じVRAMで扱える文脈長が大きく伸びます。
導入判断は3点で整理できます。①商用利用は不可（CC BY-NC 4.0）なので、社内検証・研究用途として評価する。②0.1 BPWは狙わず、0.3〜0.5 BPWから試す。③QATの学習コストを見積もる。量子化の研究は、これまで「圧縮率を上げると品質が落ちる」というトレードオフとの戦いでした。LittleBitはその曲線を右に押し出した、というのが正確な評価です。そしてSamsung自身が、より新しいLittleBit-2を出しています。
出典
- GitHub「SamsungLabs/LittleBit」（NeurIPS 2025とICML 2026の公式実装、CC BY-NC 4.0） https://github.com/SamsungLabs/LittleBit
- Samsung Research ブログ「LittleBit: Ultra Low-Bit Quantization via Latent Factorization」 https://research.samsung.com/blog/LittleBit-Ultra-Low-Bit-Quantization-via-Latent-Factorization
- arXiv「LittleBit: Ultra Low-Bit Quantization via Latent Factorization」（2506.13771） https://arxiv.org/abs/2506.13771
- alphaXiv 論文解説（品質の崖、lm_head非圧縮、残差経路の逆転、カーネル/エンドツーエンド速度の別） https://www.alphaxiv.org/abs/2506.13771
- OpenReview「LittleBit-2: Maximizing the Spectral Energy Gain in Sub-1-Bit LLMs via Latent Geometry Alignment」（ICML 2026） https://openreview.net/pdf?id=9TMdlXCn79
- 本サイト「ローカルLLM／クラウドLLM 最新情報」（LittleBit-2のJoint-ITQに既に言及）