開発
圧縮と予測の深淵な関係、gzipからLLMまで
圧縮アルゴリズムと大規模言語モデルは、本質的に同一の問題を解いている。その技術的基盤と含意を解説する。
圧縮アルゴリズムと大規模言語モデルは、本質的に同一の問題を解いている。その技術的基盤と含意を解説する。
Minecraft最古のできないサーバー2b2tの全マップ80TBを、カスタム圧縮フォーマットzvcrで15TBに圧縮。28のボットが100万ブロックを22ヶ月かけてマッピングした。
データ形式に特化した圧縮ツール「OpenZL」が登場。汎用圧縮では到達できない圧縮率と速度を両立し、AIワークロードなど大規模データセットの処理パイプライン向けに設計されている。
当サイトでは、アクセス分析や広告配信のためにCookieを使用しています。「同意する」をクリックすることで、Cookieの使用に同意いただいたものとみなします。詳細はプライバシーポリシーをご覧ください。