二次元裏@ふたば

画像ファイル名:1774584516213.jpg-(209285 B)
209285 B26/03/27(金)13:08:36No.1414670863そうだねx3 15:47頃消えます
すげー
このスレは古いので、もうすぐ消えます。
126/03/27(金)13:10:28No.1414671328そうだねx16
なそ
にん
226/03/27(金)13:11:10No.1414671489+
グラボのメモリ?
326/03/27(金)13:12:14No.1414671735そうだねx27
時期が良くなった
426/03/27(金)13:12:42No.1414671863そうだねx71
メモリ価格も1/6にしろ今すぐにだ
526/03/27(金)13:13:13No.1414671979+
グーグル一強になるか?
626/03/27(金)13:14:17No.1414672243そうだねx10
PCに必要なメモリーも1/6になる技術が欲しい
726/03/27(金)13:15:34No.1414672591そうだねx10
同じ金で6倍買えるってことか
826/03/27(金)13:16:10No.1414672735+
アングラ安くして♡
926/03/27(金)13:16:52No.1414672908+
その技術に大金かかったら意味もない…
1026/03/27(金)13:19:12No.1414673453+
モデルが小さくなるのではなく推論時のキャッシュのリアルタイム圧縮か
1126/03/27(金)13:21:00No.1414673873+
素直に凄い技術じゃん
マジで?
1226/03/27(金)13:23:48No.1414674546+
LLMに使うメモリを1/6でなくてその中のKVキャッシュのメモリを1/6らしい
1326/03/27(金)13:24:12No.1414674631+
処理が8倍だっけ
1426/03/27(金)13:24:35No.1414674720そうだねx31
ありがとうGoogle!
OpenAIははよ死ね!!
1526/03/27(金)13:26:39No.1414675149+
メモリ安くなってくれんならありがたい
代わりに原油不足が今度は襲ってきた
1626/03/27(金)13:27:53No.1414675415+
>OpenAIははよ死ね!!
はいSora死にます
1726/03/27(金)13:28:27No.1414675524そうだねx10
6倍メモリ使うAIを作ってもいいってことだな
1826/03/27(金)13:31:04No.1414676047そうだねx1
えっすごくね
1926/03/27(金)13:31:38No.1414676152+
√6倍コンテキストが持てる!?
2026/03/27(金)13:35:59No.1414677112そうだねx1
AIにこのニュースでメモリの値段下がりそう?って聞いたらトレーニングとかの必要なメモリは減らないしなんだったらAI全体の需要が増してメモリもさらに品薄になる可能性もあるって言われた
2126/03/27(金)13:45:16No.1414678979そうだねx1
これでメモリ買い占めたら6倍の差を更に広げられるってワケ
2226/03/27(金)13:46:26No.1414679220そうだねx18
>はいSora死にます
マジレス〜😭
2326/03/27(金)13:47:44No.1414679461そうだねx2
今のAI開発は最適化度外視されてるからカツカツにチューニングすればもっと下がりそうではある
2426/03/27(金)13:48:47No.1414679650+
今は物量で戦っている印象ある
2526/03/27(金)13:48:53No.1414679671そうだねx2
>今のAI開発は最適化度外視されてるからカツカツにチューニングすればもっと下がりそうではある
今は半導体製品をいっぱい手に入れた方が勝ちみたいなところあるよな
2626/03/27(金)13:49:14No.1414679728そうだねx8
じゃあ6倍使えるってことじゃん!
2726/03/27(金)13:50:03 ID:f0VdKkMgNo.1414679901そうだねx1
NVIDIAくんはどう思う?
2826/03/27(金)13:50:07No.1414679916+
クラウドLLMにやらせたいタスクの何割かはローカルLLMでも性能的に必要十分な時代にはなった
2926/03/27(金)13:50:13No.1414679940そうだねx1
Google独占技術なの?
3026/03/27(金)13:50:42No.1414680022そうだねx8
やっぱグーグルって凄いんだな…
3126/03/27(金)13:52:10No.1414680266+
PCのメモリが安くなったりするの?
3226/03/27(金)13:54:45No.1414680792そうだねx7
>>はいSora死にます
>マジレス〜😭
なんだこのオッサン!?
3326/03/27(金)13:57:32No.1414681374+
ちょうすごい量子化技術とかだったらよかったんだけどなあ…
3426/03/27(金)14:08:47No.1414683434そうだねx1
流石俺たちのGoogleだぜ
3526/03/27(金)14:09:40No.1414683602そうだねx4
割と真面目にGeminiに乗り換えようか悩む
3626/03/27(金)14:10:01No.1414683654そうだねx1
>じゃあ6倍使えるってことじゃん!
供給据え置きで需要が6倍!
3726/03/27(金)14:16:32No.1414684763+
なにこれ超進化すぎない
3826/03/27(金)14:17:56No.1414685024そうだねx1
AIがHBM上で本計算する前に
こないだキオクシアが開発したような専用の超高速NANDの上で
NPU(ニューラルプロセッサ)が下準備の計算しておいて
ざっくり出来上がった仮ファイルを本番のHBM上に投げて本計算するって構造に進化した
鋼材からフレーム作ってその他の部品も作ってハンドメイドで自動車作ってたのが今までの生成AIなり診断AI
グループ内の協力会社が作った部品を組み合わせて検品して自動車として作り上げるのが今回のAI
3926/03/27(金)14:18:28No.1414685105+
>時期が良くなった
結局欲しい時が買い時なんだな…
4026/03/27(金)14:20:44No.1414685474+
つまりこれからはNANDも計算資源の一つとして専用の超高速SSDが生産される
メモリ価格は下がる可能性が出てきたが
代わりにSSDが今以上に高騰するってことだ
4126/03/27(金)14:22:53No.1414685828+
今のメモリのままでも性能上がるんなら
ローカルの人も恩恵受けられる?
4226/03/27(金)14:24:13No.1414686069+
AIの産業革命が来た感じか
4326/03/27(金)14:25:28No.1414686274そうだねx2
でもまあ別にすぐgeminiの性能が上がるわけではないぞ
4426/03/27(金)14:27:25No.1414686625+
>割と真面目にGeminiに乗り換えようか悩む
この技術はすごいけどgeminiの記憶力は相変わらずアホアホだし性能もGPTやopusより優れてるわけじゃないぞ
4526/03/27(金)14:27:47No.1414686683+
そもそもgeminiとかGPTとかの圧縮上がったところで今度は推論性能が足りんからもっと詰め込めるとはならんでしょ
4626/03/27(金)14:32:42No.1414687530+
元々そう出来たのをお披露目するタイミング見計らってただけなんじゃないかと思えてきた
4726/03/27(金)14:33:57No.1414687766+
書き込みをした人によって削除されました
4826/03/27(金)14:36:31No.1414688201そうだねx6
早く値段も1/6にして
4926/03/27(金)14:40:15No.1414688854+
オフラインでもスマホで高性能なAI使えるようになる感じか
革命だな
5026/03/27(金)14:40:53No.1414688966そうだねx6
sora終了はいいけど元凶のアルトマンにも死んで頂きたい
こういう奴が居るから人は苦しまねばならなくなる
5126/03/27(金)14:41:21No.1414689047+
「」が期待してるのとは多分ちょっと違うけど
他の企業が論文参照して真似してみたらKVキャッシュの使用量1/4になったわとか1/5になったわとかやってるので割とブレイクスルーなやつ
5226/03/27(金)14:42:00No.1414689147+
なんでそんなに減るん?
5326/03/27(金)14:45:23No.1414689681+
ローカルでも性能よくなるんなら嬉しいな
5426/03/27(金)14:46:12No.1414689838+
やっぱりGoogle様に貢ぐのが一番なんだなあ
5526/03/27(金)14:46:42No.1414689920そうだねx1
大企業はやっぱすげーな
5626/03/27(金)14:46:48No.1414689944そうだねx1
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
公式の解説記事
KV(キーバリュー)キャッシュという超簡単に言うとAIが覚書に使ってるメモ帳の使用領域が大幅に削減されるよ
会話の中で出てきた単語やそれまでの話の流れをメモっておく記憶領域が小さくなって
・再学習が不要になる
・会話の内容が長期に渡って記憶させやすくなる
などのメリットが主眼だよ
今まではベクトル値で縦・横・高さの三軸で記憶していたのをマップを極座標に変換して角度と勢いだけで記憶する様にすることで大幅な削減が実現したよ
5726/03/27(金)14:47:01No.1414689984+
大工が現場でイチから建ててたのが事前に加工済みの部材が現場に届いて
それを正しく組むだけで良くなるくらいの違いがあるならそら大分変わるわな
5826/03/27(金)14:47:21No.1414690038+
つまりその6倍の規模でメモリ稼動してAI運用ができるってことだろ?
5926/03/27(金)14:48:30No.1414690216+
アホアホになるまで6倍長く会話ができるって認識でいいのか?
6026/03/27(金)14:48:41No.1414690248+
これがシンギュラリティ
人間の時代は今終わる
6126/03/27(金)14:49:43No.1414690416+
すげえ発表するって噂だったのはこれか
6226/03/27(金)14:51:34No.1414690718+
>AIにこのニュースでメモリの値段下がりそう?って聞いたらトレーニングとかの必要なメモリは減らないしなんだったらAI全体の需要が増してメモリもさらに品薄になる可能性もあるって言われた
根本的にぜんぜん必要な量がわかんない状態だからな
詰めば積むほどつええって競争は変わんないよな
6326/03/27(金)14:51:57No.1414690789+
これで電気代が6倍安くなるなら無料化も夢じゃないな
6426/03/27(金)14:52:17No.1414690842+
>No.1414689944
ロクでもない学習した時の矯正が難しくなりそう
6526/03/27(金)14:52:26No.1414690864そうだねx2
この論文よりもClaudeに論文読ませたら実際言ってるような圧縮できるやつできたわって個人がやってるのがすごいし
その個人のhuggingfaceに国産AI企業自称してるところがフリーライドして驚き屋の真似事して早速カネにしようとしてるクソカスぶりが悪い意味ですごい
6626/03/27(金)14:53:02No.1414690972+
>これで電気代が6倍安くなるなら無料化も夢じゃないな
推論はともかく学習の頻度減らせるからGPUベースのAIアクセラレータぶん回す必要薄れて消費する電力は明確に削減されるはず
6726/03/27(金)14:53:59No.1414691124+
こういうのLLMだけで止まって画像動画はあんま効果ないねいかがでしたかみたいなイメージがあるけど今回はどうだか
6826/03/27(金)14:54:09No.1414691148そうだねx2
>メモリ価格も1/6にしろ今すぐにだ
10倍位になってるから1/60にしろ
6926/03/27(金)14:57:46No.1414691790+
反AIさん…イライラしてますね?w
7026/03/27(金)14:59:35No.1414692104+
ローカルで動かすのに恩恵あるかな
7126/03/27(金)15:02:34No.1414692556+
思ったより早くPC安くなりそうで良かった良かった
7226/03/27(金)15:02:34No.1414692557そうだねx5
>メモリ価格も1/6にしろ今すぐにだ
……
7326/03/27(金)15:02:35No.1414692561+
>ローカルで動かすのに恩恵あるかな
ぐーぐる次第
7426/03/27(金)15:03:22No.1414692685+
>>メモリ価格も1/6にしろ今すぐにだ
>……
安くなるのよね…?
7526/03/27(金)15:04:20No.1414692862+
>>>メモリ価格も1/6にしろ今すぐにだ
>>……
>安くなるのよね…?
はい!安くなりますよ(ニコニコ
7626/03/27(金)15:05:27No.1414693058+
>ローカルで動かすのに恩恵あるかな
フロンティアモデルと比べるとローカルの方がKVキャッシュにRAMもVRAMも持っていかれやすいからあるよ
今あるツールやらモデルやらがちゃんと対応するかは別の話だけど
7726/03/27(金)15:06:09No.1414693202+
短期的には下がるけど中長期向けには上がる予測だよ
性能上がってるけど需要も合わせて上がってるからね
7826/03/27(金)15:06:15No.1414693227+
メガテックに卸す分は安くなるだろうね
コンシューマー向け?儲からないのになんでそんなことやるの?
7926/03/27(金)15:06:28No.1414693261+
撤退する大手が出たときには予約分がごっそり空くけど
競ってる間は取り合いが続くから
8026/03/27(金)15:07:00No.1414693381そうだねx3
今5090でエロ絵出してるけど6倍エロい絵が出てくるの!?
8126/03/27(金)15:07:21No.1414693447そうだねx1
ローカルで動かす敷居が下がったと思って頑張って欲しい
8226/03/27(金)15:07:36No.1414693497+
もしかしてNVIDIA1強時代終わる感じか
8326/03/27(金)15:08:50No.1414693724+
>ぐーぐる次第
やり方ガッツリ解説してくれてるので既に他社や非営利団体でも再現成功してる
「」が脳死でインターネットに載ってる方法でこの軽量化手法適用されたモデル使えるようになるまではタイムラグあるだろうけど別にGoogleはこの技術独占してないぞ
8426/03/27(金)15:09:07No.1414693783そうだねx1
どうせ値段変わらずに今までの6倍働かされるだけだろ
8526/03/27(金)15:09:34No.1414693871そうだねx6
使用メモリが6分の1になったから物理的にメモリ減らせるね!←✕
使用メモリが6分の1になる?じゃあ物理的なメモリ増設と合わせて性能倍プッシュ!←◯
よってメモリはこちらに回ってこない
ころす
8626/03/27(金)15:10:00No.1414693956+
ローカルも希望が見え…み…
8726/03/27(金)15:10:33No.1414694066+
どっちにしろ保守用で需要が減る事は無い
8826/03/27(金)15:11:00No.1414694141+
今までより6倍えっちな動画が作れるようになる?
8926/03/27(金)15:11:22No.1414694199+
6倍だろうが何倍だろうが性能求める限り物理的なメモリ需要は変わらないからな…
9026/03/27(金)15:11:33No.1414694238+
1日1回シコるのが限界なのに6回シコらないとダメか……
9126/03/27(金)15:11:34No.1414694241+
16GB必須だった画像回りの諸々が急に3GBで足りるようになるというわけではあるまい
9226/03/27(金)15:12:14No.1414694374+
軽量化されると必要なメモリ減って適用範囲増えてどんどんAI普及しそうね
9326/03/27(金)15:12:18No.1414694379+
>今までより6倍えっちな動画が作れるようになる?
動画金にならないし…
9426/03/27(金)15:12:35No.1414694430+
NVIDIAはVRAMケチり癖があるからはやくライバル出てきて欲しい
9526/03/27(金)15:13:08No.1414694516そうだねx5
削減されるのはKVキャッシュの分であって一番容量取るモデルが乗っかる分は別に減らんからな
自分でLLM動かしたことない人だと勘違いしてそうだけど
9626/03/27(金)15:13:37No.1414694603そうだねx3
>Googleはこの技術独占してない
大企業はすげえな
9726/03/27(金)15:13:49No.1414694627そうだねx3
画像生成は使うテキスト用のモデル小さいしコンテキスト16kとかだから削減される部分なくない?
9826/03/27(金)15:15:47No.1414694989そうだねx1
こんな凄い技術独占しないのはグーグル的にもメモリ高騰はやばっかったんだなって
9926/03/27(金)15:16:29No.1414695106+
オタクというかAIでオカズ作る分には多分変わらないと思う
メモリの値段が下がるかはどうなんだろうな…
10026/03/27(金)15:20:19No.1414695827+
はやくllama.cppに実装して欲しい
10126/03/27(金)15:21:14No.1414695999+
結局グーグルがクソ強いのか
10226/03/27(金)15:21:37No.1414696085+
メモリ価格元に戻るって明日デイサービスで言っちゃっていい!?
10326/03/27(金)15:22:01No.1414696153+
これ個人ユーザーにもめちゃくちゃ需要ある技術だな
10426/03/27(金)15:23:03No.1414696348+
>これ個人ユーザーにもめちゃくちゃ需要ある技術だな
ローカルLLM自体が…
まぁ今より6倍コンテキストサイズ取れるのは嬉しいけど
10526/03/27(金)15:27:17No.1414697072+
>結局グーグルがクソ強いのか
そもそも現在に続くLLMの原型を作ったのGoogleだし…
この分野ではずっとリーディングカンパニーとしてトップひた走ってるよ
10626/03/27(金)15:27:59No.1414697207+
メモリ12-16gb載ってるグラボあるならローカルLLMで無規制遊んでみるのおすすめよ
質はクラウドには負けるけど脱獄とかBANとか使用量とか意識しないで気軽にエロやれるのは楽しい
10726/03/27(金)15:28:43No.1414697327+
今までも何度も必要メモリが半分になるってやってたけど
必要リソースが半分になったら機材を3倍ぶち込むの繰り返してきた業界だぞ
10826/03/27(金)15:31:15No.1414697807そうだねx1
全体のメモリ使用量が6分の1になるんじゃなくて
全体のうちのKVキャッシュって部分が6分の1になる
10926/03/27(金)15:31:38No.1414697870+
株価を1/6にして欲しかった
11026/03/27(金)15:32:01No.1414697941+
>sora終了はいいけど元凶のアルトマンにも死んで頂きたい
>こういう奴が居るから人は苦しまねばならなくなる
でも、楽しかっただろ?
11126/03/27(金)15:34:41No.1414698468+
やすくなるというか削減できるってことはその領域分更に積み増せるってことだよねPC業界の場合
11226/03/27(金)15:40:59No.1414699788+
メモリの値段対して落ちねえんだろうな
11326/03/27(金)15:42:32No.1414700101+
効率改善は消費を促すだけだろうしな
11426/03/27(金)15:44:13No.1414700426+
>ありがとうGoogle!
>OpenAIははよ死ね!!
OpenAIにとっても有益な技術では?


1774584516213.jpg