gpt oss 120Bクラスでも問題無く動くの楽しい
でも何の役に立つんだろ

8000MTのユニファイドメモリでもちゃんと速度出るもの？

エロ絵生成と合わさって活かせるとかそんな時代が来ればいいのにな

>8000MTのユニファイドメモリでもちゃんと速度出るもの？
ちょっと推論速度見てみるわ

形はおしゃれやね

30万円くらい？

RiGの広告でめっちゃ出てきたデザイン

>8000MTのユニファイドメモリでもちゃんと速度出るもの？
gpt oss 120Bでollama,gpu推論でプロンプト"推論速度のテストですtransformerの仕組みについて教えてください"で
prompt eval count:84 token/s
prompt eval rate:155.76/s
eval rate:34.82token/s
active小さいモデルをだからってのもあるけど体感速度はchatgptのgpt5.2より速い

グラボより強いの？

>active小さいモデルをだからってのもあるけど体感速度はchatgptのgpt5.2より速い
いいじゃん
llama3 70BとかのDenseモデルはどんな感じ？

>グラボより強いの？
勿論大きいモデルが乗るデカいVRAM抱えたグラボがあるならそっちの方が100倍強い
でも96GBのVRAMあるグラボは150万弱するけどコイツは30万ちょっとで買える

>>グラボより強いの？
>勿論大きいモデルが乗るデカいVRAM抱えたグラボがあるならそっちの方が100倍強い
>でも96GBのVRAMあるグラボは150万弱するけどコイツは30万ちょっとで買える
値段5倍で100倍つよいならコスパはgpuが勝つんだな…

>llama3 70BとかのDenseモデルはどんな感じ？
ゴメンdenseモデルはあんまり食指そそる奴が無くて入ってない…
そのうちdevstralで完全ローカルコーディングエージェントは試そうと思ってるけど

20Bくらいのモデルでエッチなの書いてもらおうとしたら全然だったなぁ

うちのエロ絵生産マシン

>値段5倍で100倍つよいならコスパはgpuが勝つんだな…
まあ出来ることが全然違うし…
GPUなら学習も画像とかの生成も出来る
でもコスパ良くても150万の価値を生み出せるかと言うと…
30万なら趣味で割り切れる

俺もDGX SparkでVRAM重視するかPRO5000で速度重視にするかで迷ってるんだよね…

>俺もDGX SparkでVRAM重視するかPRO5000で速度重視にするかで迷ってるんだよね…
何したいかに尽きるけど48GBのVRAMってLLM用途だと中途半端過ぎて困るよね…
30Bクラスから100Bクラスに飛んでその先はフロンティアモデル級で200超えてくるし

中華のミニPCは最初にまずドライバにバックアップ取ろう
不具合や起動しないときにOS再インストールするとマジで見つからないドライバがある…
知り合いは最初から入ってるOSが嫌だからとクリーンインストールしたらドライバ入れられなくて半年くらい唸ってた

>何したいかに尽きるけど48GBのVRAMってLLM用途だと中途半端過ぎて困るよね…
>30Bクラスから100Bクラスに飛んでその先はフロンティアモデル級で200超えてくるし
そうなんだよねぇ
PRO5000は72GBモデル出るって話もあるけど多分120万はするだろうし
その値段出すならPRO6000買うわってなる
悩ましい…

>中華のミニPCは最初にまずドライバにバックアップ取ろう
>不具合や起動しないときにOS再インストールするとマジで見つからないドライバがある…
>知り合いは最初から入ってるOSが嫌だからとクリーンインストールしたらドライバ入れられなくて半年くらい唸ってた
そう言う知見は助かる
取り敢えず初めてのubuntuしてるけどデフォで入ってるwinのドライバは全然考えてなかった

>そうなんだよねぇ
>PRO5000は72GBモデル出るって話もあるけど多分120万はするだろうし
>その値段出すならPRO6000買うわってなる
>悩ましい…
まあその金額はPRO6000で良いよなぁ
48GBだとLLMのLoRAがギリ20B級学習できるくらい？
何とも言えない感じだなぁ
sparkなら2台繋げればフロンティアモデルも一応動くよ…？

このタイミングで心底いいお金の使い方だと思うので
その情熱で突っ走って欲しい

>sparkなら2台繋げればフロンティアモデルも一応動くよ…？
一応動くとちゃんと動くって全然別物で…
宝くじでも当たればPRO6000の4枚積みとかするんだけどなァ！

ONEXFRY APEXって言うこれと同じ性能のポータブルゲーミングPCがクララファンで36万だったんだけど昨日から48万に値上がりしちまった…

evo x2はGPUもちゃんと繋がるみたいだからai遊びをするにはいい機種だよな
潰しが効いてなんにでも使える

>このタイミングで心底いいお金の使い方だと思うので
>その情熱で突っ走って欲しい
このタイミング逃したら絶対高騰して変えなくなるから突っ込んだわ
でも職場に逮捕された弩級のアホが居たせいでで死ぬほど忙しくなって全然触れない…

ミニPCいいよね
重たいゲームは諦めないといけないけどimgやる分には十分だ

>値段5倍で100倍つよいならコスパはgpuが勝つんだな…
実際は3060くらいの生成速度らしいけど小さいのは魅力的

>ミニPCいいよね
>重たいゲームは諦めないといけないけどimgやる分には十分だ
まあでも3060相当くらいのGPU性能はあるからホントに重いゲームじゃなければ全然動くのも良いところ
まあゲーム用途はそれ用があるからそっち使うけど

実運用考えるとコンテキストサイズはできるだけ多く確保したいからメモリはさらに要る
4096でとりあえず動きました！ってやっても会話は数ターンで終わるし

今主流のコーディングエージェントの覇権争い終わってロックインや価格吊り上げが始まったら真面目にプログラミングと翻訳ローカルで動く奴探さないといけないがまだ先だろうな

>実運用考えるとコンテキストサイズはできるだけ多く確保したいからメモリはさらに要る
>4096でとりあえず動きました！ってやっても会話は数ターンで終わるし
そういう意味ではnemotron3凄いぞ！頑張ればご家庭で100万コンテキスト長取れる！
実際のロングコンテキスト性能知りたいけど良いベンチ無いかな…

>今主流のコーディングエージェントの覇権争い終わってロックインや価格吊り上げが始まったら真面目にプログラミングと翻訳ローカルで動く奴探さないといけないがまだ先だろうな
クラウドLLMの使い放題プランも週次や日次のリミット制限が増えていくんだろうなって

おおすげぇの買ったなこの時期にスケベ野郎が

>今主流のコーディングエージェントの覇権争い終わってロックインや価格吊り上げが始まったら真面目にプログラミングと翻訳ローカルで動く奴探さないといけないがまだ先だろうな
去年初頭の最強コーディングだったsonnet3.7とだいたい同等のdevstral2 smallがご家庭で動く辺り来年の今頃にはopus4.5級がご家庭で動くかもしれない

>去年初頭の最強コーディングだったsonnet3.7とだいたい同等のdevstral2 smallがご家庭で動く辺り来年の今頃にはopus4.5級がご家庭で動くかもしれない
同じメモリ量で動くAIでも凄い勢いで賢くなっていってるよね
助かる

acerのやつ気になる

>同じメモリ量で動くAIでも凄い勢いで賢くなっていってるよね
>助かる
kimi linerとかqwen nextとか nemotronとかロングコンテキスト取るためのattention機構も色々考えられてるから来年には本当にまともにローカルLLMが使えるようになってそう

>でも職場に逮捕された弩級のアホが居たせいでで死ぬほど忙しくなって全然触れない…
シレっと言い放ったけど割と大事件だな？

>kimi linerとかqwen nextとか nemotronとかロングコンテキスト取るためのattention機構も色々考えられてるから来年には本当にまともにローカルLLMが使えるようになってそう
よさげなローカルモデルがあったら早めにダウンロードして確保しておくべきか

ローカルLLMで何するの？
何で遊べるか気になる

>ローカルLLMで何するの？
・エロ会話やエロ小説作り
・API料金を気にせず大量のテキストデータのバッチ処理
・お外に出せないヤベー機密情報の処理

最近高くない？

>ローカルLLMで何するの？
>何で遊べるか気になる
動いて楽しい！
真面目な話だと個人情報やら気にせずに仕事の情報も全部食わせられる
資料から必要なデータを引っ張り出すだけのめんどくさい作業とか丸投げ出来る（何行目にあるって情報込みで）
今はevoX2,ollama,open webui,brave APIで何入れても良いchatgpt擬きを組んでる

ローカルの強みはやっぱ機密性の高い個人の情報じゃんじゃん食わせて自分好みの生成できるところか…

>今はevoX2,ollama,open webui,brave APIで何入れても良いchatgpt擬きを組んでる
自分専用ツールもバイブコーディングでお手軽に作れるのいいよね

よくわからんけどすげー！

画像生成の話でちょっと違う話かもしれないけど
呪文の唱え方さえ工夫すれば大手の力に頼ればいいんだよってよく言うけど
そういうのに縛られないでただエロい言葉を唱えたら普通にエロが生み出される自由さが欲しいならローカルか…

>>今はevoX2,ollama,open webui,brave APIで何入れても良いchatgpt擬きを組んでる
>自分専用ツールもバイブコーディングでお手軽に作れるのいいよね
セットアップから8割claude code2割codexがやってくれたよ
話してて体感良いのはclaude code +opusだけど信頼置けるのはcodexなのもわかった（opusがRoCM関係で上手くGPU動かせなかったからcodexに切り替えて5.2に頼んだら1発だった）

テキストのバッチ処理って何か適した用途あるのか
それっぽい会話や要約は確かにLLMで良いんだろうけど

>テキストのバッチ処理って何か適した用途あるのか
>それっぽい会話や要約は確かにLLMで良いんだろうけど
そのうちここのスレ全部突っ込んで好みっぽい奴だけ抽出する奴作ろうかなと思ってる
後文脈に合わないコピペを自動NGとか

音声入力でゆかりさんと音声会話できるようにしたい
最終的な理想はアイアンマンのジャービスみたいな感じ

>そのうちここのスレ全部突っ込んで好みっぽい奴だけ抽出する奴作ろうかなと思ってる
>後文脈に合わないコピペを自動NGとか
aimgはクラウド経由でこれやってるんだったかな

スレ画ってACアダプタどんくらいでかいの？

>aimgはクラウド経由でこれやってるんだったかな
ローカルLLMでやってるんだぞ