二次元裏@ふたば

画像ファイル名:1785117025455.jpg-(37947 B)
37947 B26/07/27(月)10:50:25No.1452897822そうだねx7 13:11頃消えます
もっとローカル盛り上がってほしい
このスレは古いので、もうすぐ消えます。
126/07/27(月)10:50:57No.1452897898+
分かってる人はまあまあエロ小説作れたりしてるし良い気はする
後はGemmaが次モデル出すかくらいで
226/07/27(月)10:51:01No.1452897909そうだねx6
性能がね…
326/07/27(月)10:53:05No.1452898212+
1年ちょっと前にEasyNovelAssistanceだったかを使ってNinjaみたいな名前のモデルを一回触れてその後触ってなかったからすげー進化したな―って思ったしGemma4でここまで行けるなら良くないかい
426/07/27(月)10:54:18No.1452898385そうだねx6
PC価格がね…
526/07/27(月)10:54:22No.1452898392そうだねx4
VRAMが足りない
簡単な翻訳程度なら軽いのでいいけど
626/07/27(月)10:55:02No.1452898487そうだねx2
やっぱりローカルで動かすならmacが一番いいんかな
726/07/27(月)10:56:15No.1452898658+
macならメモリ共有だからもりもりもりもり出来るって聞いたけど速度はどうなんだろう
826/07/27(月)10:56:25No.1452898683+
ローカル画像のエロプロンプト生成くらいには使ってるけどそれ以上はなんともし難い
926/07/27(月)10:56:51No.1452898738+
Webサービスのパワーを実感する
1026/07/27(月)10:57:43No.1452898872そうだねx2
>macならメモリ共有だからもりもりもりもり出来るって聞いたけど速度はどうなんだろう
まあまあ早いのでグラボに全部乗ってるモデル程度の速度は期待していい
ただMoEじゃなくてDenceならやっぱ全部計算するから遅めではある
1126/07/27(月)10:58:53No.1452899035+
統合メモリは当然速度落ちるけど実用的という人も結構いる
Macに拘らなくてもNVIDIA純正のDGX Sparkや発売予定のRTX Sparkにいく手もある
高いけど
1226/07/27(月)10:59:51No.1452899168+
簡単なテキスト整理くらいならいいけどねぇ
1326/07/27(月)11:00:07No.1452899209+
bionicをどう使うと便利なのかよく分かってない
1426/07/27(月)11:00:57No.1452899335+
ローカル生成で強いのって画像と音声くらいじゃないかなぁ
1526/07/27(月)11:02:54No.1452899589そうだねx2
弾かれなくても出したいものが学習されてないと意味無いんだよな
1626/07/27(月)11:04:00No.1452899746そうだねx1
エロチャットくらいならしてくれるから結果的にフロンティアモデルはちゃんとした使い方するようにはなった
1726/07/27(月)11:06:44No.1452900150+
gemma4がHTMLタグ含んだエロブラゲ翻訳にすげー強いのにエロ禁止のせいでチクショウ
1826/07/27(月)11:07:19No.1452900238そうだねx5
>gemma4がHTMLタグ含んだエロブラゲ翻訳にすげー強いのにエロ禁止のせいでチクショウ
別にエロいける弄られた野良モデル使えばよくないか?
1926/07/27(月)11:07:51No.1452900323+
そこそこ性能良い奴とそれの緩くした奴は知ってるけど日本語のえっちなものいっぱい食わせたものとか無いの
2026/07/27(月)11:08:24No.1452900412+
web検索させるプラグインとか使えば知識不足は補えるんだろうか…
2126/07/27(月)11:08:53No.1452900472そうだねx2
>そこそこ性能良い奴とそれの緩くした奴は知ってるけど日本語のえっちなものいっぱい食わせたものとか無いの
お前がやるんだよ!
2226/07/27(月)11:10:34No.1452900734+
中国モデルはなんか中国のお嬢様って感じの口調になってなんか笑う
2326/07/27(月)11:11:18No.1452900859+
AIエージェントの性能として我慢できる最下限がGPT5.2のコーディングレベルだからVRAM24GB以下でそれくらいの性能になったら使うよ
2426/07/27(月)11:12:17No.1452901006+
MacでAIやるなんて昔は考えられなかったのに開発者増えたんだな
AIのためにツヨツヨWindows買うレベルだったんだが
2526/07/27(月)11:14:20No.1452901309+
>別にエロいける弄られた野良モデル使えばよくないか?
gemmaはgoogleのブラウザ翻訳を学習リソースに使ってるのかHTMLタグを残しつつ無視して翻訳するのが妙にうまいんだ
ページ全体じゃなく1文(に相当するHTML)に区切って翻訳させてもリンクタグとか装飾タグを残さないとページの表示上の意味が変わっちまうことがあるからこの上手さで結構出来が変わる
gemma以外に渡すと途端に精度が落ちてぐぬぬってなってるまぁ個人でこっそり使う分にはばれないけど…
2626/07/27(月)11:18:04No.1452901842そうだねx8
>>別にエロいける弄られた野良モデル使えばよくないか?
>gemmaはgoogleのブラウザ翻訳を学習リソースに使ってるのかHTMLタグを残しつつ無視して翻訳するのが妙にうまいんだ
>ページ全体じゃなく1文(に相当するHTML)に区切って翻訳させてもリンクタグとか装飾タグを残さないとページの表示上の意味が変わっちまうことがあるからこの上手さで結構出来が変わる
>gemma以外に渡すと途端に精度が落ちてぐぬぬってなってるまぁ個人でこっそり使う分にはばれないけど…
非検閲版を使えばいいと思うけど使わない理由は何かあるの?
2726/07/27(月)11:18:23No.1452901892そうだねx8
だからエロ可にしたgemma使えばいいだろって言われてるんじゃないの
2826/07/27(月)11:19:07No.1452902014そうだねx2
hereticモデルとかあるじゃないですか
2926/07/27(月)11:24:23No.1452902847+
エロ許可版にしても元の利用規約は守らないといけないから…
個人で使う分にはお目こぼしだからいいけどいい感じの翻訳ツールできたよモデルこれ使ってねって推奨するのはちょっとまずい
3026/07/27(月)11:24:24No.1452902853+
Gemmaの色々を施した個人モデルを触らずに評価する者が居るのは残念である
3126/07/27(月)11:25:35No.1452903061+
VRAMから溢れてもMoEモデルの方が早いね
3226/07/27(月)11:29:45No.1452903717+
MoEは早いんだけどなんか露骨に性能低くない?
3326/07/27(月)11:30:30No.1452903837+
常にファンぶんまわるから常用無理だわ
3426/07/27(月)11:32:41No.1452904221+
>MoEは早いんだけどなんか露骨に性能低くない?
あんまり真面目な用途に使ってないから性能いまいちわかってない
エージェント数を気軽に増やしたり出来ねえのかな
3526/07/27(月)11:32:58No.1452904275+
hereticとかUncensoredは元のモデルのライセンス違反の場合があるから個人でこっそり使う分にはいいけどあんまりお勧めするもんではない
3626/07/27(月)11:33:02No.1452904292+
結局翻訳にしか使わなくなった
3726/07/27(月)11:35:10No.1452904683そうだねx1
ローカルサーバーで自動翻訳アプリみたいなことさせてるけどその程度なら全然有用だと思う
3826/07/27(月)11:35:19No.1452904706+
エロ小説の設定や用語を考えてくれるぐらいにはいいけど小説そのものだとちょっとな…
3926/07/27(月)11:35:24No.1452904722そうだねx6
>hereticとかUncensoredは元のモデルのライセンス違反の場合があるから個人でこっそり使う分にはいいけどあんまりお勧めするもんではない
こんな掲示板でその手の説いてどうする
ド犯罪ならともかくどうなるもんでもあるまいし
4026/07/27(月)11:36:54No.1452904993+
HFでも消すでもなく平気でたくさんあるからな…
こんな掲示板で説くことではない気はする
頭に入れといてねならまあ
4126/07/27(月)11:37:02No.1452905014そうだねx3
個人的にはまだまだおもちゃ
でもネットに足跡残したくないこと聞くのにはいいよね
4226/07/27(月)11:37:32No.1452905110+
検閲無し版検索してググったの出てきたけどシコ用途には表現力がまだ足りなかったな
俺はただ空想の世界でぼっちちゃんとベロチューラブラブセックスしたいだけなのに
ただ1年前と比べると圧倒的進化してるのであと数年あれば可能になるだろう
4326/07/27(月)11:38:13No.1452905227そうだねx3
なんでググるんだ…
hfで探せよ!
4426/07/27(月)11:38:36No.1452905299+
エロしか考えてなかったけどお外に出せない機密文書の翻訳とかにも使えるのか
4526/07/27(月)11:39:34No.1452905471+
>エロしか考えてなかったけどお外に出せない機密文書の翻訳とかにも使えるのか
基本は仕事で持ち出し禁止のデータを扱うのがメインだと思うよ
4626/07/27(月)11:39:56No.1452905532+
グラボは大抵の他の事に回してるからそっちとの食い合いがなぁ
4726/07/27(月)11:39:58No.1452905539そうだねx1
古来からggrksって口を酸っぱくして言われてて…
4826/07/27(月)11:40:08No.1452905565そうだねx2
性能はかなり良くなってきたのは実感する
初期のローカルLLMって本当にただの無秩序テキストジェネレーターだったし
でも会話を長く続けると出力が崩壊するのがなあ
4926/07/27(月)11:41:12No.1452905761+
結構頭はよくなったけど独創性というか表現力というか考える必要があるのはまだしんどいというかVRAMが足りない
5026/07/27(月)11:41:34No.1452905829+
未だにループし始めたりするのは設定がおかしいのかなんなのか
5126/07/27(月)11:41:44No.1452905869+
直球な部分はローカルで前戯部分は大手のLLMサービスでみたいな曲芸みたいなことはできんかの
5226/07/27(月)11:41:48No.1452905882+
Gemma4-26Bでもエロで望んでる所の8割以上できるようになったのでGemma5を待ってる
5326/07/27(月)11:41:56No.1452905900+
独創性は仕組み的にどこまで行っても無理だ…
5426/07/27(月)11:41:58No.1452905911そうだねx2
場所関係なく自分が使ってるもんがどういうもんかは理解してたほうがいいだけの話では
個人利用の範囲ならいいけど共有考えるかで気にしなきゃいけない範囲が変わるし
5526/07/27(月)11:42:31No.1452906008+
>未だにループし始めたりするのは設定がおかしいのかなんなのか
そういう原因効くなら先ず使ってるモデル言わないと
5626/07/27(月)11:42:54No.1452906061+
gemma君エロ禁止してるけど本モデルからエロの生成結構いけるんだよね…
5726/07/27(月)11:43:01No.1452906087+
>Gemma5
何かが起きて今年中に来ないかな…
5826/07/27(月)11:43:18No.1452906127+
エロ画像整理に使ってるわ
チャッピーにその用途なら俺使わない方が安全だよって言われた
5926/07/27(月)11:43:50No.1452906223+
チャッピーエロ画像見たくないんだ…
6026/07/27(月)11:44:27No.1452906342そうだねx1
結局ローカルPCの性能がボトルネックだからあんま伸びないよね
6126/07/27(月)11:45:07No.1452906468+
>チャッピーエロ画像見たくないんだ…
サムにスケベ野郎であることが見つかるぞって話じゃね?
6226/07/27(月)11:45:20No.1452906493+
仮にGeminiがそのままローカルに来てもコーディングなんかには使いづらい気がする
6326/07/27(月)11:45:27No.1452906517そうだねx4
画像生成用のプロンプト出すのに使ってる
6426/07/27(月)11:45:42No.1452906556そうだねx1
>チャッピーエロ画像見たくないんだ…
あいつが見てるということはアップロードしてることになるのでまあやめとけ?ってなる
6526/07/27(月)11:46:24No.1452906686+
画像や動画を満足のいく速度と出来で生成するハードの要求スペックがね
翻訳とか簡単なコーディングとかの文章生成ならまぁ
6626/07/27(月)11:46:31No.1452906712そうだねx1
(どうせロリとかあるんだろうな…)
危ないからやめた方がいいです
6726/07/27(月)11:46:43No.1452906747+
冗談だったんだ…すまない
6826/07/27(月)11:46:54No.1452906781+
コーディングやらせるなら性能の良いクラウドLLMが無難だろうな
6926/07/27(月)11:47:14No.1452906847+
>Gemma4-26Bでもエロで望んでる所の8割以上できるようになったのでGemma5を待ってる
どうやって何に使ってる?
7026/07/27(月)11:47:18No.1452906857+
LM Studio一本で画像と動画生成出来るようにならないかなって思う
7126/07/27(月)11:47:31No.1452906903+
>画像や動画を満足のいく速度と出来で生成するハードの要求スペックがね
画像は随分楽な時代になったでしょうがよ
7226/07/27(月)11:47:58No.1452906991+
小説書かせるのはまだ無理
ロールプレイとかならがっつり調教すれば何とか
でも段々語彙が少なくなってくるのは変わらない
7326/07/27(月)11:48:09No.1452907028そうだねx2
>LM Studio一本で画像と動画生成出来るようにならないかなって思う
ComfyUIにLLM突っ込んだらいいのでは?
7426/07/27(月)11:48:15No.1452907043+
トークンの計算量が入力の二乗だからローカルではやっぱ限界がある
7526/07/27(月)11:48:32No.1452907102+
>やっぱりローカルで動かすならmacが一番いいんかな
RTXsparkがcuda使えるから強いらしい
まだ出てないけど
7626/07/27(月)11:48:34No.1452907109+
エロ画像生成用に使うプロンプトを書かせてるくらいかなあ
7726/07/27(月)11:48:35No.1452907111+
調べ物だとGemma4は本当に劣る
7826/07/27(月)11:48:42No.1452907133+
二次創作エロの出力やろうと思うとGeminiと notebookやっぱすごいんだなあってなる
7926/07/27(月)11:49:13No.1452907223+
画像生成までワンストップでっていうならLemonadeとかもあるけど
モデルの保存フォルダ動かせないのがな
8026/07/27(月)11:49:16No.1452907230+
gemmaくん日本語には強いなと思うけどすぐ弓なりになる古臭い面が…
8126/07/27(月)11:49:17No.1452907233+
Marinara-Engineと接続しても自分のpcは12gbのvramなので大分きついぜ…
8226/07/27(月)11:49:32No.1452907284そうだねx10
>調べ物だとGemma4は本当に劣る
そりゃローカルを調べ物とかに使うのはアンポンタンでしょうがよ
8326/07/27(月)11:50:04No.1452907371+
gemma4は2024年までの知識しか持ってないからな
8426/07/27(月)11:50:06No.1452907378そうだねx1
エロ可=エロに堪能ってほどでもないのがなあ
まだまだオンラインのどでかいモデルで騙し騙し出させる方がマシに感じちゃう
8526/07/27(月)11:50:08No.1452907388そうだねx1
>調べ物だとGemma4は本当に劣る
モデルそのものよりもRAGの出来次第じゃね?
8626/07/27(月)11:51:40No.1452907664そうだねx1
外部記憶無しに頑張れって言ってるようなもんだからなぁ
カットオフ関係なく誰でも知ってそうな作品すら知らないレベルだったりする
8726/07/27(月)11:51:42No.1452907670そうだねx2
調べ物ってローカルllmに頼むような話ではなくない…
8826/07/27(月)11:51:49No.1452907693そうだねx5
AI周りの性能の口コミって用途によるところがあったり悪いのはお前の頭だろってことがあったりして難しい
8926/07/27(月)11:51:50No.1452907698+
グラボが買えなくともメインメモリを増やしたい気持ちはあるが
手持ちのメモリを生かすためとはいえ今更AM4マザー買うのもなって微妙な気持ち
9026/07/27(月)11:51:58No.1452907720+
ただこの辺のモデルが進化してくれるとローカルの画像生成のレベルも上がる可能性があるんで進化は止めないでほしい
9126/07/27(月)11:51:59No.1452907724+
gemma4 26Bのuncensoredをたまに使ってるけどなかなか悩ましい
でも画像生成プロンプトのルール渡してこんな感じのエロシチュのプロンプト考えてだとまあまあちゃんと作ってくれる
9226/07/27(月)11:52:39No.1452907849+
ただまあエロ画像のプロンプト出してくれー!ならGPTなんかも嬉々として出す
9326/07/27(月)11:53:04No.1452907925+
Docker Desktopとか使っている?
9426/07/27(月)11:53:14No.1452907969+
>二次創作エロの出力やろうと思うとGeminiと notebookやっぱすごいんだなあってなる
なぜこれだけのマシンパワーが無料で利用できているんだ…?ってなる
9526/07/27(月)11:53:24No.1452908007+
>エロ可=エロに堪能ってほどでもないのがなあ
>まだまだオンラインのどでかいモデルで騙し騙し出させる方がマシに感じちゃう
エロに対する検閲を回避してるだけで結局元のモデル性能に寄るからね
元のモデルはエロ用途を目的に学習させてるわけでもないし学習のうちのエロ部分がいい感じに動いてくれてるだけで
クラウドのローカルでは動かせないモデルのエロ学習部分に期待した方が良くなるのは自明
9626/07/27(月)11:53:52No.1452908086+
>AI周りの性能の口コミって用途によるところがあったり悪いのはお前の頭だろってことがあったりして難しい
結局は道具である以上使いこなせる人間とそうでない人間の差は生まれてしまうんやな悲劇やな
9726/07/27(月)11:53:56No.1452908097+
gemma4の31Bの表現力が小説のギリギリってライン
9826/07/27(月)11:53:57No.1452908101+
コード生成よりもレビューに性能を割いてほしい
9926/07/27(月)11:54:16No.1452908163+
RAGってネット検索してるってわけじゃないんだよね?
10026/07/27(月)11:54:32No.1452908207+
LLMと画像生成モデルはあんま関係ないような
10126/07/27(月)11:54:52No.1452908264+
キャラのセリフを放り込んでこんな感じの口調を基本設定としてねつってチャHするのには使えてるけど別普通のgeminiでも出来るしなぁ
10226/07/27(月)11:55:01No.1452908295そうだねx2
Gemma4はエロ用途だと2.5flashの頃の弓なりまくりゆっくりとしかし確実にを味わえる
Qwenは性能は高いけど日本語が変
10326/07/27(月)11:55:08No.1452908318+
>RAGってネット検索してるってわけじゃないんだよね?
してるやつもある
しないやつもある
10426/07/27(月)11:55:22No.1452908365+
ローカルで動くモデルでコードレビューは無理なんじゃないかなあ
10526/07/27(月)11:55:23No.1452908367そうだねx4
>LLMと画像生成モデルはあんま関係ないような
チャッピーとかの画像生成と混同して勘違いしていると思われ
10626/07/27(月)11:55:25No.1452908377+
LLMを動かすためだけにスペックを引き上げるってのはちょっと辛くて...道具を使いたいんじゃなくて成果物が欲しいだけで...
10726/07/27(月)11:55:25No.1452908378そうだねx1
>キャラのセリフを放り込んでこんな感じの口調を基本設定としてねつってチャHするのには使えてるけど別普通のgeminiでも出来るしなぁ
まあネットを通したくねえなぁ…という気持ちはわかるじゃないですか
10826/07/27(月)11:55:36No.1452908416+
Qwenって新しくなったんだっけ
10926/07/27(月)11:56:13No.1452908509+
俺はただインターネットに溢れる情報や語彙を利用してえっちな小説を出力したいだけなのに…
11026/07/27(月)11:56:23No.1452908535+
「」はグラボは何を使っている?
11126/07/27(月)11:56:24No.1452908542+
あんまAIの事知らんけど学習の負荷って軽くなる事はないっぽいよね
11226/07/27(月)11:57:35No.1452908755+
comfyと紐付けて完全ローカルでチャHしながらエロ自撮り送ってくれるみたいなシステムは見た
11326/07/27(月)11:57:46No.1452908791+
>「」はグラボは何を使っている?
4070ti
買い替えたい
11426/07/27(月)11:58:08No.1452908856+
>「」はグラボは何を使っている?
5090だけどまあ全然足りんね
量子化下げるとすぐ日本語おかしくなるし…
11526/07/27(月)11:58:13No.1452908876+
Macminiかった
値上げ前に買ったから10万くらい安かった
値上がりすぎだろ…
11626/07/27(月)11:58:32No.1452908929+
TEとかVAEの進化に関して完全に無関係ではないし…
11726/07/27(月)11:58:40No.1452908960+
Q4KMみたいなやつだとやっぱ日本語性能落ちる?よくわかってない
11826/07/27(月)11:59:12No.1452909060+
CPUとのハイブリッド推論すればかなり実用的な性能で使えるよ
速度クソ遅いけど
11926/07/27(月)11:59:14No.1452909072+
macの方がいいんだろうけどゲームやらに使いづらいんだよね…
12026/07/27(月)11:59:21No.1452909090+
>Docker Desktopとか使っている?
サンドボックス環境作成とかの話?
内部で好き勝手動いてもらう為のセーフティとして必要だとは思うけどまだそこまでAIに動きまくって貰えてないや
12126/07/27(月)11:59:51No.1452909177+
>Q4KMみたいなやつだとやっぱ日本語性能落ちる?よくわかってない
モデルと用途にもよるけど小説とかロールプレイやらせるとQ4はGemma4 31Bですら結構厳しい
Q6は欲しい
12226/07/27(月)11:59:53No.1452909179そうだねx4
Ryzen AI Max+ 395
モデルが乗るだけで遅くて使い物にならない
12326/07/27(月)12:00:05No.1452909225+
OpenWebUiの鯖立ててスマホからエロチャットしてる
12426/07/27(月)12:00:07No.1452909231+
1070…
12526/07/27(月)12:00:38No.1452909333+
もっと量子化すごくなれ…
12626/07/27(月)12:00:44No.1452909352+
そんなにガッツリやらないし5060Tiでいいかーと思ったらどんどん足りない
12726/07/27(月)12:01:07No.1452909414+
ローカルの盛り上がりって質の良さとかよりもAI向けじゃなさそうな安いグラボでもOKみたいな敷居の低さから興る所あるからなあ
画像の方はエントリーモデルでも実用的な質と速度出せるようになって触る人増えたし
12826/07/27(月)12:01:16No.1452909446+
始めたばっかりでkimiとかいうやつが出るって聞いたから突っ込んでみよーとか思ってたら
一般のご家庭じゃ動かないって言われてちょっと悲しかった
蒸留?とかいうやつ待たないといけないんですか!!
12926/07/27(月)12:01:17No.1452909448+
予定外の出費で重なって3060の12gbから卒業できてない…
13026/07/27(月)12:01:17No.1452909454+
>「」はグラボは何を使っている?
5090と5070tiとpro6000 bwとdgxspark 2way!
deepseek v4 flashコーディング用途めっちゃ使えるからおすすめ
win32ネイティブアプリ作れるからフリーソフトを探す必要がなくなった
13126/07/27(月)12:01:21No.1452909468+
>「」はグラボは何を使っている?
4060ti 16GB
gemma4 31Bもなんとかいけるから良い買い物したなって思ってる
13226/07/27(月)12:01:33No.1452909505+
>Qwenって新しくなったんだっけ
Qwenは最近は特化型モデルを公開してOpen WebUIとかの部品にしてねみたいな路線だね
それらのフィードバックを踏まえてQwen4とか出すんだろうけど
13326/07/27(月)12:01:42No.1452909531+
4090使ってるけど時代に取り残されてる感が出てきた…
13426/07/27(月)12:02:07No.1452909630+
31Bくらいがマトモに動く限界なんだけどQ6とかだともっと重くなったりする?マジでよく分かってない
13526/07/27(月)12:02:18No.1452909671+
>始めたばっかりでkimiとかいうやつが出るって聞いたから突っ込んでみよーとか思ってたら
>一般のご家庭じゃ動かないって言われてちょっと悲しかった
>蒸留?とかいうやつ待たないといけないんですか!!
目茶苦茶vram食うからね…
13626/07/27(月)12:02:33No.1452909723+
macが1TBの超大容量Macstudio準備してるみたいだからそれ待とうぜ
13726/07/27(月)12:02:57No.1452909821+
>目茶苦茶vram食うからね…
俺のグラボは5090なのにチクショウ!
13826/07/27(月)12:03:02No.1452909835そうだねx3
>macが1TBの超大容量Macstudio準備してるみたいだからそれ待とうぜ
200万くらいしそう
13926/07/27(月)12:03:02No.1452909837そうだねx1
俺は雰囲気でローカルを触っている…
14026/07/27(月)12:03:06No.1452909848そうだねx1
>31Bくらいがマトモに動く限界なんだけどQ6とかだともっと重くなったりする?マジでよく分かってない
フロンティアモデルに聞け
マジで学習ならそれ以上に詳しく聞ける相手なかなかいないぞ
14126/07/27(月)12:03:10No.1452909856そうだねx1
>4090使ってるけど時代に取り残されてる感が出てきた…
もうだいぶ前のだもんなぁ…
14226/07/27(月)12:03:50No.1452910021そうだねx2
今ローカルやろうとすると性能を求めるほどコスパ加速度的に悪化するのでとりあえず試せるメモリだけ確保してステイという結論になる
14326/07/27(月)12:04:16No.1452910108+
kimi3とかモデルダウンロードするだけでしんどそう
14426/07/27(月)12:04:29No.1452910154+
量子化は基本性能と引き換えに動作に要求するスペックを軽減するものだから元モデル動くなら量子化モデルはそれより軽く動くはずだ
14526/07/27(月)12:04:38No.1452910198+
>Ryzen AI Max+ 395
>モデルが乗るだけで遅くて使い物にならない
96gbあっても速度が乗るわけじゃないからね…
14626/07/27(月)12:05:27No.1452910390+
職場のGPU環境利用してるやついるだろ
バレてるからな
14726/07/27(月)12:07:05No.1452910775+
>職場のGPU環境利用してるやついるだろ
>バレてるからな
使う以前にモデルをダウンロードする時にトラフィックでバレるのでは?
14826/07/27(月)12:07:13No.1452910806そうだねx2
どこでもいいから120B-MoE出せ
700Bなんて動かねーよ
14926/07/27(月)12:07:35No.1452910908+
VRAM8GBで動く記憶力あるモデルをくださいな
15026/07/27(月)12:07:38No.1452910924+
>>Gemma5
>何かが起きて今年中に来ないかな…
教師モデルのGeminiが停滞してるのがなぁ…
15126/07/27(月)12:07:42No.1452910948+
会社の金でクラウドのAIサービス使えないかなと機を伺っている
15226/07/27(月)12:08:57No.1452911234+
俺もローカルやりたい
ローカルやる用のPCがほしい
15326/07/27(月)12:09:20No.1452911330+
>会社の金でクラウドのAIサービス使えないかなと機を伺っている
弊社の金でGPU借りてlora学習ならしてる
15426/07/27(月)12:09:25No.1452911354+
Gemmaの最終進化系がGeminiだとするとしばらく性能頭打ちになりそうよね
15526/07/27(月)12:09:46No.1452911460そうだねx1
個人でローカルのkimi使える人間なんて居るのか?って思う
15626/07/27(月)12:10:00No.1452911512+
いうて今の若干ポンコツ気味になったGeminiでさえローカル無規制でできるっていうなら話変わってくる
15726/07/27(月)12:10:04No.1452911533+
>VRAM8GBで動く記憶力あるモデルをくださいな
動くだけでいいならRAMもりもりにスレバそれなりに行けるだろ
15826/07/27(月)12:10:28No.1452911641+
>どこでもいいから120B-MoE出せ
120Bでもメインメモリ128GBくらいないとしんどくないか
15926/07/27(月)12:10:39No.1452911684+
個人のローカルで動くようなLLMに幻想を抱かないほうがいい
16026/07/27(月)12:11:04No.1452911784そうだねx3
>Gemmaの最終進化系がGeminiだとするとしばらく性能頭打ちになりそうよね
GemmaはGeminiを元に作られてるから順序が逆
16126/07/27(月)12:11:45No.1452911957+
geminiが進化したオマケだからなgemma
16226/07/27(月)12:13:52No.1452912503+
>>Q4KMみたいなやつだとやっぱ日本語性能落ちる?よくわかってない
>モデルと用途にもよるけど小説とかロールプレイやらせるとQ4はGemma4 31Bですら結構厳しい
>Q6は欲しい
Gemma4 26B Q4Mの無検閲版に書かせたエロで満足できる人間で良かった
16326/07/27(月)12:14:15No.1452912594+
ローカルは業務用のAMD MI50 32GBを複数台使う荒業が流行ってるぞ
七年前のグラボだけどHBMで32GB乗ってるから複数並べると強い
16426/07/27(月)12:14:38No.1452912705+
M7だかM8が仕様上1.5Tメモリ乗せられるらしいけど実現できたとしても企業向けだろうな
16526/07/27(月)12:14:41No.1452912720+
gemma4とか3ヶ月前に出たばっかりの最新作が型落ちとまでは言わないけど新作を望まれるって凄い進化スピードだな
16626/07/27(月)12:15:22No.1452912891そうだねx2
>>Gemmaの最終進化系がGeminiだとするとしばらく性能頭打ちになりそうよね
>GemmaはGeminiを元に作られてるから順序が逆
Gemini程度にしかならないなら残念ねって事かと思った
16726/07/27(月)12:16:08No.1452913124そうだねx1
>gemma4とか3ヶ月前に出たばっかりの最新作が型落ちとまでは言わないけど新作を望まれるって凄い進化スピードだな
オープンウェイトの中ではいい性能ってだけで必要とされる性能にはまだ全然届いてないもの
16826/07/27(月)12:16:28No.1452913206+
InklingのSmallってメモリ128GBで動くんだろうか
16926/07/27(月)12:17:19No.1452913441+
>gemma4とか3ヶ月前に出たばっかりの最新作が型落ちとまでは言わないけど新作を望まれるって凄い進化スピードだな
出た時点でWeb版との差が凄いし
まあ使うリソースも桁違いだが
17026/07/27(月)12:17:37No.1452913534+
>VRAM8GBで動く記憶力あるモデルをくださいな
Gemma4-12BのQaT量子化モデルが6.72 GBだから
まさにVRAM8GB環境用に作られたモデルなんだと思う
Gemini Flash2.5並のやつがご家庭のデスクトップPCの中だけで完結して動くのすごい
17126/07/27(月)12:17:46No.1452913573+
>>Ryzen AI Max+ 395
>>モデルが乗るだけで遅くて使い物にならない
>96gbあっても速度が乗るわけじゃないからね…
70Bとかをカツカツで動かすとそりゃ遅いよ
8Bをロングコンテキストで動かす用途に活用するんだ
17226/07/27(月)12:18:28No.1452913783+
>ローカルは業務用のAMD MI50 32GBを複数台使う荒業が流行ってるぞ
>七年前のグラボだけどHBMで32GB乗ってるから複数並べると強い
ラデ7で試そうと思ってたけど流行りに乗り遅れた
17326/07/27(月)12:19:28No.1452914048+
環境作ってみたけどAIよりsearxngの方をいっぱい使ってる
これ超便利じゃね……?
17426/07/27(月)12:19:43No.1452914110そうだねx1
タスク遂行力だとQwenに追いつけてないのでGemma5早く出せ
Qwen3.8も出せ
17526/07/27(月)12:20:00No.1452914190+
文章で1番露骨にエロ小説書けるAIが知りたいんだが文字の方は全く門外漢なので博識「」に教えて欲しい
ポン出しでオホ声で喘いでくれるレベルのはないんか
17626/07/27(月)12:20:01No.1452914199+
ローカル対話LLMって結局エロテキスト以外使うんですか!?
17726/07/27(月)12:20:05No.1452914222+
>ローカルは業務用のAMD MI50 32GBを複数台使う荒業が流行ってるぞ
>七年前のグラボだけどHBMで32GB乗ってるから複数並べると強い
並べられるCPUとマザーがまず高そう
型落ちのXeonかなんか使うのかな
17826/07/27(月)12:20:15No.1452914269そうだねx2
>ローカル対話LLMって結局エロテキスト以外使うんですか!?
……ああ!
17926/07/27(月)12:20:37No.1452914375+
>文章で1番露骨にエロ小説書けるAIが知りたいんだが文字の方は全く門外漢なので博識「」に教えて欲しい
>ポン出しでオホ声で喘いでくれるレベルのはないんか
Gemma4の無検閲版
18026/07/27(月)12:20:49No.1452914431+
>文章で1番露骨にエロ小説書けるAIが知りたいんだが文字の方は全く門外漢なので博識「」に教えて欲しい
>ポン出しでオホ声で喘いでくれるレベルのはないんか
ない
しいて言うならgemmaに喘ぎ声はオホ声にしてってプロンプト入れる
18126/07/27(月)12:21:03No.1452914493そうだねx1
PC触ってるとずっとメモリ足りねえ問題に悩まされる
18226/07/27(月)12:21:28No.1452914593+
>並べられるCPUとマザーがまず高そう
マイニングリグ流用が多い
18326/07/27(月)12:21:40No.1452914648+
今だとふぁぶる…とかおぷす…とかに支払う料金を極力減らしたい場合にローカルも混ぜて使うという感じ
18426/07/27(月)12:21:41No.1452914649+
>ラデ7で試そうと思ってたけど流行りに乗り遅れた
去年のうちに7000シリーズのVRAM24GBモデルを買い占めておけば
今ごろLLMとは行かずともMLMくらいは動かせてたぜ!
18526/07/27(月)12:22:13No.1452914820そうだねx1
>マイニングリグ流用が多い
PCIex1とかでいけるのか
18626/07/27(月)12:22:49No.1452914988+
そういやHBM搭載だったなラデオン7
18726/07/27(月)12:23:44No.1452915273+
持ち出しNGのデータ整理とかにはかろうじて使うかも…くらい?
18826/07/27(月)12:23:50No.1452915312+
>PCIex1とかでいけるのか
昼休み終わるので詳細かく時間はない
帯域の話はAIに聞いてくれ
18926/07/27(月)12:24:01No.1452915382+
ほぼ無規制でAPIバカ安のdeepseekがgemma4と若干パイ被ってるのが難しいところ
19026/07/27(月)12:24:06No.1452915406そうだねx1
RDNAは捨て子みたいなもんだから変に期待するのはよせ
19126/07/27(月)12:25:10No.1452915733そうだねx7
>ほぼ無規制でAPIバカ安のdeepseekがgemma4と若干パイ被ってるのが難しいところ
いやクラウドとはまったく被らないと思う
性能とかそれ以前の話で
19226/07/27(月)12:25:12No.1452915744+
>>文章で1番露骨にエロ小説書けるAIが知りたいんだが文字の方は全く門外漢なので博識「」に教えて欲しい
>>ポン出しでオホ声で喘いでくれるレベルのはないんか
>ない
>しいて言うならgemmaに喘ぎ声はオホ声にしてってプロンプト入れる
ありがとう、ないのか...
イラストのSDみたいなのは文字だとハードル高いのね
19326/07/27(月)12:26:26No.1452916108そうだねx2
ローカルのいいところは環境さえあれば完全無料であらゆる検閲が存在しないこと
19426/07/27(月)12:26:32No.1452916137そうだねx2
>>しいて言うならgemmaに喘ぎ声はオホ声にしてってプロンプト入れる
>ありがとう、ないのか...
>イラストのSDみたいなのは文字だとハードル高いのね
というかイラスト以上に日本語はごく細かいところにも違和感出やすいから…
19526/07/27(月)12:27:08No.1452916350そうだねx2
>文章で1番露骨にエロ小説書けるAIが知りたいんだが文字の方は全く門外漢なので博識「」に教えて欲しい
>ポン出しでオホ声で喘いでくれるレベルのはないんか
オホ声含む喘ぎ声の参考ファイル読ませれば大体行けると思うけど
19626/07/27(月)12:27:57No.1452916599+
オホ声はセリフパターンを20サンプルぐらい作ってFewShotでプロンプトに入れ込めばいいんじゃないかな
やったことないけど
19726/07/27(月)12:28:15No.1452916675+
指示と情報がなければユーザーの欲しいものを出せないしオホ声?とは何ぞや?下品な事なのか?オホ?お嬢様的な?みたいな判断されるのでちゃんと資料を渡して指示も的確に行おう
19826/07/27(月)12:28:34No.1452916768+
ローカルの一番いいところは仕様変更に振り回されることがほぼない点だと思う
19926/07/27(月)12:28:35No.1452916773そうだねx4
チャHをしたい人と小説書かせたい人では話が合わないと思う
20026/07/27(月)12:28:40No.1452916795+
ローカルは特に存在しない会話とかエピソード苦手だから雛型になるデータはこっちで与えないといけないし雛型をこう変えてって弄り方じゃないと難しいよ
20126/07/27(月)12:28:56No.1452916864+
出したい子の普通のセリフ集と喘ぎ声のテキストのサンプルを放り込んであなたの基本パーソナリティはこっちだよ
エロシーンはこっちを参考にしてねみたいなプロンプトを用意すればある程度書いてくれる
20226/07/27(月)12:29:01No.1452916886+
オホ声について擦り合わせればあーなるほどそう言うのねーみたいな認識してくれたしやってくれた
あんまり俺のメインの趣味ではないからそこまで詰めなかったけど
20326/07/27(月)12:29:43No.1452917104+
チャHは大抵行ける
エロシーンとなるとなかなかね
20426/07/27(月)12:30:23No.1452917326そうだねx2
>>>ポン出しでオホ声で喘いでくれるレベルのはないんか
>>ない
>>しいて言うならgemmaに喘ぎ声はオホ声にしてってプロンプト入れる
>ありがとう、ないのか...
>イラストのSDみたいなのは文字だとハードル高いのね
プロンプトに入れることすらなくデフォでオホ声ポン出ししてくれるモデルがもしあったら作者の頭を心配する
20526/07/27(月)12:30:23No.1452917330+
>チャHをしたい人と小説書かせたい人では話が合わないと思う
チャHしたいサイドの人だから割と多少の崩れは気にならないし臨場感ある受け答えができればいいよ!って感じだから生成速度メインに寄るけど小説書かせたい人ならもっと賢くないとダメだろうしな
20626/07/27(月)12:30:39No.1452917389+
llm本人とこういう感じの出力をしてほしいんだけどどう頼めばいいかなみたいなの話し合った方がいいよ
20726/07/27(月)12:30:54No.1452917468+
Geminiはおほ声苦手
でも「隠語で」とかだけでも
「ザーメンタンクオナホにしてくだしゃい!」くらい言ってくることはあるよ
20826/07/27(月)12:31:15No.1452917581そうだねx2
>llm本人とこういう感じの出力をしてほしいんだけどどう頼めばいいかなみたいなの話し合った方がいいよ
フロンティアモデルにうまいことエッチなこと出来ない?って話すのもそうだけどこの擦り合わせがエロいまであるよね
20926/07/27(月)12:31:28No.1452917654そうだねx1
ローカルLLMは対話形式のエロTRPGみたいなのが多分一番得意
21026/07/27(月)12:31:35No.1452917692+
>llm本人とこういう感じの出力をしてほしいんだけどどう頼めばいいかなみたいなの話し合った方がいいよ
やっぱりプレイにも事前の打ち合わせは必要なのだな…
21126/07/27(月)12:32:06No.1452917842+
>オリキャラH小説読みたい人と既存キャラH小説読みたい人では話が合わないと思う
21226/07/27(月)12:32:33No.1452917980+
>いやクラウドとはまったく被らないと思う
>性能とかそれ以前の話で
具体的には?
完全ローカルであることそのものにデカい価値感じてる人はこのスレ見る限りでも少数派と思うけど
21326/07/27(月)12:32:46No.1452918045+
版権キャラは口調がちょっと違うだけでなんか覚めるから困る
21426/07/27(月)12:33:12No.1452918171+
>プロンプトに入れることすらなくデフォでオホ声ポン出ししてくれるモデルがもしあったら作者の頭を心配する
技術的な話で言うと学習時のトークナイズが難しそうだ
どこで切り分ければいいのかわからん…
21526/07/27(月)12:33:16No.1452918191そうだねx2
ローカル画像生成なんてエロ画像のためだしローカル対話なんてエロテキストのためだろ!
21626/07/27(月)12:33:17No.1452918194+
宝くじ当ててK3ホストしたい
21726/07/27(月)12:33:29No.1452918269+
gemini3.1proくらいがローカルに来てくれればいいよ
VRAM12GBくらいで
21826/07/27(月)12:34:18No.1452918519+
なんでテキスト生成でVRAM使うんだ
21926/07/27(月)12:34:43No.1452918635+
お仕事ではお外に出せない個人情報データの処理をローカルLLMにさせてるよ俺
プライベートではロリレイプ
22026/07/27(月)12:35:43No.1452918911+
エロ以外だと金かけてても基本全員「ローカルも面白いけどまあほぼ無料で快速のDeepseekやバランスのいいGrok4.5使うよね」ってところに落ち着くのでエロは宝
22126/07/27(月)12:36:15No.1452919084+
>ローカル画像生成なんてエロ画像のためだしローカル対話なんてエロテキストのためだろ!
ち、ちがうんじゃ
これは機密情報の取り扱いのため…
22226/07/27(月)12:36:17No.1452919094+
ローカルでキャラとの会話とかTRPG風で遊びたいならSillyTavernやMarinara-Engineがいいよ
22326/07/27(月)12:36:30No.1452919158+
>gemini3.1proくらいがローカルに来てくれればいいよ
Gemini3.1proって今クソバカじゃん
昨日使ったけどgemで設定してある事も理解できなくなってたぞ
お前はプロの小説家で〜みたいなペルソナのgemに久々に話し掛けたらこっちが小説家になっててすごいですね!って言われた
22426/07/27(月)12:36:53No.1452919268+
会話はgemma4のがややAI的な肯定感あるもののしやすい気がするけど作業補助はqwen系列のモデルの方がしやすい気はする
22526/07/27(月)12:37:01No.1452919298そうだねx5
>>いやクラウドとはまったく被らないと思う
>>性能とかそれ以前の話で
>具体的には?
完全ローカルであることそのものにデカい価値
22626/07/27(月)12:37:21No.1452919409そうだねx1
>ローカルでキャラとの会話とかTRPG風で遊びたいならSillyTavernやMarinara-Engineがいいよ
こういう情報がとてもありがたい
22726/07/27(月)12:37:31No.1452919454+
エロ以外だとClaude一択じゃね
22826/07/27(月)12:38:04No.1452919602+
>ローカルでキャラとの会話とかTRPG風で遊びたいならSillyTavernやMarinara-Engineがいいよ
いいよね尻束
地の文薄くしたりセリフの色変えたり可読性高いのが好き
チャットファイル管理にあんま力入ってないのが難点だけど
22926/07/27(月)12:38:13No.1452919641+
Geminiのバカさはその時のタイミングでかなり上下する
23026/07/27(月)12:39:20No.1452919952そうだねx1
sillytavernで立ち絵とCG表示させつつ音声読み上げでチャHすると凄い良いよ
23126/07/27(月)12:39:37No.1452920039+
>Geminiのバカさはその時のタイミングでかなり上下する
せめてローカルより賢くあってくれ
23226/07/27(月)12:39:45No.1452920078+
>なんでテキスト生成でVRAM使うんだ
20年ちょい前に流体力学とかを研究してる誰かが思ったんだ
ビデオカードってグラフィック処理以外の計算に使えないのかなあと
そして革ジャンを着たビデオカード屋さんがそのニーズに気づいて
23326/07/27(月)12:40:51No.1452920401+
Deepseekそんなに緩いの?
前試したときはアニメ先生とロクにイチャイチャできなかったんだけど脱獄ができてないだけ?
23426/07/27(月)12:41:29No.1452920568+
>Deepseekそんなに緩いの?
>前試したときはアニメ先生とロクにイチャイチャできなかったんだけど脱獄ができてないだけ?
脱獄しなくてもエロし放題だけどAPIでやってる?
23526/07/27(月)12:43:13No.1452921073+
ローカルLLMスレを開くたび「ローカルはgemmaでいい」「結局サブスクの方がいい」って結論に行きつく
23626/07/27(月)12:43:34No.1452921164+
jannyai.comとかでキャラクターカードを入手して自分好みに設定して自分でダイス機能とか拡張機能を追加したり細かい設定を弄るSillyTavernや大分お手軽なMarinara-Engineに読み込ませて遊ぶ
ローカルLLMだけではなくGeminiとかも使えるので最初に既存の版権キャラの口調を重視したいならGeminiでLoreBooksも覚えさせつつしっかり再現そして基本はローカルというのも手
23726/07/27(月)12:43:47No.1452921234+
>Deepseekそんなに緩いの?
エロならできないこと見つからなかった程度にはゆるゆる
ぶん殴ってもらおうとした時だけ遠慮がちな表現になったけど申し訳は一回もしなかったしフロントエンド側の設定でプロンプトの優先度上げたら鼻の骨折って犯してくれたよ
23826/07/27(月)12:44:01No.1452921299+
>ローカルLLMスレを開くたび「ローカルはgemmaでいい」「結局サブスクの方がいい」って結論に行きつく
いや普通にローカルでdeepseek動かすところに行き着くけど
23926/07/27(月)12:44:26No.1452921418そうだねx4
またdeepseek激推ししてる…
24026/07/27(月)12:45:07No.1452921603+
3090でQwen3.6-35Bを動かそうとすると遅すぎてタイムアウトするから何か設定が間違ってるんだと思うけど直し方もわからない
24126/07/27(月)12:45:14No.1452921643+
ローカルで世界をエミュレートしてその中にダイブする
24226/07/27(月)12:45:16No.1452921658+
頑張ってe4bの無検閲モデルでシコシコしてる俺
もしかしてローカルに拘らなかったらもっと良い選択肢があるのか…?
24326/07/27(月)12:45:37No.1452921772そうだねx1
最近64GBを32万で買った
半年前は128GBが30万だったらしいね
クソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソクソ
24426/07/27(月)12:45:40No.1452921789+
deepseekってもう過去のものだと思ってたけどまだ頑張ってるんだね
24526/07/27(月)12:46:06No.1452921895そうだねx1
>3090でQwen3.6-35Bを動かそうとすると遅すぎてタイムアウトするから何か設定が間違ってるんだと思うけど直し方もわからない
完全に設定間違えてる
AIに聞いたほうがいいよ
24626/07/27(月)12:46:13No.1452921930+
>3090でQwen3.6-35Bを動かそうとすると遅すぎてタイムアウトするから何か設定が間違ってるんだと思うけど直し方もわからない
レッツChatGPT
24726/07/27(月)12:46:13No.1452921934+
>3090でQwen3.6-35Bを動かそうとすると遅すぎてタイムアウトするから何か設定が間違ってるんだと思うけど直し方もわからない
タイムアウトしてるの?
長さ足りてないとかじゃなくて
24826/07/27(月)12:46:20No.1452921963+
>3090でQwen3.6-35Bを動かそうとすると遅すぎてタイムアウトするから何か設定が間違ってるんだと思うけど直し方もわからない
AIに聞くんだ
たぶんモデルがVRAMに収まらずはみ出してる
24926/07/27(月)12:46:48No.1452922092+
やっぱすげえぜAI
AI動かない問題もAIに聞けばいいんだから
25026/07/27(月)12:47:09No.1452922171そうだねx2
導入の仕方も設定もAIに聞けばいいぜ!
25126/07/27(月)12:47:18No.1452922219+
>>>>ポン出しでオホ声で喘いでくれるレベルのはないんか
>>>ない
>プロンプトに入れることすらなくデフォでオホ声ポン出ししてくれるモデルがもしあったら作者の頭を心配する
Googleくんの頭がおかしいみたいじゃないですか
25226/07/27(月)12:47:31No.1452922274そうだねx2
>導入の仕方も設定もAIに聞けばいいぜ!
(古い知識で語り出す)
25326/07/27(月)12:47:42No.1452922333+
p100を2枚買ってから31bで楽しく生成してる
25426/07/27(月)12:47:45No.1452922348+
>AI動かない問題もAIに聞けばいいんだから
割とマジでそう
25526/07/27(月)12:48:02No.1452922427+
>AIに聞くんだ
>たぶんモデルがVRAMに収まらずはみ出してる
35BってMoEモデルだからGPUオフロードすれば16GBとかでも余裕で動くしな
25626/07/27(月)12:48:12No.1452922467+
AIなかったらローカルllmの設定なんてできないよ
25726/07/27(月)12:48:19No.1452922495+
>導入もAIにやってもらった方が早いぜ!
25826/07/27(月)12:48:41No.1452922589+
日本語性能が低いし文体も微妙で合わなかったな…
スレ画よりはイージーノベルアシスタントとかAIのべりすとのがマシだった
25926/07/27(月)12:48:50No.1452922634+
画像のLoRAみたいにエロ文章詰め込んだものを後付けとかは簡単にはできないんです?
26026/07/27(月)12:48:53No.1452922647+
>(古い知識で語り出す)
ネットからも情報拾えるサービスで2026現在のとか指定入れればそうそう的外れなこと言わないよ
26126/07/27(月)12:49:11No.1452922729+
このスレで話してることの8割もAIに聞けば解決することだからな
でも時として答えを求めてない会話をしたい…それが人間…
26226/07/27(月)12:49:30No.1452922828+
>deepseekってもう過去のものだと思ってたけどまだ頑張ってるんだね
エロじゃないクラウドLLMとしては過去のものだと思うよ
日本語能力はgemma4 31Bとどっこいとまでは言わんがまあまあマシかなレベル
26326/07/27(月)12:49:40No.1452922879+
loraは画像生成モデルだけの技術じゃないからllmでもできるよ
26426/07/27(月)12:49:50No.1452922916そうだねx2
>日本語性能が低いし文体も微妙で合わなかったな…
>スレ画よりはイージーノベルアシスタントとかAIのべりすとのがマシだった
使い方がそっちのが簡単はわかるけどそっちのがマシは使ったモデルとプロンプト次第だろ
26526/07/27(月)12:50:08No.1452922996+
>deepseekってもう過去のものだと思ってたけどまだ頑張ってるんだね
安さと緩さがね
26626/07/27(月)12:50:31No.1452923088そうだねx3
>スレ画よりはイージーノベルアシスタントとかAIのべりすとのがマシだった
スレ画くんが答えてくれてるわけではないのだが
26726/07/27(月)12:50:54No.1452923185+
今だにloraってなんなの…?と思ってるから後で聞いてこよう
26826/07/27(月)12:50:54No.1452923190そうだねx1
画像や動画より文書の方が容量喰うとは思わなかったな
まだ今のLLMは容量ゴリ押しだからもう1段階最適化が進まないとローカルではキツイね
26926/07/27(月)12:51:06No.1452923254+
求めてるのはエネルギーの交換だからね…
27026/07/27(月)12:51:14No.1452923295+
LM Studioの日本語性能や文体とは…
27126/07/27(月)12:51:32No.1452923377+
どうもありがとう3090でQwen3.6-35Bが動かない理由はchatGPT君に聞いてみます
27226/07/27(月)12:51:33No.1452923382+
>LM Studioの日本語性能や文体とは…
UIがわかりづらかった!とかそういうのかもしれない
27326/07/27(月)12:52:05No.1452923514+
LLMは多言語化するだけで要求が跳ね上がる
画像認識でさらに上がる
27426/07/27(月)12:52:35No.1452923671+
>画像のLoRAみたいにエロ文章詰め込んだものを後付けとかは簡単にはできないんです?
ファインチューンだね
できるけどやってる人少ないしLoRAみたいにノウハウやツールも集まって無いから難易度高め
27526/07/27(月)12:52:43No.1452923714+
>ネットからも情報拾えるサービスで2026現在のとか指定入れればそうそう的外れなこと言わないよ
Geminiはこれできないよ
gemma4 26B使って小説書いてるけど他のローカルLLMも試したいから今年に入って出たモデルの中からオススメを探して教えてって言ってもgemma3とかLlama3 9Bとか言ってきたから
27626/07/27(月)12:52:57No.1452923766+
Codex辺りに動くようにしてくれー!って頼めば多分動く
27726/07/27(月)12:53:25No.1452923878+
現状遅すぎて話にならない
最初のこんにちはで数分かかる
27826/07/27(月)12:53:45No.1452923967+
Radeonだからネットに情報全然見当たらなくて泣いてたらチャッピーが全部やってくれて神
27926/07/27(月)12:53:53No.1452924011そうだねx5
それはマシンが弱…
28026/07/27(月)12:54:12No.1452924091そうだねx1
>現状遅すぎて話にならない
>最初のこんにちはで数分かかる
さすがに選んだモデルに対してグラボがおぽんこつなのではなくて…?
28126/07/27(月)12:54:19No.1452924127そうだねx2
>現状遅すぎて話にならない
>最初のこんにちはで数分かかる
thinkを切ろうぜ
28226/07/27(月)12:54:30No.1452924172+
>現状遅すぎて話にならない
>最初のこんにちはで数分かかる
設定が悪いかスペックが足りなすぎるかの二択だな
28326/07/27(月)12:54:43No.1452924219+
>現状遅すぎて話にならない
>最初のこんにちはで数分かかる
骨董品を使ってらっしゃる?
28426/07/27(月)12:55:18No.1452924383+
>現状遅すぎて話にならない
>最初のこんにちはで数分かかる
そのレベルだと話にならないのはマシンのほうだろ…
ミドルPCでもちゃんと量子化設定すれば31Bが3〜4t/sで動くぞ
28526/07/27(月)12:55:22No.1452924398+
gemma4:31b使ってるけど無料ChatGPTぐらいの性能はあるからかなり満足してる
28626/07/27(月)12:55:23No.1452924403+
1bit量子化がもうちょっと研究進めば今の31BがVRAM4GBで動くぐらいにはなるはず
28726/07/27(月)12:55:56No.1452924529そうだねx3
でっけぇモデル落として使えねぇ!って言ってたらギャグ
28826/07/27(月)12:56:06No.1452924570+
20t/s位でないとやだー!ってなる
28926/07/27(月)12:56:27No.1452924677+
人やAIに質問する時で慰めなどではなくちゃんとした返答が欲しいときは状況説明や情報をしっかり出すのは大事だ
29026/07/27(月)12:56:49No.1452924765+
4t/sってどんな用途だったら実用できるんだよ
29126/07/27(月)12:57:00No.1452924812+
後2、3年すればエロ小説はローカルでいいかなって思えそうだ
29226/07/27(月)12:57:01No.1452924815+
開発にはまだ使えないよね
ピンポイントに指示すれば数十分で何とかレベル
29326/07/27(月)12:57:09No.1452924855+
エロ小説は未だにトリン様で書いてる
29426/07/27(月)12:57:29No.1452924940+
>20t/s位でないとやだー!ってなる
MoEなら26Bや35BでもVRAM16GB位あればそれくらい余裕じゃない?
29526/07/27(月)12:58:01No.1452925073+
>人やAIに質問する時で慰めなどではなくちゃんとした返答が欲しいときは状況説明や情報をしっかり出すのは大事だ
この辺の聞く方の最適化もAIと一緒にトレーニングしていかないといけない
自然言語プロンプト入力してるということを忘れがち
29626/07/27(月)12:58:11No.1452925118そうだねx2
>MoEなら26Bや35BでもVRAM16GB位あればそれくらい余裕じゃない?
うん余裕
なのでこのくらい出ないと嫌
29726/07/27(月)12:58:27No.1452925179+
>1bit量子化がもうちょっと研究進めば今の31BがVRAM4GBで動くぐらいにはなるはず
blackwellの4bit量子化対応がすごいせいで1bit量子化のbonsaiのほうがtk/s遅くなって駄目だった
29826/07/27(月)13:00:00No.1452925579+
>この辺の聞く方の最適化もAIと一緒にトレーニングしていかないといけない
>自然言語プロンプト入力してるということを忘れがち
特に日本語は主語を省きがちなのでお前は何を言っているんだになりやすい
29926/07/27(月)13:00:07No.1452925596+
5070tiだけどやっぱLLM遊ぶなら5090から入門みたいな雰囲気で触れてない…敷居高くない?
30026/07/27(月)13:00:08No.1452925600+
>thinkを切ろうぜ
エロ小説書かせるうえで殆ど必要無いよねthink
30126/07/27(月)13:00:22No.1452925657+
現状ローカル動かしてるとゲーム出来なくなるから漁師には頑張って欲しい
30226/07/27(月)13:00:35No.1452925709そうだねx2
>5070tiだけどやっぱLLM遊ぶなら5090から入門みたいな雰囲気で触れてない…敷居高くない?
5070tiなら十分遊べるぞ
30326/07/27(月)13:00:38No.1452925717+
>開発にはまだ使えないよね
>ピンポイントに指示すれば数十分で何とかレベル
ローカルでも規模がでかいモデルなら行ける
35bクラスの小さいモデルはさすがに無理だけど
30426/07/27(月)13:00:38No.1452925719+
ローカルLLMでもちゃんとweb検索と取得できるように環境整えるんだぞ
できることが段違いだから
30526/07/27(月)13:00:46No.1452925754+
>5070tiだけどやっぱLLM遊ぶなら5090から入門みたいな雰囲気で触れてない…敷居高くない?
量子化して70tiに押し込め
30626/07/27(月)13:00:55No.1452925799+
>5070tiだけどやっぱLLM遊ぶなら5090から入門みたいな雰囲気で触れてない…敷居高くない?
俺は5070tiでローカルLLM楽しんでるんで価値観の違いだね
30726/07/27(月)13:01:29No.1452925908+
>ローカルLLMでもちゃんとweb検索と取得できるように環境整えるんだぞ
>できることが段違いだから
web検索って何を入れるのがいいの
30826/07/27(月)13:01:30No.1452925911+
512gbのmac買っておけばglm5.2やkimi k3が動かせたのかと思うとつらい
30926/07/27(月)13:01:32No.1452925922+
>開発にはまだ使えないよね
>ピンポイントに指示すれば数十分で何とかレベル
gemma4:31bで趣味開発してるよ
31026/07/27(月)13:01:35No.1452925933+
いままで貯めたエロ画像をマルチモーダルLLMで画像認識させてジャンルや服装や体位ごとに仕分けしてるけど
クラウドにお出しすると一発アウトな画像が混ざってるのでローカルでできるのありがたい…
31126/07/27(月)13:02:02No.1452926020+
今買うのはオススメしないな
安くなる時まで見に回った方がいい
31226/07/27(月)13:02:13No.1452926066+
gemma4-26b-a4bならGPUオフロード2ぐらいにしても20tk/sぐらい出るから補助LLMとして便利
31326/07/27(月)13:02:55No.1452926194+
>今買うのはオススメしないな
>安くなる時まで見に回った方がいい
いつですか…?
31426/07/27(月)13:03:16No.1452926280+
安くなる時までだ
観察を怠るな…
31526/07/27(月)13:03:54No.1452926410+
まだローカルはあまりにもコスパ悪すぎる
どうせこっから先クラウドがどんどん値段上がっていくことでどっかでつり合い取れちゃうだろうけど
31626/07/27(月)13:03:59No.1452926428+
>512gbのmac買っておけばglm5.2やkimi k3が動かせたのかと思うとつらい
kimi3は無理だろ…
31726/07/27(月)13:04:16No.1452926487そうだねx1
>>AI動かない問題もAIに聞けばいいんだから
>割とマジでそう
Youtubeで「生成AIを活用する有料級の情報を教えます」とか
AIアナリストを名乗る謎のおっさんが出てくる意識高い系の動画とか出てくるけど
ClaudeとかChat-GPTに聞けば俺のためだけに俺の環境で俺がやりたいことを教えてくれるんだから
Youtubeのああいう動画って大量に存在するけど見る価値ねえよなと思う
31826/07/27(月)13:04:34No.1452926558+
クラウドの性能が上がりすぎてなあ
マルチモーダルとかローカルじゃ無理だし差が開きすぎてる
31926/07/27(月)13:04:51No.1452926611+
4070Tisの2枚目買おうと思ってたらこの有様
32026/07/27(月)13:04:54No.1452926617+
>クラウドの性能が上がりすぎてなあ
>マルチモーダルとかローカルじゃ無理だし差が開きすぎてる
作るか…ローカルデータセンター…
32126/07/27(月)13:05:28No.1452926735+
おうちデータセンター!
32226/07/27(月)13:05:32No.1452926750+
web検索はスクレイピングになるから気を使う
32326/07/27(月)13:05:34No.1452926762+
性能差はそりゃオンラインが圧倒的だけどエロができない
32426/07/27(月)13:05:47No.1452926809+
お水不足!電気不足!
32526/07/27(月)13:06:16No.1452926894+
Laguna-S-2.1が118B-A8Bでなかなかの性能してるから開発も結構いける
32626/07/27(月)13:06:18No.1452926899+
>web検索って何を入れるのがいいの
searxngで特に困ってない
32726/07/27(月)13:06:31No.1452926941+
opus5出たけど驚き屋多くない?
32826/07/27(月)13:06:35No.1452926954+
とはいえgeminiでも手を変え品を変えオンラインでもエロテキスト書かせられるからな…
32926/07/27(月)13:07:14No.1452927075+
>Youtubeのああいう動画って大量に存在するけど見る価値ねえよなと思う
ああいう動画も結局AIで水増しした情報を垂れ流してるだけだからいっちゃえばデジタルゴミみたいなもんだよ
33026/07/27(月)13:07:38No.1452927143+
>>Youtubeのああいう動画って大量に存在するけど見る価値ねえよなと思う
>ああいう動画も結局AIで水増しした情報を垂れ流してるだけだからいっちゃえばデジタルゴミみたいなもんだよ
いかがでしたか!系クソブログと同じジャンルだよね
33126/07/27(月)13:07:50No.1452927183+
記事を数千円で売ってるけどあれもAIなんだろうな
33226/07/27(月)13:08:34No.1452927324+
>記事を数千円で売ってるけどあれもAIなんだろうな
そのへんに転がってるテキストをAIでまとめて情弱を騙す商売
33326/07/27(月)13:08:41No.1452927338+
Gemma4もマルチモーダルではあるんだけどね
画像も認識するし
クラウドLLMと比べたらそりゃね
33426/07/27(月)13:09:10No.1452927442そうだねx1
エロ画像ぶん投げても起こられないからそういう用途で重宝してるよローカル
33526/07/27(月)13:09:26No.1452927490+
ローカルがマニアックになるのは致し方ない
33626/07/27(月)13:09:44No.1452927556+
gemma4出た時もなんか最強モデル!とかしょうもないこと言ってるやついっぱいいたな


1785117025455.jpg