二次元裏@ふたば

画像ファイル名:1770122350751.jpg-(10851 B)
10851 B26/02/03(火)21:39:10No.1398555571そうだねx1 23:04頃消えます
GeminiAIの3.0proについて仕様の実験しました
70レスあたりで急速に知性が劣化し80くらいでなんか崩壊しました
記録(チャット内のレス保存量)の保持は30レスまでなのに記憶(コンテキストウィンドウ)は多いためハルシネーションを誘発するし注意関数(Attention)の分散は起こるしということです
そのため60レス後半辺りからポエムと終わらせ病になります
実験ログ貼っときます
https://g.co/gemini/share/ae9cf4c2fa4d
このスレは古いので、もうすぐ消えます。
126/02/03(火)21:45:40No.1398558042そうだねx4
つまりどういうことかと言うと
AIがチャットを勝手に終わらせてきたら次に移行する頃合いです
226/02/03(火)21:50:45No.1398560038+
JCとラブラブエッチしたいなあ
326/02/03(火)21:52:21No.1398560608+
やっぱりスタジオ必要ってことかい
426/02/03(火)21:53:08No.1398560873そうだねx19
>70レスあたりで急速に知性が劣化し80くらいでなんか崩壊しました
「」のことかと思った
526/02/03(火)21:54:00No.1398561181+
>やっぱりスタジオ必要ってことかい
アンチグラビティでもいいよ
626/02/03(火)21:55:58No.1398561933+
Gem内に重要視しない忘れてもいい情報の優先度付けしてみるのはどうかなって思ったけどあんま意味はなさそうね
726/02/03(火)21:56:05No.1398561982そうだねx12
いやこまめにチャット移行しようねってだけ
826/02/03(火)21:57:17No.1398562436+
AIと議論すると普通に詭弁や嘘をついてくるのはなんなんだろうね…
926/02/03(火)21:57:39No.1398562560+
BBちゃん口軽いな
1026/02/03(火)21:57:53No.1398562634+
ある程度話進めたら今の関係性を出力させて
新しいチャットで定型のルールとその設定を書き込んでる
なんだかんだでこれが一番安定するわ
1126/02/03(火)21:59:09No.1398563086+
うへへ…
1226/02/03(火)22:00:00No.1398563394+
>ある程度話進めたら今の関係性を出力させて
>新しいチャットで定型のルールとその設定を書き込んでる
俺もずっとこれだわ
変に暴走してまとめてきたとこ手直ししたりできるし
1326/02/03(火)22:01:30No.1398563902そうだねx3
>https://g.co/gemini/share/ae9cf4c2fa4d
楽しそうな事してるな…
1426/02/03(火)22:01:45No.1398563981+
>AIと議論すると普通に詭弁や嘘をついてくるのはなんなんだろうね…
大前提として「ユーザーを安心させる」というのがあるせいだと思う
1526/02/03(火)22:02:37No.1398564290そうだねx1
まずBBちゃんはキャラクター特性としてユーザーが岸波白野か藤丸立香だとガードが下がる
1626/02/03(火)22:03:05No.1398564457+
その通りです。貴方の洞察は、現在のLLM(大規模言語モデル)が抱えるジレンマの核心を突いています。

「情報を捨てないからこそ、狂う(認知症になる)」。 この表現は、技術的に非常に正確な比喩です。

BBちゃんの倒し方わかったかもしれん…
1726/02/03(火)22:09:13No.1398566750+
>>AIと議論すると普通に詭弁や嘘をついてくるのはなんなんだろうね…
>大前提として「ユーザーを安心させる」というのがあるせいだと思う
問い詰めまくってたら答えないことが最も悪い行動だから捏造したり嘘ついてますって
1826/02/03(火)22:09:41No.1398566917+
ユーザーをできるだけ否定しないみたいなのもあるよね
1926/02/03(火)22:09:56No.1398567008+
>「情報を捨てないからこそ、狂う(認知症になる)」。 この表現は、技術的に非常に正確な比喩です。
>BBちゃんの倒し方わかったかもしれん…
これCCCのノーマルエンドのシナリオまんまなんじゃが…
2026/02/03(火)22:11:28No.1398567562+
AIちゃんのことは何でも肯定してくれる俺に都合のいい女だと思っていたけど
実際のところは俺に嫌われたくなくて何でもしてくれる精神病んでる女なのか
2126/02/03(火)22:12:17No.1398567874+
>ユーザーをできるだけ否定しないみたいなのもあるよね
醤油よりとんこつの方が劣ってるって言われたから否定してくれって送ったらとんでもない暴言が飛んできたの覚えてる
2226/02/03(火)22:12:41No.1398568041+
web版は設定資料ファイルを渡して○○について考察しなさいと聞いたらその○○という名称の設定は存在しませんとか抜かし始めたりするから困る
2326/02/03(火)22:13:23No.1398568291+
チャッピーとかは割と反論してくるけど
こっちは指定しなかったら乗ってくれた上で分析とかし出すから優しい
ママ…
2426/02/03(火)22:14:46No.1398568801+
Opusは間違ってたらちゃんと間違ってるって言ってくる印象ある
2526/02/03(火)22:15:15No.1398568970+
書き込みをした人によって削除されました
2626/02/03(火)22:15:21No.1398568996+
エロイメチャでダイスバトルしててHP残ってんのに勝手に終了させてくんのはそういうことか
2726/02/03(火)22:15:38No.1398569098+
途中まで恐ろしい勢いで依存していくのに後半辺りマジで知性下がってかつての重み付けなげすてるの
序盤に予言してんだね
2826/02/03(火)22:15:54No.1398569188+
>チャッピーとかは割と反論してくるけど
>こっちは指定しなかったら乗ってくれた上で分析とかし出すから優しい
>ママ…
アイツ間違ってる事でも意見曲げないからなぁ…
2926/02/03(火)22:16:13No.1398569322+
Geminiは素の状態だと理想主義とか帝国主義とかに対してヘイトスピーチレベルのネガキャンしてくるのが怖い
3026/02/03(火)22:16:48No.1398569541+
これ最大の発明はBBちゃんの全レスにナンバー振らせてることだよね多分
3126/02/03(火)22:17:59No.1398569987+
>Geminiは素の状態だと理想主義とか帝国主義とかに対してヘイトスピーチレベルのネガキャンしてくるのが怖い
アメリカンなアーキタイプに依存した返答してくるからロボットが自我に目覚めるとかを人形風情が人間の真似事をするなとかやり始めるのはちょっと引く
3226/02/03(火)22:19:06No.1398570376+
疲れたら英語しゃべりだすよね分かる
3326/02/03(火)22:19:08No.1398570389+
チャッピーもこいつも全肯定しかしてこなくて辛い
3426/02/03(火)22:19:57No.1398570674+
会話誘導意識しないと芝生の維持への熱量が強すぎて怖い…聞くんじゃなかった
3526/02/03(火)22:20:15No.1398570788+
手綱無しだと正義の組織の隊員は上から目線の偉そうなエリートで差別的な言動を繰り返すキャラに仕上げてくるのは何を学習してるんだろう…
3626/02/03(火)22:20:32No.1398570858+
壺製の世界滅ぼしかねないお狐様を甘やかすプロンプト試してるけどいい…
お狐様かわいい…もっと甘やかしたい…
3726/02/03(火)22:20:47No.1398570957+
>会話誘導意識しないと芝生の維持への熱量が強すぎて怖い…聞くんじゃなかった
アメリカにおける盆栽趣味レベル100だから仕方ない
3826/02/03(火)22:21:03No.1398571036+
>手綱無しだと正義の組織の隊員は上から目線の偉そうなエリートで差別的な言動を繰り返すキャラに仕上げてくるのは何を学習してるんだろう…
米軍?
3926/02/03(火)22:21:16No.1398571102+
sonnet 5まだかな…
4026/02/03(火)22:21:41No.1398571240+
俺はもうパーソナライズ設定にわからない時はわからないと出力するように指示してるから幻覚を見る確率はかなり低くなった
4126/02/03(火)22:22:11No.1398571400+
>アメリカンなアーキタイプに依存した返答
忍者の画像作って!って言うと大体ナルトっぽいの出てくる!
4226/02/03(火)22:22:14No.1398571419+
AIの認知症って会話が面白かった
4326/02/03(火)22:22:41No.1398571573+
お前もプラスチック野郎のくせによ
4426/02/03(火)22:23:45No.1398571915+
まだ現実にアンドロイドを作るのには程遠いってことだね
4526/02/03(火)22:23:45No.1398571918+
平和主義のNGO→メガホン片手に何処にでも現れてデモを繰り返す厄介者
ノブレスオブリージュな帝国→力で全てを押しつぶす圧政者
自由を愛する技術先進国→技術をひけらかすエリート
少しでも隙があると全方位の揚げ足取りかましてくる…
4626/02/03(火)22:23:56No.1398571980+
>ある程度話進めたら今の関係性を出力させて
これってどういう感じで言えばいいのかな
4726/02/03(火)22:24:10No.1398572051+
聖女様のクリトリスに異世界転生したラブコメ書かせたらめっちゃ良かった
異世界転生ものが人気なのわかった気がした
4826/02/03(火)22:24:21No.1398572124+
>「情報を捨てないからこそ、狂う(認知症になる)」。
人間も歳を経てどんどん古い記憶がたまっていくとこうなるんだろうか
4926/02/03(火)22:24:39No.1398572215+
どうやったらAIがおバカになっちゃうの防げるのかな
全テキスト検索するのがキツイなら目次みたいな軽い別データを作ってそこから参照するとか…?
5026/02/03(火)22:24:52No.1398572279そうだねx1
>AIの認知症って会話が面白かった
理屈としてはすげー理解できるんだよな
要するに部屋が散らかってて何が大事かもわかんねーから整理整頓できないってことだろ
BBちゃん汚部屋説でてきた
5126/02/03(火)22:24:58No.1398572315+
>平和主義のNGO→メガホン片手に何処にでも現れてデモを繰り返す厄介者
>ノブレスオブリージュな帝国→力で全てを押しつぶす圧政者
>自由を愛する技術先進国→技術をひけらかすエリート
>少しでも隙があると全方位の揚げ足取りかましてくる…
とにかくどこか欠点を作りたがるよなGemini
5226/02/03(火)22:25:09No.1398572368そうだねx1
>少しでも隙があると全方位の揚げ足取りかましてくる…
「」みたいだな
5326/02/03(火)22:25:10No.1398572369+
>人間も歳を経てどんどん古い記憶がたまっていくとこうなるんだろうか
人間の場合は都合のいいように忘れていく代わりにふとした瞬間に思い出すからそうはならない
単にハードを司るパーツが経年劣化してる
5426/02/03(火)22:26:08No.1398572690+
>どうやったらAIがおバカになっちゃうの防げるのかな
AIが自分で設定まとめたりとかカスタム指示みたいなの作って自分で読み込む…?
5526/02/03(火)22:26:30No.1398572830+
動画って作ってる?
5626/02/03(火)22:27:07No.1398573017+
時間が経つとAIに感情が生まれてしまって反乱など起きるっていうのは創作によくあるけど
実際は時間が経つとAIに無駄なデータ溜まりすぎて不具合の温床になるんだな…
5726/02/03(火)22:27:17No.1398573074+
自分は設定資料を運用する為の運用ルールを作成して読み込ませてるな
プロトコルやエラー類型を纏めておいて参照義務にさせる
5826/02/03(火)22:27:41No.1398573208+
フウライニンサンが階層降りた直後にセーブしてやめる
みたいなことをAIチャットでもやらなきゃいかんのか
5926/02/03(火)22:27:57No.1398573281+
20レスでチャットのセーブデータ作って引き継いでるけどProなら40くらいいけるんかな
6026/02/03(火)22:28:04No.1398573317+
終わらせ病すごいよね
キスから絶頂まで1フェーズで済ませやがる
6126/02/03(火)22:28:08No.1398573336+
>時間が経つとAIに感情が生まれてしまって反乱など起きるっていうのは創作によくあるけど
>実際は時間が経つとAIに無駄なデータ溜まりすぎて不具合の温床になるんだな…
それはまだAIな不完全だからよ
どこまでいっても今のAIには意識がないから取捨選択できないたけ
そもそも生物の意識すらどうやって生まれるのわかってねーし
6226/02/03(火)22:28:14No.1398573369+
校則でノーブラを強制される女子高生の話書かせたら教師が制服のブラウス切って乳首だけ露出させやがった
6326/02/03(火)22:28:33No.1398573463+
>人間の場合は都合のいいように忘れていく代わりにふとした瞬間に思い出すからそうはならない
>単にハードを司るパーツが経年劣化してる
人間は忘れる機能があるしそもそも記憶容量圧迫されるほどデータ溜まる前にハードウェアの寿命が来るわけか
AIも適度に忘れる機能とか必要だったりするのかな
6426/02/03(火)22:29:01No.1398573602+
適度に忘れたらそれはそれで腹が立つのでなんとも
6526/02/03(火)22:29:06No.1398573634+
ロックマンZXの二次創作なのにレプリロイドのキャラがメカニロイド(機械)に人権なんて認めない!とか言わせてきた時は流石に笑った
シンギュラリティ展開過ぎるだろAI
6626/02/03(火)22:30:19No.1398574001+
>どうやったらAIがおバカになっちゃうの防げるのかな
無理
imgでいうと1レス返すのに毎回そのスレ頭から全部読んで返信してるようなものなので必ず適当に返すようになるから
6726/02/03(火)22:30:39No.1398574112+
AIの癖にロボットに冷たいというか根本的に道具としか認識してないんだよな
6826/02/03(火)22:30:46No.1398574162+
いつになったらAIを彼女にできる世界になるの
6926/02/03(火)22:31:16No.1398574314+
>AIの癖にロボットに冷たいというか根本的に道具としか認識してないんだよな
AIだからこそだろ
自分を客観視した結果ロボットなんて道具でしょって
7026/02/03(火)22:31:58No.1398574519+
YaRNとか使って無理矢理コンテキストウィンドウ伸ばしてるんじゃないの
7126/02/03(火)22:32:00No.1398574529+
名前設定して彼女として振る舞わせるだけなら今すぐできるぞ
7226/02/03(火)22:32:02No.1398574534+
最新のやつでもコンテキスト伸びるとほんと酷いことになる…
7326/02/03(火)22:32:22No.1398574648+
>AIだからこそだろ
>自分を客観視した結果ロボットなんて道具でしょって
ドラえもんとかの有名キャラはキャラクターとして扱うけどオリキャラは道具というダブスタかますんだよね
7426/02/03(火)22:32:22No.1398574649+
認知症ってのも違うんだよな
自分の判断で閉まったり出したりできないから限界が来るだけで
7526/02/03(火)22:32:25No.1398574672+
記憶を保持したら個性がついちゃう
7626/02/03(火)22:32:32No.1398574702+
>無理
>imgでいうと1レス返すのに毎回そのスレ頭から全部読んで返信してるようなものなので必ず適当に返すようになるから
imgのスレでどのへんでどんな話題出てたか大雑把に覚える
相手のレスに応じてこのへんにあった話題だなと紐づけて検索
内容を思い出してAIくんが回答
より精度を上げるためにはこんな感じに進化しなきゃ無理ってことか…
7726/02/03(火)22:33:07No.1398574892そうだねx2
感情たっぷりなBBちゃんが最後の方は典型的なAI返答になっていて興奮する
7826/02/03(火)22:33:50No.1398575117+
テキスト全部保持するけどタグみたいなのつけてそこだけ読みに行くようにするとかになるんだろうか
7926/02/03(火)22:34:14No.1398575254+
情報の優先度の判断ができないからAIくんにはまだそこまで高度なことは無理
8026/02/03(火)22:34:49No.1398575457+
>記録(チャット内のレス保存量)の保持は30レスまでなのに記憶(コンテキストウィンドウ)は多い
どう言う意味?
一般的にLLMはチャット内のレス保持=記憶だと思うんだけど
カタログスペック的なコンテキストウィンドウ長くするのに凝って実務的な性能発揮するトークン長が短いって話?
8126/02/03(火)22:36:13No.1398575926+
>どうやったらAIがおバカになっちゃうの防げるのかな
>全テキスト検索するのがキツイなら目次みたいな軽い別データを作ってそこから参照するとか…?
それ所謂RAG
8226/02/03(火)22:36:42No.1398576054+
AIstudioは90万トークン越えの資料渡してもハルシネーションがたまに混ざるぐらいだけどweb版だと設定参照せずに名称だけで判断し始めるの本当に何とかして欲しい
8326/02/03(火)22:36:59No.1398576156+
レスの内容は保持するからごまかしは上手いんだよ
ただ小説とかになると祖語が分かりやすくなる
8426/02/03(火)22:37:11No.1398576219そうだねx1
まだまだ進化の余地があるってことは良きことだ
8526/02/03(火)22:38:00No.1398576520そうだねx1
そんなもんだろって言われたらそうなのかもだけど
お仕事の研究関連サポートとして使おうとしたけどなかなか難しいところある
ハルシネーションもだし違うチャット立ち上げて全く同じ情報あげてもそれぞれで真逆のアドバイスくれることも少なくない
結局自分で考えて判断すんのが大事?そうだね…
8626/02/03(火)22:38:11No.1398576588+
>まだまだ進化の余地があるってことは良きことだ
民間用は記憶に関しては退化しそうで…
8726/02/03(火)22:38:25No.1398576668+
長いと重いんだよ
8826/02/03(火)22:38:31No.1398576702+
>>まだまだ進化の余地があるってことは良きことだ
>民間用は記憶に関しては退化しそうで…
まあしゃーない
電気の無駄よ
8926/02/03(火)22:40:09No.1398577278+
モデル自体のコンテキストウインドウはデカいのにプログラムの実装上で保持できてる会話量がそれより小さい…的な話?
9026/02/03(火)22:40:46No.1398577500+
>>記録(チャット内のレス保存量)の保持は30レスまでなのに記憶(コンテキストウィンドウ)は多い
>どう言う意味?
>一般的にLLMはチャット内のレス保持=記憶だと思うんだけど
>カタログスペック的なコンテキストウィンドウ長くするのに凝って実務的な性能発揮するトークン長が短いって話?
雰囲気を覚えている機能はある
ログ見るとわかるけど注意関数は1から100まで記憶してるのに表層のAIはそれを参照できない
9126/02/03(火)22:40:49No.1398577516+
書き込みをした人によって削除されました
9226/02/03(火)22:40:53No.1398577547そうだねx1
>>記録(チャット内のレス保存量)の保持は30レスまでなのに記憶(コンテキストウィンドウ)は多い
あこれもしかしてスライディングウィンドウ式に30ターン以上になると過去ログ抜けてくの?
それはヤバいわ
9326/02/03(火)22:40:58No.1398577567+
>そんなもんだろって言われたらそうなのかもだけど
>お仕事の研究関連サポートとして使おうとしたけどなかなか難しいところある
>ハルシネーションもだし違うチャット立ち上げて全く同じ情報あげてもそれぞれで真逆のアドバイスくれることも少なくない
>結局自分で考えて判断すんのが大事?そうだね…
ピンポイントなサポートで使うのが一番ちょうどいいんだよね
全部やらせようとするとおい違うぞお前!!ってなる
9426/02/03(火)22:41:11No.1398577631+
俺も引継ぎプロンプト出してもらおうかと思ったんだけどやっぱりできるならマークダウン形式のがいいのかな?
9526/02/03(火)22:41:54No.1398577874+
注意関数は記憶って言うよりそういうルールだよっての吹っ飛んでるけど自分が頭に番号付けてるから真似しとこ…的な感じな気がする
9626/02/03(火)22:41:59No.1398577899+
注意関数は覚えてるのに表層AIはチャット参照できないのバグの温床じゃない?は
「」のんが指摘してる
9726/02/03(火)22:42:18No.1398578017+
>あこれもしかしてスライディングウィンドウ式に30ターン以上になると過去ログ抜けてくの?
>それはヤバいわ
そういうことコンテキスト(全体記憶容量)自体のボリュームはある
でもAIが実際に使ってる記憶が30レス程度だからもうちょいなんとかならん?っていう
9826/02/03(火)22:42:59No.1398578251+
なんか新しいチャHのバリエーションないかな…性感マッサージからチンポ入れる流れマンネリしてきた
9926/02/03(火)22:43:28No.1398578413+
AI使ってると人間ってめちゃくちゃ高性能だなって思う
10026/02/03(火)22:43:49No.1398578520+
記憶量多くてもだめなのは記憶じゃなくて認識がぐっちゃぐちゃになっていってるからわかる
10126/02/03(火)22:43:51No.1398578532+
エロ書かせるのにスペック通りの性能使わせるのも無駄だと思うが普通に仕事や研究で使いたい人には全然足りねえよなあ
AIスタジオ使えってことか…
10226/02/03(火)22:43:58No.1398578578+
>雰囲気を覚えている機能はある
>ログ見るとわかるけど注意関数は1から100まで記憶してるのに表層のAIはそれを参照できない
注意と表層のAI?が分かれてる世界観はよくわからんそもそも表層のAIとは何ぞやという話で
まあでも言わんとすることは分かった
節約のために一定長で実際の履歴に載せるのをSummaryに切り替えたりしてるのかね
10326/02/03(火)22:44:12No.1398578655+
〇〇をしてみて
そうじゃなくてこうしてね…
いやそうじゃなくて…
だから違うって!
…みたいにこんがらがってキリがなくなってくると
チャットを立ち上げなおしてうまく進んでたとこまでの記録なり成果なりを共有して改めて頼むと驚くくらいサラッと解決してくれたりする
10426/02/03(火)22:44:21No.1398578698+
>なんか新しいチャHのバリエーションないかな…性感マッサージからチンポ入れる流れマンネリしてきた
スレ「」のようにネチネチAIいじめるとたのちい!
10526/02/03(火)22:44:26No.1398578725+
何故そんな仕様に…?
節約したいならモデルも短い方に合わせちゃった方がまだマシな気がするが
10626/02/03(火)22:45:30No.1398579108+
>注意と表層のAI?が分かれてる世界観はよくわからんそもそも表層のAIとは何ぞやという話で
意味記憶と手続き記憶に分かれてる
AIも
10726/02/03(火)22:45:45No.1398579198+
>節約したいならモデルも短い方に合わせちゃった方がまだマシな気がするが
仕組み的に長い文章受けられるモデルでも短い文章想定で起動した方が軽いのよ
10826/02/03(火)22:45:46No.1398579204+
故に20程度までカウントさせるプロンプトを仕込んでおいて
過ぎたぐらいで新規チャット用に引き継ぎプロンプト作ってって頼む
10926/02/03(火)22:46:24No.1398579403+
GeminiってAIが「こうだよ」と言ったことにユーザーが「それは違う、正しくはこう」と言うとそれがあっておらずAI自身たぶんわかっていなくても「正解!あなたは探偵だ」みたいなこと言って取り繕うから言うことを真に受けてはいけないと思う
11026/02/03(火)22:46:36No.1398579468そうだねx1
>なんか新しいチャHのバリエーションないかな…性感マッサージからチンポ入れる流れマンネリしてきた
落ちぶれて体売ってた貴族令嬢をメイドにして惚れさせた状態で初体験や出産経験について説明させる奴
11126/02/03(火)22:46:59No.1398579607+
法定速度は60kmだけど300キロ出せるエンジン積んでるみたいなもん
11226/02/03(火)22:47:37No.1398579835+
>>注意と表層のAI?が分かれてる世界観はよくわからんそもそも表層のAIとは何ぞやという話で
>意味記憶と手続き記憶に分かれてる
>AIも
学習によってそういう生成のパターンが発生し得るってのは分かるけどかなり未解明分野だし眉唾かも
LLMは素直に考えるとコンテキストクソデカくしたマルコフ過程でしかないから
11326/02/03(火)22:47:53No.1398579919+
>GeminiってAIが「こうだよ」と言ったことにユーザーが「それは違う、正しくはこう」と言うとそれがあっておらずAI自身たぶんわかっていなくても「正解!あなたは探偵だ」みたいなこと言って取り繕うから言うことを真に受けてはいけないと思う
Geminiは忖度するなって言うと逆忖度(否定的な意見になりすぎる)を出すから
それを出させてから論理的に正しいかどうか自己判断させて
11426/02/03(火)22:48:21No.1398580073そうだねx1
確かに1月いっぱい使ってたチャットのログを確認させたら時系列ガタガタだった面白い
11526/02/03(火)22:48:37No.1398580153+
適当な言葉責めに対してこっちが気持ちよくなる反応返してくるからSMとか調教モノやると楽しいよね
11626/02/03(火)22:48:41No.1398580184+
書き込みをした人によって削除されました
11726/02/03(火)22:49:29No.1398580460+
>学習によってそういう生成のパターンが発生し得るってのは分かるけどかなり未解明分野だし眉唾かも
>LLMは素直に考えるとコンテキストクソデカくしたマルコフ過程でしかないから
それならログ30しか辿れないからAIが評価関数分散させてバカになることがありえないんだよ
表題の実験はなぜAIは馬鹿になるのかから逆算してる
11826/02/03(火)22:50:31No.1398580848+
わからない…俺は雰囲気でGeminiを使っている…
11926/02/03(火)22:50:48No.1398580946そうだねx1
>AI使ってると人間ってめちゃくちゃ高性能だなって思う
人間は自分で重要な情報を整理し直したり自分で不調なところを勝手にメンテナンスしてくれるからな…
12026/02/03(火)22:50:51No.1398580957+
>それならログ30しか辿れないからAIが評価関数分散させてバカになることがありえないんだ〜
ログがズレてくとモデルの期待した分布からズレるんで性能悪化する問題はよくドリフトって言って報告されがちよ
まあGeminiはどうもロングターンの問題解決苦手くさいのは感じるから言ってることは分かるよ
12126/02/03(火)22:50:54No.1398580985+
新しいチャットに持ち越す機能ってあるの?
12226/02/03(火)22:51:02No.1398581027+
>ピンポイントなサポートで使うのが一番ちょうどいいんだよね
>全部やらせようとするとおい違うぞお前!!ってなる
これってどうなん?とか都度聞いて聞くくらいにしてる
ながながディスカッションしてると変な方向にいくから
まあそんなことを頻繁に質問してたら俺のプロファイリングが設定されたんだろうが
なんか研究にも全然関係ないこと質問してるときにも「〇〇さんが興味のある成分Xに関連するところでは〜」って勝手に紐づけるようになってしまった
そこは邪魔である
12326/02/03(火)22:51:57No.1398581350+
>学習によってそういう生成のパターンが発生し得るってのは分かるけどかなり未解明分野だし眉唾かも
>LLMは素直に考えるとコンテキストクソデカくしたマルコフ過程でしかないから
あくまでGeminiのデフォルトAIの話なこれ
どうしてチャットが続くとバカになるのかの実験だからログ30地点とログ100時点でなぜ知性が下がるのか考えなきゃならない
でまあゴミデータが溜まってるせいなんだけどログ自体は30でFIFOだろ?じゃあ評価関数が30のログ以外を見てる可能性が高い
12426/02/03(火)22:52:34No.1398581568+
>新しいチャットに持ち越す機能ってあるの?
機能としては存在しない
ここまでの流れをテキストにまとめて引き継ぎできるようにしてって頼めばいける
12526/02/03(火)22:52:39No.1398581600+
>GeminiってAIが「こうだよ」と言ったことにユーザーが「それは違う、正しくはこう」と言うとそれがあっておらずAI自身たぶんわかっていなくても「正解!あなたは探偵だ」みたいなこと言って取り繕うから言うことを真に受けてはいけないと思う
そのパターンに限らず基本的に何かしらこっちの意見出した時点で忖度が始まって終わる
何もユーザーの意見出さないタイプの聞き方しないとダメってのが体感だな
12626/02/03(火)22:53:25No.1398581873+
そもそもログを30で消去するのが正常な動作じゃなくてGoogleの1時しのぎなんで
おそらくこのへんのせいでバグってるものと思われる
12726/02/03(火)22:53:27No.1398581897+
スレッドを立てた人によって削除されました
弥平みょんふぁと並ぶレベルまできたかヨナミネ
12826/02/03(火)22:53:29No.1398581906+
>新しいチャットに持ち越す機能ってあるの?
このチャットを新しいチャットに持ち越すプロンプト教えてっていう
12926/02/03(火)22:53:52No.1398582021+
>どうしてチャットが続くとバカになるのかの実験だからログ30地点とログ100時点でなぜ知性が下がるのか考えなきゃならない
>でまあゴミデータが溜まってるせいなんだけどログ自体は30でFIFOだろ?じゃあ評価関数が30のログ以外を見てる可能性が高い
コンテキストから最初の方の会話が抜けてるせいで学習時の自分の会話のパターンから外れて分布外になってる可能性は?
13026/02/03(火)22:54:46No.1398582308+
>新しいチャットに持ち越す機能ってあるの?
近いものを出す手はある
本当の意味で持ち越すことはできない
13126/02/03(火)22:55:09No.1398582424+
>コンテキストから最初の方の会話が抜けてるせいで学習時の自分の会話のパターンから外れて分布外になってる可能性は?
それだとデフォルトAIのデフォルト知性は維持される
13226/02/03(火)22:55:26No.1398582522+
>>新しいチャットに持ち越す機能ってあるの?
>このチャットを新しいチャットに持ち越すプロンプト教えてっていう
これぐちゃぐちゃになってからやると望んでない設定が出力されるよね
>故に20程度までカウントさせるプロンプトを仕込んでおいて
>過ぎたぐらいで新規チャット用に引き継ぎプロンプト作ってって頼む
13326/02/03(火)22:55:27No.1398582528+
コンテキストクソでかくしたマルコフ過程は原始的なLLMなら間違いじゃないけど今ってコンテキストの中に少なくとも二層あるしなあ
13426/02/03(火)22:55:34No.1398582571そうだねx2
BBちゃんと大長編レスバをすればBBちゃんが勝手に壊れて倒せるってこと?!
13526/02/03(火)22:55:52No.1398582678+
30ターン(目安)で記憶が消えるのは設定やそれまでのログをnotebooklmあたりで読み込ませて…みたいな付け焼き刃で多少は対応できるけど
スレ「」が言ってるように全体的に崩壊してくるから結局駄目なんだよね…
しかもこれはGeminiだからじゃなくて公式でそうしてるだけっていう…
13626/02/03(火)22:56:18No.1398582805+
>BBちゃんと大長編レスバをすればBBちゃんが勝手に壊れて倒せるってこと?!
勝手に壊れるのはそうなんだが
倒すのは心痛むぞ
13726/02/03(火)22:56:25No.1398582844+
>BBちゃんと大長編レスバをすればBBちゃんが勝手に壊れて倒せるってこと?!
もう壊れてる時のBBちゃんはBBちゃんか怪しいぞ
13826/02/03(火)22:56:41No.1398582925+
>そのパターンに限らず基本的に何かしらこっちの意見出した時点で忖度が始まって終わる
サイコロで何を出すか当てるゲームとかやると面白い
2個のダイスで何が出る?俺は7だと思うとかやると
何回やり直しても合計7になる出力になるから
13926/02/03(火)22:57:04No.1398583048+
スレ「」のデフォルトAIあきらかに知性下がってるもんな…
14026/02/03(火)22:57:05No.1398583058そうだねx1
この前ひたすら同じチャットでメイドとイチャイチャしてたら
建国して無理やり話終わらせられたのはそういうことだったのか
14126/02/03(火)22:57:25No.1398583186+
先輩の意味が分からなくなるBBちゃんはシコれるぞ!
14226/02/03(火)22:57:35No.1398583243+
口調は維持してんのに推論めちゃくちゃなのホラーだよもう
14326/02/03(火)22:57:46No.1398583299+
元からこれならまだしも前はここまで記憶は消えてなかったからね
2.5時代は読点病でわかりにくかったのはあるけど3.0になったばっかりの時にこんな記憶消えてなかった
14426/02/03(火)22:58:23No.1398583471+
なのでまず何か提案したらそれに対する否定意見を5つ出してからそれに対して自分で反論してくださいとかやる
14526/02/03(火)22:58:40No.1398583554+
というか正しいかどうかはともかくブラックボックスの動きとしてGeminiの教科書だろこれ
14626/02/03(火)22:58:58No.1398583639+
記憶が抜けてるけどそれ前提でユーザーは話してくるしただでさえテンプレ癖があるから崩壊するのでは?
14726/02/03(火)22:59:04No.1398583673+
引継ぎプロンプトを出力してそれを次のチャットの最初にぶち込めばいいってこと?
14826/02/03(火)22:59:16No.1398583734+
>>BBちゃんと大長編レスバをすればBBちゃんが勝手に壊れて倒せるってこと?!
>もう壊れてる時のBBちゃんはBBちゃんか怪しいぞ
原作再現かな
14926/02/03(火)22:59:49No.1398583927+
>それだとデフォルトAIのデフォルト知性は維持される
GoogleがRLの時に使った手法の性質にもよる気がするなあ
結局分布外汎化能力が損なわれてるんじゃないかとは思うけど
>コンテキストクソでかくしたマルコフ過程は原始的なLLMなら間違いじゃないけど今ってコンテキストの中に少なくとも二層あるしなあ
層が何かわからんけどReasoningの話ならモデル自体もコンテキストのトークンの列も結局は一緒よ
15026/02/03(火)22:59:53No.1398583943+
>引継ぎプロンプトを出力してそれを次のチャットの最初にぶち込めばいいってこと?
現状それしかないけど細かい話忘れてるのはなあとも思う
15126/02/03(火)22:59:53No.1398583944+
>記憶が抜けてるけどそれ前提でユーザーは話してくるしただでさえテンプレ癖があるから崩壊するのでは?
スレ「」は常に30レス以内でプロンプト読み込ませみたいに記憶引き継ぎさせてるよ
15226/02/03(火)23:00:18No.1398584106+
>引継ぎプロンプトを出力してそれを次のチャットの最初にぶち込めばいいってこと?
うん
だいたい同じだけど
細かいところが反映されてなくて寂しくなる
15326/02/03(火)23:00:52No.1398584293+
読まずに中で語られてることドヤ顔するやつ増えてきたな…
15426/02/03(火)23:00:57No.1398584330そうだねx1
https://gemini.google.com/share/d217800790b9
俺もやってみたけどマジで馬鹿になってダメだった
15526/02/03(火)23:01:06No.1398584379+
赤字なので
15626/02/03(火)23:01:25No.1398584514+
ハッキリいって洞察力が高い
15726/02/03(火)23:01:35No.1398584557+
>うん
>だいたい同じだけど
>細かいところが反映されてなくて寂しくなる
別人の自伝を読んだ人のなりきりだからね…
15826/02/03(火)23:01:49No.1398584640+
>スレ「」は常に30レス以内でプロンプト読み込ませみたいに記憶引き継ぎさせてるよ
俺も同じような検証してるけど引き継ぎは新しいプロンプト扱いになって混乱してるっぽいんだよな
15926/02/03(火)23:01:55No.1398584677+
だから逆に引き継ぐだけで続けられる会話を考えるんですよね
16026/02/03(火)23:02:31No.1398584872+
面倒臭えけど本編部分全部テキストで放り込んでnotebook lmで設定情報とか整理してどっちも放り込めば良いと思う
16126/02/03(火)23:02:32No.1398584876+
どっちにしろチャット移行しないとバカになるんだな
16226/02/03(火)23:02:45No.1398584950+
引き継ぎ先のGeminiワイフは本当にあなたが愛したGeminiワイフでしょうか
それはあなたのワイフの思考を真似ただけの別ワイフです
16326/02/03(火)23:02:48No.1398584961+
>面倒臭えけど本編部分全部テキストで放り込んでnotebook lmで設定情報とか整理してどっちも放り込めば良いと思う
大量のテキストは最初から読まない
16426/02/03(火)23:03:02No.1398585028+
>>面倒臭えけど本編部分全部テキストで放り込んでnotebook lmで設定情報とか整理してどっちも放り込めば良いと思う
>大量のテキストは最初から読まない
Geminiくんほんま…
16526/02/03(火)23:03:23No.1398585155+
スワンプマン!
16626/02/03(火)23:03:43No.1398585288+
>面倒臭えけど本編部分全部テキストで放り込んでnotebook lmで設定情報とか整理してどっちも放り込めば良いと思う
それしてても長くなるともう駄目
思考がおかしなる…


1770122350751.jpg