なるほどね

アリのフェロモン地図みたいな感じ？

完全に理解したわ

なに…？

言われなくても「」なら無意識に毎日やってるだろこれ

さすがにこれだけじゃわからん

https://www.nikkei-science.com/?p=74090
2024年のノーベル物理学賞は，「人工ニューラルネットワークによる機械学習を可能にする基礎的発見と発明」の功績で，米プリンストン大学のホップフィールド（John Hopfield）名誉教授とカナダのトロント大学のヒントン（Geoffrey Hinton）名誉教授に授与される。

ある技術が社会で広く使われ生活や産業を大きく変えたとき，その原点に立ち戻り，最初の一歩となった成果にノーベル賞が授与されることはしばしばある。今回の授賞がまさにその例だ。物理学賞を受賞した2人は1980年代に，今，最も注目が集まっている人工知能（AI）の根幹である人工ニューラルネットワークの基礎を築いた。

勾配降下法ってやつか

もっとやさしい言葉でお願いしたい

雷の通り道みたいな感じ？

鬼スラ関係ある？

インターネットに関係している？

東方プロジェクトのキャラクター？

>鬼スラ関係ある？
登山家が山になるのに似ている

とりあえずAI業界に冬の時代が多いことは理解した

理論だけじゃ足りなくて
高いマシンパワーとそれを可能にする工業技術とかも必要だったりするしな…

FPSでキルデス記録したヒートマップみたいな話？
ここでよく撃ち合い起きますよみたいな

>勾配降下法ってやつか
今流行ってる機械学習はほぼ全部勾配降下法のはずだけどスレ画の奴は勾配降下法の枠じゃない奴のハズ
統計物理の計算で使うようなモデル上のスピンを熱的に揺らしていくと記憶しておいたものにスピン配列が近づいていっておもしれーっていうコンセプトの奴

へぇなるほどね？

3blue1brownで似たような画見たことあるけどまったく何も分からん

この手のアルゴリズム好き
最近はCMAESがすき

>今流行ってる機械学習はほぼ全部勾配降下法のはずだけどスレ画の奴は勾配降下法の枠じゃない奴のハズ
>統計物理の計算で使うようなモデル上のスピンを熱的に揺らしていくと記憶しておいたものにスピン配列が近づいていっておもしれーっていうコンセプトの奴
そうなんだ…！量子アニーリングみたいな…？わからん…

ヒントンの名前はよく見たけどノーベル賞か
大したもんじゃ

>そうなんだ…！量子アニーリングみたいな…？わからん…
スレ画みたいな問題においてうろちょろしてる間の経路は（量子かどうかはともかく）アニーリング法を使うことが多いから結構関係は深い
まさに今回のノーベル賞の関連のゴツい教科書書いた先生が量子アニーリングを提唱したりしてるからもしかしたら直接関係してるんかもしれん

なんでNNが物理学賞なのかと思ったけど情報系の賞がないから？

各点の相互作用とかエネルギーの計算方法は別としてアニーリング法って感じなわけか

なつかしい学生の時にホップフィールドモデルでTSP解くプログラムとか作った
近年のAIのベースになった技術といったらネオコグニトロンの福島先生とか確率的勾配降下法の甘利先生とかもノーベル賞を受賞できる可能性がある…？

これだと反応経路の模式図みたいだな

あーなるほどねえAIやってると実感としてわかるは

>なんでNNが物理学賞なのかと思ったけど情報系の賞がないから？
なんで数学賞じゃねえんだと思ったけど数学賞ないんだったわ

あー完全に理解したわ
余白が足りないから解説できないけど

なるほどなるほど

>近年のAIのベースになった技術といったらネオコグニトロンの福島先生とか確率的勾配降下法の甘利先生とかもノーベル賞を受賞できる可能性がある…？
ホップフィールドもAmariの方が早いんだし3人目としてAmari入れても良かったんじゃね？
みたいに言ってる人は結構見かけたけどね…今回のノーベル賞の公式発表にも引用はされてるし
まあ福島さんも甘利さんも今回のと分野が近すぎるからノーベル賞の慣例的にはもう取れないな

>>そうなんだ…！量子アニーリングみたいな…？わからん…
>スレ画みたいな問題においてうろちょろしてる間の経路は（量子かどうかはともかく）アニーリング法を使うことが多いから結構関係は深い
>まさに今回のノーベル賞の関連のゴツい教科書書いた先生が量子アニーリングを提唱したりしてるからもしかしたら直接関係してるんかもしれん
この二人が凄くかしこい「」なのはわかった
なんかかっこいい

全く理解できないのを完全に理解したわ

雨というふわふわな情報を山と谷という地形に流すと川っていう線の情報になるような…

>なんで数学賞じゃねえんだと思ったけど数学賞ないんだったわ
数学やるようなやつはカスだからな…

これだと一番深くはないけど脱出できないくぼみにはまったりはしないの？

>3blue1brownで似たような画見たことあるけどまったく何も分からん
あの動画いいよね
睡眠導入にピッタリ

>なんでNNが物理学賞なのかと思ったけど情報系の賞がないから？
一応物理学で使われてる手法を発展させて出てきた成果だから
でも物理学賞としては死ぬほど変化球ではある…何年か前の気候変動に物理学賞が出た時よりもさらにビックリ

ローカルミニマムの話はしない

記憶したパターンをエネルギー関数の極小値に設定して最適化問題を解くことでパターンを想起するという発想にめちゃくちゃ感動した記憶がある
ホップフィールドネットワークにおけるエネルギー関数の探索戦略は確率的な要素を含まないからSAとはそこが一番違うかも
SAをはじめとするメタヒューリスティクスは探索戦略に確率的な要素を含むことで大域的な探索にも対応している印象がある

確率要素によるローカルミニマム回避はそりゃそれやれば理屈の上ではローカルミニマム関係なくなるだろうけどすげえ力技だな…って思う

>これだと一番深くはないけど脱出できないくぼみにはまったりはしないの？
はまらないように頑張る戦略が色々とあるにはあるけどはまると超めんどくさい
こういうくぼみの問題を解決していく過程で今滅茶苦茶応用されてるニューラルネットワークができていった

>これだと一番深くはないけど脱出できないくぼみにはまったりはしないの？
ものすごく素晴らしい着眼点！
メタヒューリスティクスの世界へようこそ！

洒落た言い回ししやがって…

>これだと一番深くはないけど脱出できないくぼみにはまったりはしないの？
ゲームのボスにそれなりに効く攻撃見つけてからずっとそればっかでもっといい弱点に気づかないことよくあるよね

>>これだと一番深くはないけど脱出できないくぼみにはまったりはしないの？
>ゲームのボスにそれなりに効く攻撃見つけてからずっとそればっかでもっといい弱点に気づかないことよくあるよね
でもボス倒せるんだからまあいいかなって

>統計物理の計算で使うようなモデル上のスピンを熱的に揺らしていくと記憶しておいたものにスピン配列が近づいていっておもしれーっていうコンセプトの奴
AIの基礎が物理学？って思ったけど熱的挙動って考えたら確かに物理学だな…

人間も最小ではなく極小に収束して動かなく…

機械学習やった経験で2割くらいなるほど？ってなるな

非線形システムでのローカルミニマムの問題はクープマン演算子使って線形化するのをしばらく頑張ったけど
これ結局複雑であればあるほど変換見つけるのが無理ゲーで処理量も増えるし論文の上ではともかく実問題に適用するにはあんまり役に立たねぇんじゃねえか…？ってなってやめちゃった
有識者の方もし知見あれば教えて下さい

基本的にエネルギーが低い状態に落ち着くのはわかるけど
それをモデル化して応用するとなるとまったく想像できないぜ

俺のやる気の話？

よくわからんがニューラルネットワークの基礎を築いたような人ならまあ凄いだろうなあ

キャリアの関係で
分子動力学→統計熱力学→機械学習周りの数学
の順で学んだけどこのルート物理現象と確率論や最適化がめっちゃ密接に結びついて理解できるから不器用な人間にはオススメだぞとんでもない回り道だけど

将来的にエッチなメイドロボが出来るって事？

人間の脳はスライド写真みたいに大量の「この時こんな事があった」というパターンをストレージに記憶していて
そのパターンを呼び起こす鍵がドット絵みたいにこの座標は黒でこの座標は白で…という配列のオンオフ
特定の状況に遭遇した場合に記憶のストレージ書庫に行って
「これに似たパターンの鍵ある？」って司書に聞いてHITした時に思い出されるのが「長期記憶」
この方法を機械的に真似したら今の生成AIを作る根本的な設計思想を生み出す
中核部分になったよってのを作った人が今年のノーベル物理学賞

ノーベル賞の分野をふやしてもいいんでないかい

よく分かんないけどこの人達のおかげで今エロ画像生成出来るんだな
ありがとうエロい人！

まあ…俺じゃわからないか
このレベルの話は

結局今となってはクソほどデカい次元とクソほど大量のデータを用意しさえすれば局所解の心配はあまりしなくてもよくなって
あとは目的関数のヘッセ行列に強烈な異方性があってもぐいぐい最適できるようになってれば力こそパワーでなんとかなるみたいな印象

現実の最適化問題は地形の起伏が死ぬほど複雑な上に当然最適解なんて誰もわからないのよね
だから最適化の手法は準最適解でもいいからいい感じの解を見つけるために頑張ってくれる
つまり
>ゲームのボスにそれなりに効く攻撃見つけてからずっとそればっかでもっといい弱点に気づかないことよくあるよね
>でもボス倒せるんだからまあいいかなって
これは割と最適化問題の現実に近い

変分原理みたいな？

こういうのはフィールズ賞？じゃないのか
でも数学的発見と言うよりは発明寄りなのか…？

ぐいぐい最適化できるようになってればの部分が結構キツい制約じゃないか？

カタログで別のものに見間違えるのもストレージの似たパターンをこうやって探索してしまうせい…！

人間の最適解を求める思考パターンは物理的な動きに近いって感じ？

甘利先生…

>の順で学んだけどこのルート物理現象と確率論や最適化がめっちゃ密接に結びついて理解できるから不器用な人間にはオススメだぞとんでもない回り道だけど
まあまあ似たようなルートを辿ってきたけど
結局色々やろうとすると計算資源ぶん回す力がないとなんもできんな…ってなって今は計算機とかwebとかAWSとか勉強してる

ゲーム攻略で手癖になってるパターンを一旦捨てるのは
初期値やバイアスをランダムで生成し直すようなものということか…

カオスニューラルネットワークだと次々と記憶したパターンを想起するから楽しいぞ！

>よく分かんないけどこの人達のおかげで今エロ画像生成出来るんだな
AIエロ画像でまんまんとパンツとか指とフォークが一体化しとるワハハって絵ができたりするけど
それもニューラル疑似神経網ネットワークが人間の記憶を呼び出すときの手法を使って
なんとなくこんなもん…そうそう指定されたキーワードから出てくるべきなのはこんな感じ…
ってパターンに当てはめて絵を描いていく時に細部をはっきり読み出せなかった結果
だから起き抜けに見るとAIの間違えた絵はこれどこがダメだったんだっけ？ってわからないのと同じ

AIにマリオをやらせたらTASみたいな動きに収束される感じ

セールスマンに巡回させるか

物理なのか…？
いやでもランダム性があっても法則性があるなら物理なのか
なのか…？

脳で起こってる事と（もし）同じなら
実際の物理現象を表した数学モデルと言っていいな！

ホップフィールドネットワークのホップフィールドって人名だったのかよ！

ボールが跳ねるフィールドのイメージが合いすぎるだろ

>ホップフィールドネットワークのホップフィールドって人名だったのかよ！
なんかスピンがホッピングして相互作用してる場みたいな雰囲気出てるよねホップフィールド

粘菌のアレみたいな理論？馬鹿なんでわかりゃん

(誰か上手に例えてくれるだろ…)

統計物理学の研究の一部じゃん
昔からノーベル賞をとった統計物理学の研究が物理か？ってイチャモンつけられた例は幾つかある
今更な話である

ノーマルルートで下山するということか…

エネルギー勾配由来で確率歪ませたランダムウォーカーばらまくモデル

何言ってるのか分からないと言うよりはこれの何がどうすごいのかわからない…

今となっては素粒子物理とされてる何かも物理なのか怪しいものがいっぱいだから
逆に言うとウィッテンとかが賞とってもいい時代になったと言えるかも

ヒッグス粒子とかはまさに物理学だけど人間社会への影響ある？って感じで
AIの基礎理論は数学寄りだけど人間社会への影響が多大ってちょっと面白いな

>何言ってるのか分からないと言うよりはこれの何がどうすごいのかわからない…
chatGPTや自動運転やスマホの顔認識などなどはこれの直接的な後継者だと思うとすげーってなるのではなかろうか