二次元裏@ふたば

画像ファイル名:1740585015918.png-(54810 B)
54810 B25/02/27(木)00:50:15No.1287321886+ 07:28頃消えます
生成AIつくるのむずくね
このスレは古いので、もうすぐ消えます。
125/02/27(木)00:52:26No.1287322464そうだねx2
頭が3つも…
225/02/27(木)00:53:57No.1287322816+
でっていう
325/02/27(木)01:02:28No.1287324868+
MHAは多頭の代わりに典型的には次元数減ってるから有効性はタスクにも寄る
425/02/27(木)01:05:04No.1287325439+
>MHAは多頭の代わりに典型的には次元数減ってるから有効性はタスクにも寄る
プロだ!
プロがきたんだ!
525/02/27(木)01:05:59No.1287325656そうだねx1
ケルベロス
625/02/27(木)01:16:51No.1287327909+
Transformerは一旦Multihead忘れて考えた方が分かりやすくて入力Embeddingをトークン長x次元数の行列として考えると縦方向の変換と横方向の変換を交互に繰り返す感じだよ
725/02/27(木)01:18:02No.1287328142+
毎日県外から岩手に通ってるのかエミリー…
825/02/27(木)01:23:20No.1287329138+
よくある実装だと頭は8個のことが多い
最近のLLMとかは各モデル独自路線の工夫してるけど
925/02/27(木)07:13:58No.1287350814+
書き込みをした人によって削除されました
1025/02/27(木)07:14:02No.1287350817+
書き込みをした人によって削除されました


1740585015918.png