昨年末に撮って消化していなかった『ご長寿早押しクイズ』を見ていて、介護経験とLLMを仕事で使いだしている影響で、「ご長寿回答者の次の回答をそれなりに予測できる」ようになっていることに気づいた。
— 長谷敏司 (@hose_s) 2023年5月3日
人間は認知能力が落ちると、言語のつながりをもとに、次の発言を作るのではないだろうか。(1/3)
昨年末に撮って消化していなかった『ご長寿早押しクイズ』を見ていて、介護経験とLLMを仕事で使いだしている影響で、「ご長寿回答者の次の回答をそれなりに予測できる」ようになっていることに気づいた。人間は認知能力が落ちると、言語のつながりをもとに、次の発言を作るのではないだろうか。(
若い頃は、言語を基盤にして、APIを呼び出すように他の計算機能なり様々な能力を呼び出せていたのが、認知機能の低下で、言語のみに頼るようになっている感じ。しかも、回答者グループ内の回答で文脈が作られて、few shotで最初に与えられた前提が歪んでゆくっぽい。
「問題として与えられたベクトル」が蒸発して、保持できる少量のトークンで回答しようとした結果、ハルシネーションが起こってる感じ。それを前提に次が作られるので収集がつかなくなる。ベクトルを失っているので、何度回答してもそこに寄せられなくなる。
意表をつかれなくなって笑えていない
認知の衰えによって、言葉の音そのものに反応してしまっているという感じでしょうか。例えば「いちご」という言葉を聞いたとき、普通はあの赤くて甘酸っぱい果物を思い描く。これに対して「いちご」と聞いたときに「一期一会」という言葉が口をついて出てしまうなど。親父ギャグに似てますね。
惜しいとも言われていないのに、回答者が前の答えのバリエーションみたいな回答で脱線してゆくやつとかですね。変な合いの手もこれっぽい。
これを数回で問題文が蒸発して、そこで「いちご→一期一会」みたいな変換が起こる感じです。これが起こると、文脈の記憶をリセットできなくて正解不能ですね。
前の回答を拾って回答しているのではなく、そもそも元の問いがメモリから揮発して、前者の回答しか参照できていないというのは鋭い指摘だと思う。
