PKSHA Delta
PKSHA(パークシャ)グループのnote公式ページです。
PKSHAでは、異なる才能(人と人との差分)をデルタと定義し、PKSHAのデルタを活かして社会に大きなデルタを生み出していくという意味を込めています。このnoteでは、PKSHAの様々なデルタを発信していきます。
記事一覧
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
こんにちは、PKSHA Technology の AI Solution 事業本部 アルゴリズムエンジニアの星野です。 近年、生成 AI をはじめとする人工知能技術が、私たちの生活や産業構造に急速に浸透しています。 大規模言語モデル(LLM)は、その中心的な存在として、テキスト生成、翻訳、対話システムなど、幅広いタスクで驚異的な性能を達成しています。AI があらゆる局面で社会実装されつつある現在、その背後にある原理を深く理解することも、今後ますます重要になってくると思われま