解説
何が起きたか
OpenAIとBroadcomは、LLMの推論処理に最適化したチップを発表しました。推論とは、利用者がAIに質問したあと、AIが答えを生成する処理のことです。
なぜ重要か
AIサービスの利用が増えるほど、応答速度、電力、サーバー費用が重要になります。専用チップは、汎用的な計算機よりも特定用途に合わせやすいため、AIサービスの運用効率に影響する可能性があります。
利用者への影響
短期的には、一般ユーザーが直接設定を変える話ではありません。ただし長期的には、AIサービスの応答速度、安定性、利用料金、提供できる機能の幅に関係してくる可能性があります。
ここちゃんメモ
モデルの性能だけでなく、裏側のチップやサーバーもAIの使いやすさを支えているでち。ニュースを見るときは「何ができるようになるか」と「誰のコストが下がるか」を見ると分かりやすいでち！