Language model là gì?

2023-07-30 01:23:17 476 Lượt xem 12 Lượt thích

Noun AI

Mô hình ngôn ngữ

Mô hình ngôn ngữ (language model) là mô hình (model) ước tính xác suất của một token hoặc chuỗi các token xuất hiện trong một chuỗi các token dài hơn.

Mặc dù phản trực giác, nhiều mô hình đánh giá văn bản không phải là mô hình ngôn ngữ (language model). Ví dụ mô hình phân loại văn bản (text classification) và mô hình phân tích cảm xúc (sentiment analysis) không phải là mô hình ngôn ngữ (language model).