Hyperparameter là gì?

Siêu tham số (hyperparameter) trong học máy (machine leanring) là các tham số (parameter) mà giá trị của nó kiểm soát quá trình học (learning) và xác định giá trị của các tham số của mô hình (model parameter) mà một thuật toán học (learning algorithm) kết thúc việc học. Tiền tố "hyper_" gợi ý rằng chúng là các tham số "cấp cao nhất" kiểm soát quá trình học và các tham số của mô hình là kết quả của nó.

Khi thiết kế mô hình (model) bạn chọn và thiết lập các giá trị của siêu tham số (hyperparameter) mà thuật toán học của bạn sẽ sử dụng trước khi quá trình huấn luyện (training) mô hình bắt đầu. Trong trường hợp này, các siêu tham số (hyperparameter) được cho là nằm ngoài mô hình vì mô hình không thể thay đổi các giá trị của nó trong quá trình học / huấn luyện.

Siêu tham số (hyperparameter) được sử dụng bởi thuật toán học khi nó đang học nhưng chúng không phải là một phần của mô hình kết quả. Vào cuối quá trình học, chúng ta có các tham số của mô hình (model parameter) được huấn luyện hiệu quả là những gì chúng ta gọi là mô hình. Các siêu tham số (hyperparameter) được sử dụng trong quá trình huấn luyện không phải là một phần của mô hình này. Ví dụ: chúng ta không thể biết những giá trị của siêu tham số (hyperparameter) nào được sử dụng để huấn luyện một mô hình từ chính mô hình đó, chúng ta chỉ biết các tham số của mô hình (model parameter) đã được học.

Một số ví dụ phổ biến về siêu tham số (hyperparameter) như:

• Tỷ lệ phân chia (split ratio) tập huấn luyện- tập thử nghiệm
• Tốc độ học (learning rate) trong các thuật toán tối ưu (optimization algorithm) (ví dụ: gradient descent)
• Sự lựa chọn hàm tổn thất (loss function) mà mô hình sẽ sử dụng