Hyperparameter tuning là gì?

Điều chỉnh siêu tham số (hyperparameter tuning) là chọn một tập hợp các siêu tham số (hyperparameter) tối ưu cho một thuật toán học (learning algorithm). Một siêu tham số có giá trị được thiết lập trước khi quá trình học bắt đầu. Chìa khóa của các thuật toán học máy (machine learning algorithm) là điều chỉnh siêu tham số.

Việc chọn kết hợp các siêu tham số phù hợp đòi hỏi sự hiểu biết về các siêu tham số. Tuy nhiên, về mặt kỹ thuật có hai cách:

Điều chỉnh siêu tham số thủ công

Điều chỉnh siêu tham số thủ công bao gồm việc thử nghiệm các bộ siêu tham số khác nhau theo cách thủ công, tức là mỗi lần thử nghiệm với một tập siêu tham số sẽ do bạn thực hiện.

Điều chỉnh siêu tham số tự động

Điều chỉnh siêu tham số tự động sử dụng các thuật toán hiện có để tự động hóa quy trình. Các bước bạn làm theo là:

• Đầu tiên, chỉ định một tập hợp các siêu tham số và giới hạn cho các giá trị của siêu tham số đó (lưu ý: mọi thuật toán đều yêu cầu tập hợp này phải là một cấu trúc dữ liệu cụ thể, ví dụ: từ điển (dictionary) thường dùng khi làm việc với các thuật toán).
• Sau đó, thuật toán thực hiện công việc nặng nhọc cho bạn. Nó chạy những thử nghiệm đó và tìm nạp cho bạn bộ siêu tham số tốt nhất sẽ cho kết quả tối ưu.