Bias-variance trade-off là gì?

Trong khi xây dựng mô hình học máy (machine learning model), điều thực sự quan trọng là phải quan tâm đến sự độ lệch (bias) và phương sai (variance) để tránh overfitting và underfitting trong mô hình (model). Nếu mô hình rất đơn giản với ít tham số (parameter) hơn, nó có thể có phương sai thấp (low variance) và độ lệch cao (high bias). Trong khi, nếu mô hình có một số lượng lớn các tham số, nó sẽ có phương sai cao (high variance) và độ lệch thấp (low bias). Vì vậy, cần phải tạo sự cân bằng giữa sai số độ lệch và sai số phương sai và sự cân bằng giữa sai số độ lệch và sai số phương sai này được gọi là sự đánh đổi giữa độ lệch và phương sai (bias-variance trade-off).