Berbagai ide pendekatan ensemble dalam pemodelan prediktif telah banyak dikembangkan oleh para pakar dan praktisi data science dengan satu tujuan utama; memperoleh model dengan ketepatan prediksi yang tinggi. Teknik ensemble bekerja dengan menggabungkan hasil prediksi dari beberapa model (selanjutnya disebut sebagai model dasar) menjadi satu prediksi akhir.
Proses penggabungannya bisa saja merupakan proses sangat sederhana seperti merataratakan (averaging) untuk variabel target numerik dan suara terbanyak (majority vote) untuk variabel target kelas. Ada juga proses penggabungan yang lebih rumit seperti penggunaan teknik optimasi tertentu sampai penggunaan algoritme pemodelan dengan menggunakan hasil prediksi model dasar sebagai prediktor.
Ensemble Meningkatkan Ketepatan. Proses penggabungan hasil prediksi beberapa model dasar dalam banyak kasus mampu meningkatkan ketepatan prediksi seperti yang dilaporkan oleh banyak studi di berbagai jurnal ilmiah. Secara matematis, peningkatan akurasi dari pendekatan ensemble untuk kasus klasifikasi dapat diilustrasikan sebagai berikut.
Terdapat lima model dasar yang masing-masing memiliki akurasi sebesar 70%, dan nilai akurasi dalam hal ini diartikan sebagai berapa persen hasil prediksi kelas yang sama dengan kelas sesungguhnya. Lebih lanjut kelima model dasar itu diasumsikan bersifat saling bebas.
Jika kelimanya digabungkan menggunakan pendekatan majority vote, maka prediksi dari ensemble akan menghasilkan akurasi yang tepat jika setidaknya ada tiga model dasar yang tepat.
