Pertumbuhan jumlah penduduk di Indonesia berdampak pada jumlah kendaraan yang beroperasi di jalan tol sehingga menimbulkan kemacetan pada ruas-ruas jalan tol. Diperlukan adanya survey penghitungan jumlah kendaraan untuk mengetahui kepadatan pada ruas-ruas jalan tol, pelaksanaan penghitungan jumlah kendaraan masih dilakukan oleh manusia yang memungkinkan bisa terjadinya human error. Sistem penghitung kendaraan di jalan tol merupakan teknologi komputer untuk mendeteksi dan menghitung setiap kendaraan yang bisa diimplementasikan oleh sistem secara real-time. Penggunaan metode Background Subtraction diimplementasikan pada proses segmentasi dengan cara memisahkan antara objek dan latar belakang dengan threshold untuk mempertegas objek serta menghilangkan shadow. Dalam proses pendeteksian kendaraan dilakukan pengambilan dataset sebagai input sistem yang nantinya akan dilakukan pengujian dan menghasilkan output dari sistem berupa data id, arah, tanggal dan waktu yang tersimpan pada database MySQL dan ditampilkan pada website. Pengujian dilakukan dengan mendapatkan nilai error terendah. Evaluasi kinerja sistem mendapatkan hasil precision 91,07%, recall 87,09%, dan akurasi 84,52%. Metode ini kurang mendapatkan hasil yang optimal apabila diimplementasikan pada saat kondisi lalu lintas yang padat.

Kata Kunci: Background Subtraction, Jalan Tol, Deteksi Objek, Object Filtering, Tracking