Penelitian ini bertujuan untuk mengetahui bagaimana kualitas butir soal tes sumatif bahasa Inggris siswa SMA di Semarang tahun pelajaran 2018/2019, apakah berkualitas baik atau buruk. Penelitian kualitatif dan kuantitatif diterapkan dalam penelitian ini. Jumlah subjek penelitian ini adalah 108 siswa yang diambil dari tiga kelas yaitu 11 IPA 2, 11 IPA 5, 11 IPA 9. Validitas isi dilakukan dengan meminta guru bahasa Inggris dan pembimbing menjadi penilai ahli untuk memvalidasi instrumen dengan menggunakan rubrik instrumen cek list. Untuk mengukur reliabilitas tes antar penilai, dilakukan dengan memberikan skor kepada siswa. Penelitian ini menggunakan ITEMAN dalam menganalisis data kuantitatif. Yaitu aspek validitas, reliabilitas, tingkat kesukaran, daya pembeda, dan aspek keefektifan pengecoh. Hasil penelitian menunjukkan bahwa aspek validitas adalah tinggi yaitu 28 item (70%) valid dan 12 item (30%) tidak valid. Aspek reliabilitas memiliki reliabilitas yang tinggi, menunjukkan 0,713). Tingkat kesulitan yaitu terlalu mudah, dengan 2 item (5%) merupakan soal yang terlalu sulit. 6 item (15%) pertanyaan sulit, 9 item (23%) pertanyaan sedang, 10 item (26%) pertanyaan mudah, dan 12 item (31%) terlalu mudah. Aspek daya pembeda yaitu sedang, dengan 7 butir (18%) daya pembeda baik, 16 butir (41%) daya pembeda sedang, 7 butir (18%) daya pembeda cukup, dan 9 butir (23%) lemah. Aspek efektifitas distraktor adalah cukup distraktor dengan 5 item (13%) memiliki distraktor sangat baik, 6 item (15%) memiliki distraktor baik, 15 item (39%) memiliki distraktor cukup, 4 item (10%) memiliki distraktor kurang baik, dan 9 item (23%) memiliki distraktor yang sangat buruk. Data kualitatif dengan menggunakan checklist menunjukkan bahwa analisis soal tes sumatif bahasa Inggris untuk SMA Negeri Semarang tahun ajaran 2018/2019 memiliki kualitas baik. Dengan 49 poin (87,5%). Oleh karena itu, hipotesis nol dari penelitian ini ditolak. Artinya, soal tes sumatif bahasa Inggris SMA di Semarang tahun ajaran 2018/2019 sudah berkualitas baik.

Kata kunci: Tes sumatif