Mini Proposal: MODEL ASESMEN KEMAMPUAN EVALUATIVE JUDGEMENT CALON PENDIDIK MATEMATIKA

Note: Pada postingan ini kami menyajikan rancangan proposal penelitian terkait model asesmen kemampuan evaluative judgement calon pendidik matematika. Mini proposal ini merupakan hasil pemikiran kami setelah mengikuti perkuliahan Fisalfat Penelitian dan Evaluasi Pendidikan, S3 PEP UNY, yang diampu oleh Prof. Marsigit, M.A. Semoga bermafaat ...

Download PDF (silahkan klik)

Latar Belakang Masalah

Era globalisasi yang terus berkembang pesat mendorong adanya berbagai inovasi dalam berbagai sektor kehidupan. Lahirnya inovasi harus ditopang dengan sumber daya manusia (SDM) yang berkualitas. Peningkatan kualitas SDM menjadi suatu keharusan agar suatu bangsa mampu menghadapi ketatnya persaingan global serta memunculkan berbagai inovasi baru. Dengan demikian, pendidikan memiliki peran vital untuk mewujudkan tujuan tersebut. Pendidikan yang berkualitas diharapkan mampu mencetak SDM unggul yang mampu menciptakan berbagai inovasi di berbagai sektor kehidupan.

Syarat mutlak pendidikan berkualitas salah satunya adalah ditopang oleh pendidik yang berkualitas pula. Untuk melahirkan dan membentuk pendidik yang berkualitas, para calon pendidik harus dilatih dan dibekali dengan berbagai kemampuan yang relevan dengan kompetensi mereka sebagai pendidik serta relevan dengan perkembangan zaman. Di samping itu, calon pendidik juga perlu dibekali dengan kemampuan-kemampuan baru terkait tugas dan tanggung jawabnya sebagai pendidik. Salah satu kemampuan penting yang harus dimiliki oleh calon pendidik di era sekarang ini yaitu kemampuan evaluatif judgement (Chen et al., 2021; Gyamfi et al., 2021; Joughin et al., 2018; Panadero et al., 2018; Tai et al., 2018;). Kemampuan ini diperlukan pendidik agar mampu membuat keputusan-keputusan yang tepat terkait peserta didiknya.

Evaluatif judgement adalah kemampuan seseorang untuk membuat keputusan tentang kualitas pekerjaan diri sendiri maupun pekerjaan orang lain (Tai et al., 2018). Dalam konteks pendidikan, “pekerjaan” pada definisi tersebut dapat dimaknai sebagai tugas, karya, pemecahan masalah, dan lain sebagainya. Ketika seseorang memiliki kemampuan evaluative judgement yang baik, memungkinkan bagi dirinya untuk membuat keputusan terkait kualitas tugas, karya, atau proses pemecahan masalah yang dilakukannya atau pun dilakukan oleh orang lain. Dengan kemampuan evaluative judgement yang dimilikinya, memungkinkan bagi seseorang untuk meningkatkan kualitas tugas atau karyanya, serta memenuhi kebutuhan belajarnya di masa mendatang.

Terdapat dua komponen terpadu yang saling melengkapi pada kemampuan evaluatif judgement, yaitu kemampuan memahami kriteria kualitas dan kemampuan menerapkan pemahaman tersebut dalam menilai kualitas suatu tugas atau karya (Tai et al.,2018). Kedua komponen tersebut diperlukan oleh calon pendidik ketika akan menilai dan mengevaluasi capaian belajar peserta didiknya. Dalam mengevaluasi capaian peserta didik, seorang pendidik harus mampu menyusun dan memahami kriteria kualitas capaian belajar yang ideal, kemudian menggunakan kriteria tersebut untuk membuat keputusan terhadap peserta didiknya. Dengan demikian, evaluatif judgement juga menyangkut kemampuan untuk membuat dan memahami kriteria kualitas dan menggunakan pemahaman tersebut untuk menilai kualitas capaian belajar peserta didik.

Mengingat pentingnya kemampuan evaluative judgement bagi calon pendidik, agar tidak mengambil keputusan yang salah terhadap peserta didiknya, maka kemampuan tersebut perlu dilatihkan kepada calon pendidik, termasuk calon pendidik matematika. Berdasarkan penelusuran literatur yang kami lakukan, masih belum ditemukan literatur atau penelitian pada pendidikan matematika yang mengangkat tema terkait kemampuan evaluative judgement. Hal ini menunjukkan bahwa kemampuan evaluative judgement belum menjadi fokus dalam pendidikan matematika saat ini. Dengan demikian, masih sangat diperlukan penelitian dalam bingkai evaluatif judgement pada khazanah pendidikan matematika. Tai et al. (2018) mengemukakan bahwa evaluatif judgement dapat ditinjau melalui wacana pedagogi maupun asesmen. Dalam hal ini, terlebih dahulu kami akan meninjau evaluatif judgement pada aspek asesmennya.

Untuk dapat mewujudkan calon pendidik matematika yang memiliki kemampuan evaluative judgement yang baik, maka diperlukan model asesmen yang mampu memotret sekaligus memfasilitasi calon pendidik matematika untuk mengembangkan kemampuan evaluative judgement mereka. Dengan demikian, penelitian tentang pengembangan model asesmen kemampuan evaluative judgement calon pendidik matematika perlu dilakukan. Melalui penelitian tersebut diharapkan akan diperoleh model asesmen yang mampu memotret kemampuan evaluative judgement calon pendidik matematika, di mana hasil asesmen tersebut dapat dimanfaatkan untuk mengembangkan kemampuan evaluative judgement mereka.

Rumusan Masalah

Berdasarkan latar belakang masalah yang telah dikemukakan, rumusan masalah penelitian ini sebagai berikut:

1.   Bagaimana desain model asesmen kemampuan evaluative judgement calon pendidikan matematika?

2.  Bagaimana karakteristik instrumen tes untuk mengukur kemampuan evaluative judgement calon pendidik matematika?

3.  Bagaimana kelayakan model asesmen kemampuan evaluative judgement calon pendidikan matematika?

4.  Bagaimana kemampuan calon pendidikan matematika setelah diterapkan model asesmen kemampuan evaluatif judgement?

Landasan Teori: Kemampuan Evaluatif Judgement

Evaluative judgement dipandang sebagai kemampuan kognitif tingkat tinggi yang diperlukan untuk pembelajaran seumur hidup (Cowan, 2010). Evaluative judgement yang dipandang sebagai gagasan tentang evaluasi dan penilaian kritis yang diperlukan untuk pemberian umpan balik yang efektif, telah disorot oleh banyak ahli seperti Sadler (2010), Nicol (2013, 2014, 2014), dan Boud dan Molloy (2013). Para ahli ini berpendapat bahwa evaluatif judgement mengakui kompleksitas standar kontekstual dan kinerja, mendukung pengembangan lintasan pembelajaran dan penguasaan, dan karena itu ditujukan untuk kapasitas masa depan dan pembelajaran seumur hidup.

Beberapa penelitian empiris sejauh ini telah dilakukan dalam kerangka evaluatif judgement. Pertama, Nicol et al. (2014) menunjukkan kemampuan kegiatan peer learning untuk memfasilitasi pengambilan keputusan siswa dalam setting pendidikan tinggi. Kedua, Tai et al. (2016) juga mengeksplorasi peran pembelajaran sejawat informal dalam menghasilkan evaluatif judgement yang akurat, yang berdampak pada kapasitas siswa untuk terlibat dalam percakapan umpan balik, melalui pemahaman standar yang lebih baik. Ketiga, Barton et al. (2016) membingkai ulang proses umpan balik formal untuk mengembangkan evaluatif judgement, termasuk umpan balik dialogis, penilaian diri, dan jurnal umpan balik terprogram.

Namun demikian, ada literatur yang lebih luas tentang penilaian formatif yang belum dibingkai di bawah payung evaluatif judgement. Literatur ini mendukung siswa mengembangkan kemampuan evaluatif judgement baik melalui strategi yang melibatkan penilaian diri (misalnya Boud, 1992; Panadero et al., 2016), penilaian sejawat (misalnya Panadero, 2016; Topping, 2010), atau belajar mandiri (misalnya Nicol & Macfarlane-Dick, 2006; Panadero dan Alonso-Tapia, 2013). Meskipun mereka tidak menggunakan istilah tersebut, rangkaian studi ini memiliki tujuan yang sama dengan evaluatif judgement, yaitu untuk meningkatkan kemampuan kritis siswa melalui berbagai praktik pembelajaran dan penilaian.

Definisi sebelumnya dari evaluatif judgement menurut Tai et al. (2016) adalah:

“... kemampuan untuk menilai secara kritis kinerja dalam kaitannya dengan standar yang telah ditentukan tetapi tidak harus eksplisit, yang memerlukan proses refleksi yang kompleks. Kemampuan tersebut memiliki aplikasi internal dalam bentuk evaluasi diri, dan aplikasi eksternal dalam membuat keputusan tentang kualitas pekerjaan orang lain”. (p. 661)

Definisi ini dibentuk dalam konteks pembelajaran mahasiswa kedokteran tentang penempatan klinis. Ada banyak variasi dari apa yang dimaksud dengan “pekerjaan” dalam lingkungan pendidikan tinggi, yang tidak terbatas pada kinerja. Karya juga dapat berupa karya tertulis (esai dan laporan), presentasi lisan, upaya kreatif, atau produk dan proses lainnya. Selain itu, banyak elemen definisi tampak terlihat tautologis, dan karenanya, Tai et al. (2018) menyajikan definisi yang lebih sederhana:

“evaluatif judgement adalah kemampuan untuk membuat keputusan tentang kualitas pekerjaan diri sendiri dan orang lain”.

Sejalan dengan Tai et al. (2016), ada dua komponen terpadu dari evaluatif judgement yang beroperasi sebagai pelengkap satu sama lain: pertama, memahami kriteria kualitas dan, kedua, menerapkan pemahaman tersebut pada penilaian pekerjaan, apakah itu milik sendiri, atau milik orang lain. Langkah kedua ini dapat dianggap sebagai pembuatan evaluatif judgement, yang merupakan sarana untuk melaksanakan evaluatif judgement seseorang. Melalui penilaian pekerjaan, seorang individu harus berinteraksi dengan standar atau kriteria (baik implisit maupun eksplisit), yang berpotensi meningkatkan pemahaman mereka tentang kualitas. Pemahanam tentang kualitas dan membuat penilaian saling bergantung: ketika digabungkan, keduanya memberikan pembenaran yang lebih kuat untuk pengembangan kedua aspek, dalam mempersiapkan pekerjaan di masa depan. Sementara pengambilan keputusan sering terjadi dan dapat dilakukan tanpa memperhatikan pengembangan keterampilan itu sendiri, maka proses pengembangan evaluatif judgement perlu direncanakan dan dipertimbangkan. evaluatif judgement mungkin secara tidak sadar dilakukan ketika individu telah memiliki pengalaman dan keahlian yang signifikan dalam membuat penilaian evaluatif di area tertentu.

Menurut Tai et al. (2018), evaluatif judgement bersifat kontekstual: apa yang merupakan kualitas, dan seperti apa keputusan itu, akan tergantung pada setting di mana penilaian evaluatif dibuat. evaluatif judgement merupakan domain spesifik: seseorang mengembangkan keahlian yang berkaitan dengan subjek atau bidang disiplin tertentu, di maka keputusan tentang kualitas pekerjaan dibuat. Namun, kemampuan mengidentifikasi kriteria kualitas dan menerapkannya untuk bekerja dalam konteks dapat melibatkan berbagai domain. evaluatif judgement juga bukan sekedar orientasi pada disiplin, komunitas, atau standar kontekstual seperti yang diterapkan pada contoh pekerjaan saat ini, tetapi juga dapat dibawa ke pekerjaan masa depan.

Banyak praktik yang memiliki potensi untuk mengembangkan evaluatif judgement. Namun, beberapa cara di mana mereka telah diterapkan kemungkinan tidak akan efektif untuk tujuan ini. Tabel 1 mengilustrasikan cara-cara di mana mereka mungkin atau mungkin tidak digunakan untuk mengembangkan evaluatif judgement. Tai et al. (2018) memusatkan perhatian pada lima praktik umum pada Tabel 1, karena praktik-praktik tersebut memiliki potensi signifikan untuk pengembangan lebih lanjut.

Tabel 1. Praktik untuk mengembangkan evaluatif judgement: strategi sub-optimal dan peningkatan potensial (Tai et al., 2018)

Praktik	Strategi sub-optimal yang mungkin sudah diterapkan	Potensi peningkatan
Self-assessment	Penilaian diri semata-mata hanya menghasilkan nilai atau hanya berkontribusi pada nilai akhir; yang tidak melibatkan siswa dalam mengidentifikasi atau mempertimbangkan kriteria; yang tidak memberikan umpan balik terhadap kualitas penilaian yang dilakukan.	Penilaian diri difokuskan pada bagaimana mengidentifikasi dan memilih kriteria untuk penilaian; memberikan umpan balik untuk menunjukkan bagaimana penilaian diri dapat ditingkatkan di masa depan; penggunaan penilaian diri yang menjangkau hal-hal spesifik dan mengidentifikasi pembelajaran masa depan yang diperlukan.
Peer feedback/ review	Penilaian sejawat digunakan untuk menggantikan penilaian oleh guru; umpan balik sejawat tanpa mempertimbangkan kriteria dan berbagai cara penerapannya; peer review tidak memiliki tujuan dan pembahasan terkait masalah yang mungkin timbul.	Penekanan pada perspektif sejawat; fokus pada apakah suatu pekerjaan telah memenuhi standar dan kriteria yang disepakati atau belum; penghargaan bahwa manfaat yang mungkin diperoleh akan lebih banyak dari penyedia daripada penerima informasi.
Feedback	Umpan balik hanya sebagai “telling” (Sadler 1989) atau “koreksi” atau sebagai informasi yang diberikan kepada siswa; informasi yang diberikan pada waktu dan tugas, atau dengan cara yang tidak memungkinkan untuk digunakan dengan mudah untuk pekerjaan di masa depan; penyediaan informasi tanpa tindak lanjut apakah dapat digunakan dalam tugas-tugas berikutnya.	Umpan balik sebagai dialog yang berorientasi pada tugas-tugas masa depan, bukan sekedar menyajikan contoh pekerjaan; perincian dan pembenaran yang membantu siswa memahami bagaimana pekerjaan mereka selaras atau berbeda dari standar yang digunakan, dan informasi yang memerlukan tanggapan atau rencana tindakan; berisi umpan balik yang merespons penilaian diri siswa terhadap pekerjaan mereka sendiri.
Rubrics	Rubrik sebagai daftar periksa dikotomi, bukan deskripsi kualitas pekerjaan; penggunaan kriteria di mana siswa belum terlibat dalam penyusunannya; rubrik hanya menggantikan penilaian evaluatif; template standar yang tidak sesuai dengan berbagai bentuk penilaian yang diperlukan untuk setiap tugas.	Rubrik digunakan untuk tujuan penilaian formatif, rubrik dibuat bersama siswa untuk mengembangkan pemahaman bersama tentang kriteria dan bagaimana penerapannya; rubrik yang mewakili bagaimana penilaian evaluatif sebenarnya dibuat dalam disiplin tertentu; penggunaan rubrik dialogis di mana ada diskusi seputar deskriptor/kriteria; penggunaan rubrik dalam hubungannya dengan contoh-contoh.

Metodologi Penelitian

Penelitian ini merupakan penelitian pengembangan yang bertujuan untuk menghasilkan suatu produk di bidang asesmen pendidikan matematika. Produk yang dikembangkan pada penelitian ini adalah model asesmen kemampuan evaluative judgement calon pendidik matematika. Penelitian pengembangan yang dilakukan merupakan suatu usaha untuk memperoleh suatu produk model penilaian yang layak, bukan untuk menguji suatu teori.

Dalam penelitian ini, peneliti mengadaptasi model pengembangan dari Borg & Gall (2007: 772-773). Secara garis besar, tahapan-tahapan penelitian dan pengembangan model penilaian HOTS pada pembelajaran matematika SMA meliputi: 1) tahap penelitian pendahuluan (preliminary research) meliputi studi pendahuluan yang menghasilkan analisis kebutuhan dan pengumpulan informasi sebagai dasar penyusunan desain produk; 2) tahap pengembangan (development) yang meliputi kegiatan pengembangan desain model penilaian, validasi produk model penilaian, uji coba produk di lapangan, dan evaluasi; 3) tahap penyebarluasan (disseminate) yang meliputi kegiatan implementasi dan diseminasi.

Referensi

Borg, W.R. & Gall, M.D. (1989). Educational research: An introduction (5th ed.). New York: Longman.

Boud, D. (1992). The use of self-assessment schedules in negotiated learning. Studies in Higher Education, 17(2), 185–200. https://doi.org/10.1080/03075079212331382657

Boud, D., & Molloy, E. (2013). Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in Higher Education, 38(6), 698–712. https://doi.org/10.1080/02602938.2012.691462

Chen, L., Howitt, S., Higgins, D., & Murray, S. (2021). Students’ use of evaluative judgement in an online peer learning community. Assessment & Evaluation in Higher Education. https://doi.org/10.1080/02602938.2021.1933378

Cowan, J. (2010). Developing the ability for making evaluative judgements. Teaching in Higher Education, 15(3), 323–334. https://doi.org/10.1080/13562510903560036

Gyamfi, G., Hanna, B. E., & Khosravi, H. (2021). The effects of rubrics on evaluative judgement: a randomised controlled experiment. Assessment & Evaluation in Higher Education. https://doi.org/10.1080/02602938.2021.1887081

Joughin, G., Boud, D., & Dawson, P. (2018). Threats to student evaluative judgement and their management. Higher Education Research & Development. https://doi.org/10.1080/07294360.2018.1544227

Nicol, D. (2013). Resituating feedback from the reactive to the proactive. In D. Boud & E. Molloy (Eds.), Feedback in higher and professional education: understanding and doing it well (pp. 34–49). Milton Park: Routledge.

Nicol, D. (2014). Guiding principles for peer review: unlocking learners’ evaluative skills. In C. Kreber, C. Anderson, N. Entwistle, & J. McArthur (Eds.), Advances and innovations in university assessment and feedback (pp. 197–224). Edinburgh: Edinburgh University Press.

Nicol, D., & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199–218. https://doi.org/10.1080/03075070600572090.

Panadero, E., & Alonso-Tapia, J. (2013). Self-Assessment: theoretical and Practical Connotations. When It Happens, How Is It Acquired and What to Do to Develop It in Our Students. Electronic Journal of Research in Educational Psychology, 11(2), 551–576.

Panadero, E., Brown, G. T. L., & Strijbos, J.-W. (2016). The future of student self-assessment: a review of known unknowns and potential directions. Educational Psychology Review, 28(4), 803–830. https://doi.org/10.1007/s10648-015-9350-2.

Panadero, E., Broadbent, J., Boud., D., & Lodge, J. M. (2018). Using formative assessment to influence selfand co-regulated learning: the role of evaluative judgement. European Journal of Psychology of Education. https://doi.org/10.1007/s10212-018-0407-8

Sadler, D. R. (2010). Beyond feedback: developing student capability in complex appraisal. Assessment & Evaluation in Higher Education, 35(5), 535–550. https://doi.org/10.1080/02602930903541015.

Tai, J., Canny, B. J., Haines, T. P., & Molloy, E. K. (2016). The role of peer-assisted learning in building evaluative judgement: opportunities in clinical medical education. Advances in Health Sciences Education, 21(3), 659. https://doi.org/10.1007/s10459-015-9659-0.

Tai, J., Ajjawi, R., Boud, D., Dawson, P., & Panadero, E. (2018). Developing evaluative judgement: enabling students to make decisions about the quality of work. Higher Education, 76, 467–481. https://doi.org/10.1007/s10734-017-0220-3.

Topping, K. J. (2010). Methodological quandaries in studying process and outcomes in peer assessment. Learning and Instruction, 20(4), 339–343. https://doi.org/10.1016/j.learninstruc.2009.08.003.