Metode dan Statistik Inovatif: Metode untuk Memastikan Analisis Prediktif yang Efektif dan Adil
Abstrak ini dipresentasikan pada Pertemuan Tahunan Society for Prevention Research 2018 yang diadakan 29 Mei – 1 Juni 2018 di Washington, DC, AS.
Chris Sharenbroch NCCD
Banyak pendekatan empiris telah diperkenalkan untuk mengembangkan alat analisis prediktif, tetapi langkah-langkah untuk mengevaluasi alat-alat ini tidak selalu konsisten atau berlaku. Implikasi untuk penggunaan Analisis Prediktif dalam praktiknya jelas mendukung kebutuhan akan kriteria dan metode yang terdefinisi dengan baik dan konsisten yang digunakan untuk mengevaluasi efektivitas dan kesetaraan alat analitik yang dihasilkan. Makalah dan presentasi ini akan mengulas secara singkat berbagai metode yang digunakan hingga saat ini dalam Analisis Prediktif, termasuk metode aktuaria, analisis hutan acak, pohon klasifikasi, dan pendekatan jaringan saraf. Penelitian sebelumnya menunjukkan bahwa pendekatan yang lebih sederhana yang menghasilkan bobot item yang kurang spesifik sering kali menghasilkan alat prediktif yang lebih valid, akan ditinjau, serta keterbatasan umum data administrasi sistem.
Terlepas dari perbedaan dalam pendekatan metodologis yang digunakan untuk mengembangkan analitik prediktif, kriteria umum diperlukan untuk memastikan hasil dapat diandalkan, valid, adil, dan bermanfaat. Metode dan alasan untuk memastikan keandalan antar-penilai akan dibahas, dengan beberapa diskusi tentang mengapa keandalan antar-penilai ditekankan atas keandalan antar-item. Pentingnya validitas prediktif dan metode untuk mengujinya akan diuraikan, diikuti oleh garis besar paralel ukuran dan metode kesetaraan dalam temuan. Sensitivitas dan spesifisitas adalah ukuran validitas yang ideal ketika keputusan yang diinformasikan oleh analitik prediktif bersifat dikotomi (ya atau tidak ada keputusan layanan), tetapi memiliki aplikasi terbatas ketika keputusan layanan multi-segi dengan banyak tingkat layanan yang disediakan. Nuansa kesetaraan akan dibahas, serta pentingnya menilai kesetaraan oleh kelompok budaya yang diwakili dalam populasi, wilayah geografis, dan subkelompok terkait lainnya. Terakhir, makalah dan presentasi akan menguraikan bagaimana memastikan kegunaan analitik prediktif untuk praktisi, dan bagaimana memantau penggunaan dan keakuratan alat Analitik Prediktif dalam pengaturan praktik untuk memastikan tidak ada konsekuensi yang tidak diinginkan. Contoh dari program pencegahan, layanan perlindungan anak dan lembaga layanan peradilan remaja akan dirujuk untuk menekankan dan menunjukkan perlunya pendekatan evaluasi umum ini. Diskusi terakhir akan merangkum kebutuhan dan alasan untuk kriteria umum yang ditentukan teori ilmu pencegahan dan langkah-langkah untuk mengevaluasi alat Analitik Prediktif yang digunakan dalam praktik.