Metode pemilihan terbaik pada model regresi
Beberapa metode pemilihan model regresi terbaik dapat dijelaskan sebagai berikut :
1. All possible regression
Tiap-tiap persamaan regresi dianalisis menurut kriteria tertentu, beberapa kriteria diantaranya adalah sebagai berikut:
a. Nilai R-square
Langkah-langkahnya adalah sebagai berikut :
1. Mengelompokkan persamaan-persamaan regresi kedalam k + 1 kelompok, dengan k = jumlah variabel bebasnya
2. Menggunakan persamaan regresi dalam setiap kelompok menurut besarnya R-square yang dicapai
3. Memeriksa persamaan regresi urutan pertama dalam tiap kelompok dan melihat apakah ada suatu pola peubah yang konsisten dalam persamaan tersebut
b. Nilai S-Square
Dalam jumlah pengamatan yang besar, evaluasi terhadap MSE untuk setiap kelompok seringkali menunjukkan titik pemisah yang terbaik bagi banyaknya variabel yang sebaiknya dimasukkan dalam regresi. Jika jumlah variabel yang potensial cukup besar, begitupula untuk jumlah pengamatannya juga besar, maka distribusi dari R-square akan sangat informative.
c. Statistik Cp
Cp = SSEp/S2-(n-2p), dengan p parameter. Tingginya Cp disetiap titik sebaran juga penting sebab hal ini merupakan dugaan bagi SSE. Semakin banyak suku yang disertakan kedalam model untuk menurunkan SSEp, biasanya Cp akan semakin tinggi. Model “terbaik” ditentukan setelah memeriksa sebaran Cp. Yang dicari adalah persamaan regresi dengan nilai Cp rendah yang kira-kira sama dengan p
2. Best subset regression
Metode ini dapat memprediksi kemungkinan regresi dalam menentukan himpunan bagian “k terbaik”. Tiga kriteria dapat digunakan untuk menentukan himpunan bagian “k terbaik” diantaranya nilai R-square maksimum, nilai R-square terkoreksi maksimum dan statistic Cp mallows. Caranya adalah menentukan k kemungkinan regresi yang bisa dibuat kemudian dilihat ketiga kriteria tersebut. Nilai Cp yang rendah, R-square yang tinggi dan R-square tterkoreksi yang semakin meningkat secara signifikan merupakan kriteria pemilihan model terbaik
3. The backward elimination procedure
Penggunaan metode ini dapat dilakukan hal-hal berikut ini :
a. Menghitung persamaan regresi yang mengandung semua variabel predictor
b. Menghitung nilai F-parsial untuk setiap variabel predictor, seolah-olah variabel tersebut merupakan variabel terakhir yang dimasukkan kedalam persamaan regresi
c. Membandingkan nilai F parsial terendah (FL) dengan F dari tabel (F0)
Jika (FL) (F0) maka persamaan ini layak untuk dipilih
4. The forward elimination procedure
Variabel perdiktor yang pertama kali masuk ke dalam model adalah variabel yang mempunyai korelasi tertinggi dan significant dengan variabel respon, variabel yang masuk kedua adalah variabel yang korelasinya dengan variabel respon adalah tertinggi kedua dan masih significant, dilakukan terus menerus sampai tidak ada lagi variabel prediktor yang significant
5. The stepwise regression procedure
Penggunaan metode ini dapat dilakukan hal-hal berikut ini :
1. Menghitung korelasi antara variabel predictor dengan responnya. Sebagai variabel yang pertama kali dimasukkan kedalam regresi, missal X1 adalah yang paling berkorelasi terhadap respon.
2. Regresi variabel respon dengan X yang dipilih tadi. Jika X signifikan maka pertahankan
3. Menghitung korelasi parsial semua variabel predictor diluar regresi dengan variabel respon. Sebagai variabel kedua yang akan dimasukkan kedalam model, dipilih yang memiliki korelasi parsial tertinggi. Misalkan X2
4. Dengan nilai X1 dan X2 yang dimasukkan kedalam model, periksa signifikansi dan R2 dalam model. Jika sesuai dengan kriteria, maka pertahankan jika tidak maka dikeluarkan dan kembali ke prosedur (3) hingga didapatkan model terbaik
Pendekatan analisis varians
Pendekatan analisis varians satu arah model tetap dengan taraf faktor besar adalah suatu pendekatan terhadap distribusi normal yang dapat dijadikan metode alternatif untuk mendapatkan titik kritis dan kuasa uji pada analisis varians satu arah model tetap dengan taraf faktor besar. Seperti telah diketahui bahwa apabila ukuran suatu sampel itu besar, maka distribusi dari sampell tersebut mendekati distribusi normal. Berikut ini akan dijelaskan mengenai metode pendekatan analisis varians satu arah model tetap dengan taraf faktor besar untuk ukuran sampel sama.
- Model Matematis
- Pengujian Hipotesis
Langkah langkah sebagi berikut:
a. Perumusan hipotesa
b. Besaran-besaran yang diperlukan
Semua factor taraf yang tersedia dijadikansebagai perlakuan dengan ukuran sample pada tiap perlakuan adalah sama.
c. Statistik uji
Statistik uji yang digunakan adalah
d. Kriteria pengujian
Uji Kelinieran Regresi
Uji kelinieran regresi adalah menguji apakah model linier yang telah diambil itu betul- betul cocok dengan keadaannya ataukah tidak cocok dengan keadaannya. Jika hasil pengujian mengatakan model linier kurang cocok maka selayaknya harus diambil model lain yang non linier. Agar supaya JKres dapat dipecah , maka kita perlu menghitung jumlah kuadrat- kuadrat kekeliruan eksperimen yang disingkat dengan JK(E)
Dengan tanda jumlah yang pertama diambil untuk semua harga X. jumlah kuadrat – kuadrat untuk tuna cocok model linier(JK(TC)), didapat dengan mengurangi JKres oleh JK(E). dari daftar analisis varians untuk uji kelinieran regresi didapatkan dua hasil yaitu:
a. F = S reg / S2res untuk uji independent
b. F = S Tc / S2e yang akan dipakai untuk menguji tuna cocok regresi linier.
Sumber:
http://statistikindustri.blogspot.com/2008/05/regresi-dan-korelasi.html
http://blog.sunan-ampel.ac.id/ummiy/?p=87
