Entropy = Gak Pasti

Apa Itu Entropy?

Entropy adalah konsep yang digunakan untuk mengukur ketidakpastian, kekacauan, atau keteraturan dalam berbagai sistem, baik dalam fisika, teori informasi, maupun matematika. Konsep ini pertama kali diperkenalkan oleh Rudolf Clausius pada abad ke-19 dalam konteks termodinamika untuk menjelaskan perubahan energi dalam sistem tertutup. Seiring perkembangan ilmu pengetahuan, entropy juga digunakan dalam bidang lain seperti teori informasi yang diperkenalkan oleh Claude Shannon.

Secara sederhana, entropy dapat dipahami sebagai ukuran ketidakpastian atau ketidakteraturan dalam suatu sistem. Misalnya, dalam fisika, entropy mengukur seberapa “acak” atau tidak teraturnya suatu sistem fisik, sementara dalam teori informasi, entropy mengukur jumlah informasi atau ketidakpastian yang ada dalam sebuah pesan

Berikut adalah penjelasan terkait beberapa jenis entropy, mulai dari Shannon Entropy hingga beberapa konsep lainnya, disertai dengan rumus, penjelasan, dan kegunaannya.

1. Shannon Entropy

Shannon Entropy adalah salah satu jenis entropy yang digunakan dalam teori informasi, pertama kali diperkenalkan oleh Claude Shannon pada tahun 1948. Konsep ini digunakan untuk mengukur ketidakpastian atau informasi yang terkandung dalam suatu pesan atau sinyal. Shannon entropy sering disebut sebagai “entropy informasi” karena mengukur jumlah informasi yang diperlukan untuk menyandikan suatu pesan.

Penjelasan Rumus

Rumus Shannon Entropy mengukur ketidakpastian dari suatu variabel acak $X$ dengan menghitung nilai rata-rata dari informasi yang diperlukan untuk memprediksi hasil xix_ixi​. Semakin besar nilai entropy, semakin besar ketidakpastian, yang berarti lebih banyak informasi diperlukan untuk memprediksi hasil. Shannon entropy digunakan di berbagai bidang, seperti kompresi data, kriptografi, dan komunikasi digital untuk meminimalkan jumlah informasi yang perlu dikirimkan atau disimpan (Hong, 2009).

Kegunaan

• Kompresi Data: Shannon Entropy digunakan untuk menentukan batas bawah dari kompresi data yang mungkin. Semakin rendah entropy, semakin mudah data dikompresi tanpa kehilangan informasi.
• Kecerdasan Buatan (AI): Shannon Entropy membantu dalam mempelajari distribusi probabilistik data untuk pengambilan keputusan optimal dalam pembelajaran mesin.
• Kekacauan Informasi: Menilai jumlah ketidakpastian dalam sistem komunikasi untuk memastikan efisiensi.

2. Boltzmann Entropy

Boltzmann Entropy adalah jenis entropy dalam konteks termodinamika yang diperkenalkan oleh Ludwig Boltzmann. Konsep ini digunakan untuk mengukur tingkat ketidakteraturan (disorder) atau jumlah mikrostatus yang mungkin dari suatu sistem termodinamika.

Penjelasan Rumus

Boltzmann Entropy mengukur jumlah cara suatu sistem dapat diatur secara mikroskopis, di mana tiap susunan mikroskopis disebut sebagai “mikrostatus.” Jika sebuah sistem dapat diatur dengan lebih banyak cara (lebih banyak mikrostatus), maka entropy sistem akan lebih tinggi, yang berarti lebih banyak ketidakteraturan dalam sistem tersebut. Konsep ini sangat relevan dalam fisika statistik (Goldstein & Lebowitz, 2003).

Kegunaan

• Termodinamika: Digunakan untuk menjelaskan sifat-sifat sistem yang mendekati kesetimbangan termodinamika.
• Fisika Statistik: Digunakan untuk menggambarkan hubungan antara mikroskopis (status mikro) dan makroskopis (keadaan yang diamati).

3. Tsallis Entropy

Tsallis Entropy adalah generalisasi dari entropy Boltzmann-Gibbs yang diperkenalkan oleh Constantino Tsallis pada tahun 1988. Konsep ini relevan untuk sistem yang tidak seimbang atau yang menampilkan perilaku kompleks, seperti sistem dengan korelasi jangka panjang atau memori.

Penjelasan Rumus

Tsallis Entropy memungkinkan penghitungan entropy untuk sistem di mana distribusi probabilitasnya tidak bersifat eksponensial, seperti pada sistem dengan hubungan jangka panjang atau distribusi daya. Parameter $q$ mengontrol “non-additivity” dari sistem, yang berarti entropy tidak bertambah secara linear ketika dua sistem independen digabungkan (Biró et al., 2014).

Kegunaan

• Fisik Sistem Kompleks: Digunakan untuk memodelkan fenomena kompleks seperti turbulensi, ekonomi, dan sistem ekologi yang tidak mengikuti hukum termodinamika klasik.
• Perhitungan Fraktal: Memungkinkan analisis dalam sistem fraktal dan multifraktal di mana distribusi probabilitasnya tidak seragam.

4. Rényi Entropy

Rényi Entropy adalah generalisasi lain dari Shannon Entropy, diperkenalkan oleh Alfréd Rényi. Ini digunakan untuk situasi di mana kita ingin memberikan bobot yang berbeda pada hasil probabilistik yang berbeda.

Penjelasan Rumus

Rumus ini bergantung pada parameter $\alpha$, yang dapat digunakan untuk menekankan probabilitas yang lebih besar atau lebih kecil. Rényi Entropy menjadi Shannon Entropy ketika $\alpha =1$. Untuk nilai $\alpha$ yang lebih besar dari 1, hasil dengan probabilitas lebih tinggi diberi bobot lebih besar dalam perhitungan, sedangkan $\alpha$ yang lebih kecil dari 1 memberi bobot lebih pada hasil yang kurang umum (Biró et al., 2014).

Kegunaan

• Teori Informasi Kuantum: Rényi Entropy digunakan untuk menghitung informasi dalam sistem kuantum yang kompleks.
• Teori Pembelajaran Mesin: Berguna dalam analisis dataset yang memiliki distribusi tidak merata.

Entropy adalah konsep penting yang digunakan untuk mengukur ketidakpastian, ketidakteraturan, atau informasi dalam berbagai disiplin ilmu. Mulai dari termodinamika yang mengukur kekacauan dalam sistem fisik hingga teori informasi yang mengukur ketidakpastian dalam pesan, entropy memberikan wawasan penting tentang bagaimana sistem berperilaku dan berinteraksi.

Dengan adanya variasi konsep entropy seperti Shannon entropy, Boltzmann entropy, Tsallis entropy, dan Rényi entropy, konsep ini menjadi alat yang sangat berguna dalam memahami berbagai fenomena mulai dari fisika, biologi, komunikasi, hingga sistem kompleks lainnya.