Performance of Shannon’s Maximum Entropy Distribution Under Some Restrictions: an Application on Turkey’s Annual Temperatures

Abstract

İstatistik biliminde entropi oldukça önemli bir yere sahiptir. Son yıllardaki çalışmalarda entropinin neredeyse bilimin her dalında yer aldığı görülebilir. İnformasyon teorisinde, Entropi, rassal bir değişkenin belirsizliğinin bir ölçüsüdür. Entropi içerisinde farklı birçok metot olmasına rağmen, en yaygın olan Maximum Entropy (MaxEnt) metodu, rassal değişkenlerden elde edilen kısıtlara bağlı olarak Shannon'un entropisini maksimize eder. MaxEnt dağılımı ise bu metot aracılığı ile elde edilen dağılımdır. Bu çalışmanın amacı, Türkiye'nin son 43 yıllık sıcaklık değerleri için 1, x, x2 , lnx, (lnx)2 , ln(1+x2 ) kısıtlarının kombinasyonları ile MaxEnt dağılımını hesaplamak ve bu dağılımı gerçek olasılık dağılımı ile KolmogorovSmirnov uyum iyiliği testi yardımı ile karşılaştırmaktır. Elde edilen sonuçlara göre tüm entropi dağılımlarının gerçek olasılık dağılımı ile uyum gösterdiği şeklindeki sıfır hipotezi kabul edilmektedir. Elde edilen sonuçlar ilgili tablo ve grafiklerde verilmektedir.

Entropy has a very important role in Statistics. In recent studies it can be seen that entropy started to take place nearly in every brunch of science. In information theory, entropy is a measure of the uncertainty in a random variable. While there are different kinds of methods in entropy, the most common maximum entropy (MaxEnt) method maximizes the Shannon's entropy according to the restrictions which are obtained from the random variables. MaxEnt distribution is the distribution which is obtained by this method. The purpose of this study is to calculate the MaxEnt distribution of Turkey's Annual temperatures for last 43 years under combinations of the restrictions 1, x, x2 , lnx, (lnx)2 , ln(1+x2 ) and to compare this distribution with the real probability distribution by the help of Kolmogorov-Smirnov goodness of fit test. According to the results, goodness of fit statistics accept the null hypothesis that all the entropy distributions fit with the probability distribution. The results are given in related tables and figures.