Yıl: 2021 Cilt: 23 Sayı: 68 Sayfa Aralığı: 435 - 457 Metin Dili: Türkçe DOI: 10.21205/deufmd.2021236808 İndeks Tarihi: 23-09-2021

Entropi Ölçülerinin Kestirim Başarımının İncelenmesi

Öz:
Sistemler arasındaki bilgi akışını sistem durumları kullanılarak entropiden türetilen ölçüler yardımıile nicelendirebiliriz. Bu çalışmada birbirine bağlanmış Gauss süreçlerinin ortak bilgi ölçüsü, aktarımentropisi ve iki durumlu sistemin entropisi bu amaçla kestirilmiştir. Sistemlerin bilgi ölçülerihistogram, çekirdek yoğunluk kestirimcisi, k-en yakın komşuluklu entropi kestirimcisi ve kpN entropikestirimcisinin farklı parametreleri için elde edilmiştir. Ölçülerin kestirim başarımını belirlemek içinnormalize olmuş kestirim yanlılık ve normalize olmuş standart hata değerleri hesaplanmıştır.Kestirimcilerin en iyi parametreleri bu ölçüler için saptanmıştır. k-en yakın komşuluklukestirimcisinin birbirine bağlanmış Gauss süreçleri için en iyi performansa sahip olduğugösterilmiştir. Buna ek olarak, doğrusal olmayan iki durumlu sistemin entropisi kestirilmiştir.Çekirdek yoğunluk kestirimcisi ve kpN entropi kestirimcisi bu sistem için entropi kestirimindebaşarılı olduğu, histogram ve k-en yakın komşuluklu entropi kestirimcilerinin normalize olmuşkestirim yanlılığının ve normalize olmuş standart hata oranlarının yüksek olduğu gösterilmiştir.Entropi kestirimlerinin bulunan en iyi parametreleri kullanıldığında birbirine bağlanmış dinamiksistemlerin entropi kestirimleri yüksek doğrulukla kestirilir. Aktarım entropisi bahsedilen entropiyöntemleri kullanılarak gerçek bir veri kümesi için kestirilmiş ve hipotez testleri yardımı ile aktarımentropisini kestiren yöntemlerin istatiksel önem dereceleri incelenmiştir. Bu çalışma sistemlerinbelirsizliği ve sistemler arasındaki bilgi akışını temsil eden bilgi ölçülerinin parametrelerini uygunşekilde seçmemiz için bir yol sunar.
Anahtar Kelime:

-

Öz:
Information flow between the systems can be quantified by using the measures that are derived from entropies by observing the state variables. In this study, the mutual information and the transfer entropy of the coupled Gaussian processes and the entropy of the bistable system have been estimated for this purpose. Information measures of the systems have been obtained by the histogram, kernel density estimator, k-nearest neighbor entropy estimator and kpN entropy estimator for the different parameters. Normalized bias and normalized standard error have been calculated to determine the performance of the estimation of the entropy measures. The optimal parameters of the entropy estimators of information measures have been obtained. It is shown that k-nearest neighbor entropy estimator has the best performance for the coupled Gaussian processes. Additionally, the entropy of a nonlinear system i.e. the bistable system has been estimated. While kernel density estimator and k-nearest neighbor entropy estimator have succeeded in achieving the estimation of the entropy in the bistable system, it is shown that normalized bias and normalized standard error of histogram and k-nearest neighbor method have high ratios. The entropy estimations of the coupled dynamical systems have been estimated with considerable accuracy when the optimal parameters of the entropy estimations have been used. The transfer entropy of a real dataset has also been estimated via these methods. We have discussed the statistical significance of the estimation methods of transfer entropy by using a hypothesis test. The study provides a way to determine information measures that quantify the uncertainty of the systems and information flows between the systems, accurately.
Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • [1] Shannon, C. E. 1948. A mathematical theory of communication. Bell System Technical Journal, Cilt. 27 (3), s. 379-423. DOI: 10.1002/j.1538- 7305.1948.tb01338.x
  • [2] Cover, T. M. & Thomas, J. A., 2012. Elements of information theory, John Wiley & Sons. 2nd Edition, 748s.
  • [3] Schreiber, T., 2000. Measuring information transfer. Physical review letters, Cilt 85 (2), s. 461-464. DOI: 10.1103/PhysRevLett.85.46
  • [4] Duan, P., Yang, F., Chen, T., Shah, S. L., 2013. Direct causality detection via the transfer entropy approach. IEEE transactions on control systems technology, Cilt. 21(6), s. 2052-2066. DOI: 10.1109/TCST.2012.2233476
  • [5] Wibral, M., Vicente, R., Lindner, M., 2014. Directed Information in NeuroscienceTransfer entropy in neuroscience. ss 3-36. Wibral, M., Vicente, R., Lindner, M., ed. 2014. Directed information measures in neuroscience, Springer, Berlin, Heidelberg, 224 s.
  • [6] Spinney, R. E., Prokopenko, M., Lizier, J. T., 2017. Transfer entropy in continuous time, with applications to jump and neural spiking processes. Physical Review E, Cilt. 95(3), 032319. DOI: 10.1103/PhysRevE.95.032319
  • [7] Xiong, W., Faes, L., Ivanov, P. C., 2017. Entropy measures, entropy estimators, and their performance in quantifying complex dynamics: Effects of artifacts, nonstationarity, and long-range correlations. Physical Review E, Cilt. 95(6), 062114. DOI: 10.1103/PhysRevE.95.062114
  • [8] Kraskov, A., Stögbauer, H., Grassberger, P., 2004. Estimating mutual information. Physical review E, Cilt. 69(6), 066138. DOI: 10.1103/PhysRevE.69.066138
  • [9] Lombardi, D., & Pant, S., 2016. Nonparametric knearest-neighbor entropy estimator. Physical Review E, Cilt. 93(1), 013310. DOI: 10.1103/PhysRevE.93.013310
  • [10] Gencaga, D., Knuth, K. H., Rossow, W. B., 2015. A recipe for the estimation of information flow in a dynamical system. Entropy, Cilt. 17(1), s. 438-470. DOI: 10.3390/e17010438
  • [11] Diego, D., Haaga, K. A., Hannisdal, B., 2019. Transfer entropy computation using the Perron-Frobenius operator. Physical Review E, Cilt. 99(4), 042212. DOI: 10.1103/PhysRevE.99.042212
  • [12] Wand, M. P. ve Jones, M. C., 1994. Kernel smoothing, Chapman and Hall/CRC, 224 s.
  • [13] Kozachenko, L. F. ve Leonenko, N. N., 1987. Sample estimate of the entropy of a random vector. Problemy Peredachi Informatsii, Cilt 23(2), s. 9-16.
  • [14] Zhu, J., Bellanger, J. J., Shu, H., Le Bouquin Jeannès, R., 2015. Contribution to transfer entropy estimation via the k-nearest-neighbors approach. Entropy, Cilt. 17(6), s. 4173-4201. DOI: 10.3390/e17064173
  • [15] Kaiser, A. ve Schreiber, T., 2002. Information transfer in continuous processes. Physica D: Nonlinear Phenomena, Cilt. 166(1-2), s. 43-62. DOI: 10.1016/S0167-2789(02)00432-3
  • [16] Soong T. T., 1973. Random differential equations in science and engineering, New York, U.S.A.: Academic Press, 333 s.
  • [17] Shanmugan K. S., Breipohl, A. M., 1988. Random Signals: Detection, Estimation and Analysis, 688 s.
  • [18] Mooij, J. M., Peters, J., Janzing, D., Zscheischler, J., & Schölkopf, B., 2016. Distinguishing cause from effect using observational data: methods and benchmarks. The Journal of Machine Learning Research, Cilt. 17(1), s. 1103-1204. DOI: 10.5555/2946645.2946677
  • [19] Daub, C. O., Steuer, R., Selbig, J., & Kloska, S., 2004. Estimating mutual information using B-spline functions–an improved similarity measure for analysing gene expression data. BMC bioinformatics, Cilt. 5(1), 118. DOI:10.1186/1471- 2105-5-118
  • [20] Sun, J., & Bollt, E. M., 2014. Causation entropy identifies indirect influences, dominance of neighbors and anticipatory couplings. Physica D: Nonlinear Phenomena, Cilt. 267, s. 49-57. DOI: 10.1016/j.physd.2013.07.001
  • [21] Bossomaier, T., Barnett, L., Harré, M., & Lizier, J. T., 2016. An introduction to transfer entropy. Cham: Springer International Publishing, s. 65-95.
  • [22] Kloeden, P. E., & Platen, E., 2013. Numerical solution of stochastic differential equations. Cilt. 23. Springer Science & Business Media, 636 s.
  • [23] Vicente, R., Wibral, M., Lindner, M., & Pipa, G., 2011. Transfer entropy—a model-free measure of effective connectivity for the neurosciences. Journal of computational neuroscience, Cilt. 30(1), s. 45-67. Doi: 10.1007/s10827-010-0262-3
  • [24] Lizier, J. T., Heinzle, J., Horstmann, A., Haynes, J. D., & Prokopenko, M., 2011. Multivariate informationtheoretic measures reveal directed information structure and task relevant changes in fMRI connectivity. Journal of computational neuroscience, Cilt. 30(1), s. 85-107. Doi: 10.1007/s10827-010-0271-2
APA CANLI USTA Ö, Günel S (2021). Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. , 435 - 457. 10.21205/deufmd.2021236808
Chicago CANLI USTA ÖZGE,Günel Serkan Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. (2021): 435 - 457. 10.21205/deufmd.2021236808
MLA CANLI USTA ÖZGE,Günel Serkan Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. , 2021, ss.435 - 457. 10.21205/deufmd.2021236808
AMA CANLI USTA Ö,Günel S Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. . 2021; 435 - 457. 10.21205/deufmd.2021236808
Vancouver CANLI USTA Ö,Günel S Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. . 2021; 435 - 457. 10.21205/deufmd.2021236808
IEEE CANLI USTA Ö,Günel S "Entropi Ölçülerinin Kestirim Başarımının İncelenmesi." , ss.435 - 457, 2021. 10.21205/deufmd.2021236808
ISNAD CANLI USTA, ÖZGE - Günel, Serkan. "Entropi Ölçülerinin Kestirim Başarımının İncelenmesi". (2021), 435-457. https://doi.org/10.21205/deufmd.2021236808
APA CANLI USTA Ö, Günel S (2021). Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi, 23(68), 435 - 457. 10.21205/deufmd.2021236808
Chicago CANLI USTA ÖZGE,Günel Serkan Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi 23, no.68 (2021): 435 - 457. 10.21205/deufmd.2021236808
MLA CANLI USTA ÖZGE,Günel Serkan Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi, vol.23, no.68, 2021, ss.435 - 457. 10.21205/deufmd.2021236808
AMA CANLI USTA Ö,Günel S Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi. 2021; 23(68): 435 - 457. 10.21205/deufmd.2021236808
Vancouver CANLI USTA Ö,Günel S Entropi Ölçülerinin Kestirim Başarımının İncelenmesi. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi. 2021; 23(68): 435 - 457. 10.21205/deufmd.2021236808
IEEE CANLI USTA Ö,Günel S "Entropi Ölçülerinin Kestirim Başarımının İncelenmesi." Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi, 23, ss.435 - 457, 2021. 10.21205/deufmd.2021236808
ISNAD CANLI USTA, ÖZGE - Günel, Serkan. "Entropi Ölçülerinin Kestirim Başarımının İncelenmesi". Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi 23/68 (2021), 435-457. https://doi.org/10.21205/deufmd.2021236808