Orijinal Araştırma

Osteoporoz ile İlgili Türkçe Web Sitelerinin Bilgi İçeriği, Okunabilirlik, Güvenilirlik ve Kalitesinin Değerlendirilmesi

10.4274/tod.galenos.2023.46872

  • Ramazan Yılmaz
  • Savaş Karpuz
  • Halim Yılmaz
  • İbrahim Solak

Gönderim Tarihi: 24.10.2022 Kabul Tarihi: 09.01.2023 Turk J Osteoporos 2023;29(2):109-116

Amaç:

Osteoporoz (OP) ile ilgili Türkçe online bilgi sunan web sitelerinin bilgi içeriği, okunabilirlik, güvenilirlik ve kalite düzeyinin incelenmesi amaçlanmıştır.

Gereç ve Yöntem:

Eylül 2022 tarihinde Google arama motoruna “osteoporoz, kemik erimesi” kelimeleri yazılarak tarama yapılmış ve ilk 20 sayfadaki web siteleri incelenmiştir. Web siteleri hazırlayıcısına göre üç gruba [grup 1= hastaneler, dernekler, resmi kurumlar; grup 2= sağlık profesyonelleri; grup 3= diğer (haber siteleri, blog, vb.)] ayrılmıştır. Okunabilirlik düzeyi Ateşman ve Bezirci-Yılmaz formülüne göre, güvenilirlik ve kalite The Journal of the American Medical Association (JAMA) skoru, Quality Criteria for Consumer Health Information (DISCERN) ölçeği, Genel Kalite skoru (GKS) ve Hekim Global Kalite değerlendirmesi (HGKS) ile yapılmıştır. Bilgi içeriği ise Türkiye Osteoporoz Derneği’nin resmi internet sitesindeki hasta bilgilendirme metinlerindeki konu başlıkları referans alınarak incelenmiştir.

Bulgular:

Çalışmaya dahil edilen 160 web sitesinin 62’si (%38,8) 1. grupta, 58’i (%36,2) 2. grupta ve 40’ı (%25,0) ise 3. grupta idi. Ateşman değerinin medyanı 48,2 (17,4-69,4) ile zor okunabilir düzeyde; Bezirci-Yılmaz değerinin medyanı 12,6 (6,0-37,7) ile lisans düzeyinde okunabilir bulunmuştur. JAMA skoru 1,0 (0-3) saptanmış olup, web sitelerin tamamına yakını (%98,7) düşük güvenilir saptanmıştır (JAMA skoru ≤2). Web sitelerinden sadece 10’unun (%5) bilgi içeriği tamdı. DISCERN skoru medyanı 29 (19-61) ile, HGKS medyanı 2 (1-5) ile yetersiz kalitede; GKS medyanı 3 (1-5) ile orta kalitede izlenmiştir. Gruplar arasında ve ilk iki sayfa ile son 18 sayfa arasında okunabilirlik, güvenilirlik ve kalite ölçekleri açısından fark saptanmamıştır.

Sonuç:

Mevcut bulgular, Türkçe web sitelerinin, OP konusunda yeterli düzeyde ve kalitede bilgi sunmaktan oldukça uzak olduğunu göstermektedir. OP tedavisi yönetiminde risk faktörlerinin bilinmesi, primer ve sekonder korunma yöntemlerinin uygulanarak tedavi açığının kapatılmasında nitelikli hasta eğitiminin önemi dikkate alındığında, elde edilen sonuçlar oldukça yetersiz boyuttadır. Hekimler ve hastalar bu durumun farkında olmalı; ilgili kurumlar ise sorunun çözümü için gerekli düzenlemeleri ve sağlık politikalarını geliştirmelidir.

Anahtar Kelimeler: Osteoporoz, internet, bilgi kalitesi, okunabilirlik, güvenilirlik

Giriş

Osteoporoz (OP), düşük kemik kütlesi ve kemik dokusunun mikromimarisinde bozulma sonucu kemik kırılganlığında ve kırık riskinde artış ile karakterize sistemik metabolik bir hastalıktır (1). OP tanısı klinik pratikte lomber omurga ve femur boyun veya femur total kemik mineral dansitesi ölçümü ile konmaktadır. Dünyada her geçen gün artan yaşam ömrü, yaşla beraber prevalansı artan OP’yi, önemli bir küresel sağlık ve ekonomik sorun haline getirmiştir (2). Türkiye’de 50 yaş üstü bireylerde OP prevalansının %20’lerin üzerinde olduğu hesaplanmış olmasına rağmen, tanı oranının oldukça düşük (%25) olduğu ve hastaların %75-90’ının farmakolojik tedavi almadığı bildirilmiştir (3,4).

OP tedavisi yönetiminde, risk faktörlerinin bilinmesi, primer ve sekonder korunma yöntemlerinin uygulanması kritik öneme sahiptir. Nitekim Kirazlı ve ark. (4) Türkiye’deki OP tedavisi yönetimine dair yayınladıkları güncel konsensus önerilerinde, medya aracılığıyla OP konusunda eğitim verilmesi gerekliliğine vurgu yapmıştır.

İnternet kullanımı gelişen teknolojik imkanlar ile son yıllarda tüm dünyada oldukça yaygınlaşmıştır. İnternet kullanıcılarının tamamına yakını bilgiye erişim sürecinde arama motorlarına yönelmektedir. Türkiye İstatistik Kurumu, Türkiye’de internet erişim imkanı olan hane oranının 2022 yılında %94,1’e çıktığını ve interneti sağlıkla ilgili bilgi aramak için kullananların oranının %70’lere ulaştığını bildirmiştir (5). Özellikle son yıllarda, ani gelişen koronavirus hastalığı-2019 pandemisinin de travmatik sosyopsikolojik etkileri, sağlık okuryazarlığının önemli bir sorun olduğunu gün yüzüne çıkarmıştır (6).

Birçok OP’li bireyin hastalığın risk faktörlerinden, korunma yollarından ve potansiyel morbidite ve mortaliteye neden olan sonuçlarından habersiz olduğu bilinmektedir (7). Bu nedenle, sağlıkla ilgili online bilgiyi oldukça yoğun olarak kullanan günümüz dünyasında, OP ile ilgili online bilgi kaynakları ile sağlanabilecek hasta eğitimi, OP’nin önlenmesinde ve tedavi sürecinin yönetilmesinde önemli bir basamak haline gelmiştir (8,9). Ne var ki, OP ile ilgili online bilginin içerik, güvenilirlik ve okunabilirlik açısından yetersiz ve endişe verici düzeyde olabileceği bildirilmiştir (9,10).  

Okunabilirlik, metinlerin okuyucular tarafından “kolay veya zor anlaşılması” durumunu ifade eden dilbilimi ile ilgili niceliksel teknik bir kavramdır. OP dahil birçok hastalıkla ilgili farklı dillerdeki online bilgilerin incelendiği araştırmalarda, içerik, güvenilirlik ve okunabilirlik düzeylerinin yetersiz olduğu bildirilmiştir (9,11). Okunabilirliğin dile ve topluma özgü teknik bir değerlendirme olduğu ve herhangi bir kontrol-denetim mekanizmasının olmadığı internet ortamındaki online bilgilerin de ülkelere göre oldukça farklılık gösterebileceği dikkate alındığında; her ülke için online bilgi içeriğinin okunabilirlik ve güvenilirlik açısından ayrı ayrı incelenmesi gerekliliği açıktır. Ne var ki, bildiğimiz kadarıyla literatürde OP ile ilgili Türkçe web sitelerinin niteliğinin incelendiği bir araştırma bulunmamaktadır. Bu çalışmanın amacı, OP ile ilgili bilgilendirme içeren Türkçe web sitelerinin okunabilirlik, güvenilirlik, kalite ve bilgi içeriği düzeylerinin incelenmesidir.


Gereç ve Yöntem

Çalışma Dizaynı ve Verilerin Toplanması

Bu araştırma internet ortamında verilerin tarandığı, tanımlayıcı, kesitsel bir çalışmadır. Çalışmaya başlamadan önce Sağlık Bilimleri Üniversitesi, Hamidiye Bilimsel Araştırmalar Etik Kurulu onayı alınmıştır (karar no: 33/18, tarih: 22.10.2021). 

Eylül 2022 tarihinde, Türkiye’de en sık (%99) kullanılan internet arama motoru olan Google’a (https://www.google.com.tr) “osteoporoz, kemik erimesi” anahtar kelimeleri yazılarak tarama yapıldı (12). Çalışma sonuçlarına olası yanıltıcı etkisini engellemek için kişisel Google hesabından çıkıldı, bilgisayarın önbelleğindeki tarama geçmişi ve çerez ayarları silindi. Online bilginin incelendiği çalışmalara benzer doğrultuda, ilk 20 sayfadaki 200 web sitesi taranmıştır (13). Hastalık hakkında bilgi içermeyen siteler, sohbet-forum siteleri, reklam siteleri, magazin siteleri, sadece resim veya video içeren siteler, akademik makale içeren siteler, çok az (<10 cümle) içeriğe sahip siteler ve tekrarlı sayfalar çalışmaya dahil edilmedi. İnternet siteleri hazırlayıcısına göre üç gruba ayrıldı: 1) Hastane, üniversite, tıp merkezi, sağlık ile ilgili derneklerin veya diğer resmi kurumların hazırladığı, 2) uzman sağlık profesyonellerinin hazırladığı, 3) diğer (haber siteleri, blog, anonim ve diğer sınıflandırılamayan).

Bilgi İçeriği

Web sitelerinin bilgi içeriği, Türkiye Osteoporoz Derneği’nin resmi internet sitesindeki “Osteoporoz hakkında bilmek istedikleriniz” başlıklı bilgilendirme metinlerindeki konu başlıkları referans alınarak incelendi (14). Buna göre; OP’nin tanımı, tanısının nasıl konduğu, semptom ve bulguları, risk faktörleri, korunma ve beslenme, egzersiz, düşmenin önlenmesi, sıklığı ve farmakolojik tedavisi hakkında bilgi verilip verilmediği incelendi. Bilgi içeriğindeki 9 madde, bir araştırmacı (R.Y.) tarafından, içeriğin akademik nitelikleri dikkate alınmaksızın, metinde bulunup bulunmamasına göre “var” veya “yok” şeklinde kaydedilmiştir.

The Journal of the American Medical Association (JAMA) Skoru

JAMA kriterleri, internetteki medikal bilginin kalitesini, güvenilirliğini ve kullanılabilirliğini değerlendirmek amacıyla kullanılan uluslararası bir skordur (15). Değerlendirmede dört ana unsur incelenmektedir: 1) Yazar bilgileri, 2) atıf (referans, telif hakkı bilgileri), 3) şeffaflık (sponsorluk, reklam, çıkar çatışması), 4) güncellik. Her bir kriterin yokluğunda 0, varlığında 1 puan verilmektedir. Toplam puan 0-4 arasında değişir. ≥3 puan “yüksek güvenilirlik”, ≤2 puan ise “düşük güvenilirlik” olarak kabul edilmektedir. Bu çalışmada, JAMA skorlaması bağımsız iki araştırmacı (R.Y., S.K.) tarafından yapıldı. Puanlamada araştırmacılar arasında tutarsızlık olduğunda, üçüncü bağımsız araştırmacı tarafından (İ.S.) incelenerek nihai karar ortak konsensüs ile verildi.

Okunabilirlik

Web sitelerinde yer alan metinlerin okunabilirlik düzeyinin hesaplanmasında, Türkçe metinlerin okunabilirlik düzeyinin belirlenmesi için özel olarak geliştirilmiş Ateşman ve Bezirci-Yılmaz okunabilirlik formülleri kullanıldı (16,17). Web sitesindeki bilgilendirme içeren metinler, sayfadaki alakasız yazılar ayıklanarak kopyalandı ve özel bir bilgisayar programına aktarılmak suretiyle okunabilirlik hesaplamaları yapıldı.

Ateşman Okunabilirlik Formülü

Ateşman formülü, İngilizce okunabilirliğin değerlendirildiği Flesch Ease of Reading formülünün Türkçeye uyarlanmasıyla geliştirilmiştir (16). Cümle uzunluğunu ve kelimelerdeki hece sayısını temel alan bir formüldür.  Bu formüle göre cümle uzunluğu ve kelimelerdeki hece sayısının artışı metinlerin okunabilirliklerini azaltmaktadır. Ateşman formülüne göre bir metin, okunabilirlik değeri 90-100 arasında ise “çok kolay”, 70-89 arasında “kolay”, 50-69 arasında “orta zor”, 30-49 arasında “zor” ve 1-29 arasında ise “çok zor” okunabilir olarak sınıflandırılmaktadır.

Bezirci-Yılmaz Okunabilirlik Formülü

Bezirci-Yılmaz okunabilirlik formülü, daha önce geliştirilmiş uluslararası okunabilirlik ölçekleri ve Türkçenin spesifik özelliklerine dayanarak 2010 yılında geliştirmiştir (17). Ateşman formülüne benzer şekilde, cümledeki kelime ve hece sayıları dikkate alınarak formüle edilmiştir. İngilizce metinlerin okunabilirlik değerlendirmesinde yaygın kullanılan “the Simple Measure of Gobbledygook” skoruna benzer şekilde, bir metni anlamak için tahmini kaç yıllık eğitime ihtiyaç olduğu ortaya konmaktadır. Hesaplama sonucunda çıkan rakam, Türkiye’deki eğitim sistemine göre hangi sınıf düzeyine denk geldiğini göstermektedir. Buna göre 1-8 arası ilköğretim, 9-12 arası orta öğretim, 12-16 arası üniversite (lisans) ve ≥16 ise akademik düzeye karşılık gelmektedir.

Quality Criteria for Consumer Health Information (DISCERN) Ölçeği

DISCERN ölçeği, Charnock ve ark. (18) tarafından tedavi seçenekleri ile ilgili metinlerin yeterliliğini ve kalitesini değerlendirmek amacı ile geliştirilmiş ve Gökdoğan (19) tarafından Türkçeye çevrilmiştir. Üç bölümde toplam 16 sorudan oluşmaktadır. İlk bölümde güvenilirlik ve bağımsızlığı sorgulayan 8 soru, ikinci bölümde tedavi seçeneklerinin yeterliliği ile ilgili 7 soru bulunmaktadır. Ayrıca değerlendirilen üçüncü bölümdeki son soru ise; diğer soruların yanıtına dayanarak, sezgisel kanaati de içine katan özet genel kaliteyi sorgulamaktadır. Son soru, tek başına, tedavi seçenekleri ile ilgili kaliteyi değerlendirmek amacıyla da kullanılabilmektedir. Her soru “hayır”dan “evet”e kadar 1-5 arası puanlanır. Cevap kesinlikle evetse 5 puan, kesinlikle hayırsa 1 puan veya ilgili soruyu karşılama oranına göre 2-4 arası puan verilir. İlk 15 sorunun toplam puanın 63-75 puan arası olması mükemmel, 51-62 arası iyi, 39-50 arası orta, 28-38 arası yetersiz, 15-27 arası çok yetersiz olarak sınıflanmaktadır (20). DISCERN skoru R.Y. tarafından puanlanmıştır.

Health on the Net Foundation Code of Conduct (HONcode) Sertifikası

HONcode, sağlıkla ilgili web sitelerinin niteliğini, güvenilirlik ve kalitesini değerlendiren, kar amacı gütmeyen uluslararası bir organizasyon (Health on the Net Foundation: Nette Sağlık Vakfı) tarafından sağlanan bir sertifikadır. Web siteleri 8 maddeden oluşan (yazarların yetkinliği, tamamlayıcılık, gizlilik, atıfta bulunma, doğrulanabilirlik, şeffaflık, sponsorluğun beyanı ve reklam politikasında dürüstlük) HONcode standartlarına sahip oldukları ve onaylanmaları halinde bu sertifikayı alabilmektedirler (21). Prosedür ve maliyeti nedeniyle Türkiye dahil birçok ülkede çok kısıtlı kullanımı olan HONcode sertifikası, internet sitelerinin ana sayfasında ve arama motorlarının araç çubuğunda otomatik olarak gözükmektedir. Bu çalışmada, tüm web siteleri HONcode sertifikası mevcudiyeti açısından (R.Y.) incelendi.

Global Kalite Skoru (GKS) ve Hekim Genel Kalite Değerlendirmesi

GKS, ilk defa Bernard ve ark. (22) tarafından web sitelerinin enflamatuvar bağırsak hastalıkları konusundaki kalitesini değerlendirmek için doğaçlama, subjektif olarak geliştirilmiş ve sonrasında başka çalışmalarda da kullanılmıştır (23,24). Genel kalitenin yanında, sayfa akışı ve kullanım kolaylığını da hesaba katan, 1-5 arası beş noktalı puanlamanın yapıldığı bir ölçektir. Bir-2 puan düşük kaliteyi, 3 puan orta kaliteyi, 4-5 puan ise yüksek kaliteyi göstermektedir. Bu araştırmada ayrıca, OP tedavisiyle en az 10 yıldır aktif olarak ilgilenen iki fizyoterapist tarafından web sitelerinin doğruluk, güncellik, görsellik, anlaşılabilirlik ve konu bütünlüğü dikkate alınarak, kendi genel kanaatleri çerçevesinde 1-5 puanlık Likert ölçeği puanlaması yapılmıştır. Hekim Genel Kalite skoru (HGKS) olarak tanımladığımız bu skorlama ve GKS bağımsız iki araştırmacı (R.Y., S.K.), tarafından puanlandı ve uyumsuzluğun olduğu durumlarda üçüncü bir araştırmacı tarafından (H.Y.) nihai karar verildi.

İstatistiksel Analiz

İstatistiksel analizler IBM® SPSS Statistics 22 yazılımı (Armonk, NY, ABD) kullanılarak yapıldı. Kategorik veriler frekans ve yüzde [n (%)], sayısal veriler medyan (minimum-maksimum) olarak verildi. Ordinal verilerin değerlendiriciler arası tutarlılığını belirlemek için Cohen’in kappa katsayısı (κ) kullanıldı. Verilerin normal dağılıp dağılmadığı Shapiro-Wilks testi ile değerlendirildi. Normal dağılım göstermeyen, bağımsız iki grup arasındaki sayısal (non-parametrik) verilerin karşılaştırmalarında Mann-Whitney U testi, kategorik değişkenlerin karşılaştırmalarında ki-kare testi kullanıldı. İkiden fazla bağımsız grupların karşılaştırılmasında, non-parametrik Kruskal-Wallis testi uygulandı. Normal dağılım göstermeyen verilerin korelasyonu için Spearman’ın rho testi kullanıldı. Tüm istatistiksel analizler çift yönlü, %5 anlamlılık sınırında ve %95 güven aralığında gerçekleştirildi.


Bulgular

İncelenen 200 web sitesinden 10’u alakasız içerik, 8’i tekrar, 8’i ticari/reklam, 5’i çok kısa, 3’ü makale, 2’si video, 2’si Facebook, 2’si ise ulaşılamayan kategoride olduğu için dışlandı ve 160 tanesi dahil edilme kriterlerine uygun bulunarak çalışmaya alındı. Hazırlayıcısına göre bu sitelerden 62’si (%38,8) 1. grupta, 58’i (%36,2) 2. grupta ve 40’ı (%25,0) 3. grupta idi (Şekil 1). Grup 2’deki sağlık profesyonelleri tarafından oluşturulan 58 web sitesinin 56’sı uzman hekimlerce, biri fizyoterapist, diğeri ise diyetisyen tarafından oluşturulmuştu. En sık jinekolog (n=23) ve ortopedistlerce (n=14) hazırlanan web sitesi olduğu gözlendi.

Çalışmaya alınan web sitelerinin içerdikleri konu başlıkları toplamının medyan değeri 6 (0-9) idi. Web sitelerinin 150’si (%94,4) OP’nin tanımı, 103’ü (%64,4) tanısının nasıl konduğu, 142’si (%88,8) semptom ve bulguları, 138’i (%86,3) risk faktörleri, 131’i (%81,9) korunma ve beslenme, 101’i (%63,1) egzersiz, 38’i  (%23,48) düşmelerin önlenmesi, 39’u (%24,4) görülme sıklığını ve 99’u (%61,9) medikal tedavi hakkında bilgi içeriyordu. En sık bulunan içerik “hastalığın tanımı”, en az bulunan içerik ise “düşmelerin önlenmesi” idi. Sadece 10 (%5,0) sitenin konu kapsamının tam olduğu gözlendi. Gruplar arasında bilgi içeriği açısından fark saptanmadı (p=0,353) (Tablo 1).

Web sitelerinin JAMA skorları medyanı 1 (0-3) idi. JAMA skoruna göre, tamamına yakını (%98,7) düşük güvenilir iken; sadece 2’si (%1,3) yüksek güvenilir (JAMA skoru ≥3) düzeye tekabül etmekteydi. Gruplar arasında JAMA skorları açısından, grup 3 lehine anlamlı fark saptandı (p<0,001) (Tablo 1). JAMA skoru puanlamasında, bağımsız değerlendiriciler arasında mükemmel düzeyde uyum gözlendi (Cohen’in κ=0,889, p=0,000). Tüm web sitelerinin DISCERN skoru medyanı 29 (19-61) ile yetersiz kalitede saptanmıştır. DISCERN ölçeği açısından gruplar arasında anlamlı fark gözlenmemiştir (p=0,23) (Tablo 1). Tüm gruplardaki HGKS medyanı 2 (1-5) ile yetersiz kalitede; GKS medyanı 3 (1-5) ile orta kalitede saptanmış olup, gruplar arasında HKGS (p=0,463) ve GKS (p=0,563) açısından anlamlı fark saptanmamıştır (Tablo 1).

Çalışmaya alınan web sitelerinin tamamının Ateşman okunabilirlik değerinin medyanı 48,2 (17,4-69,4), Bezirci-Yılmaz değerinin medyanı 12,6 (6,0-37,7) idi. Bu değerler, Ateşman formülüne göre “zor” okunabilir; Bezirci-Yılmaz formülüne göre ise Türk eğitim sistemine göre “lisans” düzeyindedir. Gruplar arasında Ateşman (p=0,109) ve Bezirci-Yılmaz (p=0,099) okunabilirlik değerleri arasında anlamlı fark saptanmadı (Tablo 1).

Ateşman formülüne göre okunabilirlik aralıkları incelendiğinde; web sitelerinin 91’i (%56,9) “çok zor veya zor”, 69’u (%43,1) ise “orta zor” okunabilir düzeyde saptanmıştır. Gruplar arasında okunabilirlik aralığı açısından fark saptanmadı (p=0,243) (Tablo 2). Çalışmaya alınan web sitelerinin hiçbirisi Ateşman okunabilirlik aralıklarına göre “kolay” ve “çok kolay” grubuna girmemiştir. JAMA ve DISCERN kalite skorları ile Ateşman ve Bezirci-Yılmaz okunabilirlik değerleri arasında korelasyon izlenmemiştir (sırasıyla r=0,083, p=0,296; r=-0,097, p=0,222; r=0,141, p=0,075; r=-0,020, p=0,806).

İlk iki sayfadaki 20 web sitesinin çoğunun (%85) hazırlayıcısının grup 1 olduğu; buna karşın, son 18 sayfadaki web sitelerinde ise daha homojen bir dağılım sergilediği gözlendi. İlk iki sayfadaki web siteleri ile son 18 sayfadaki web siteleri karşılaştırıldığında; JAMA (p=0,937), ve DISCERN (p=0,522) skorları, Ateşman (p=0,710) ve Bezirci-Yılmaz (p=0,984) okunabilirlik değerleri arasında anlamlı fark saptanmamıştır (Tablo 3). Bilgi içeriğinin ise ilk iki sayfada biraz daha fazla olduğu gözlenmiştir (p=0,043). GKS ve HGKS açısından ilk iki sayfa ile diğer 18 sayfa arasında anlamlı fark izlenmedi (sırasıyla p=0,259, p=0,174) (Tablo 3).

İncelenen web sitelerinin hiçbirinde HONcode sertifikası bulunmadığı gözlendi. GKS ve HGKS değerlendirmesi yapan değerlendiriciler arasındaki yüksek düzeyde tutarlılık mevcuttu (sırasıyla Cohen’in κ=0,830 ve 0,780; p=0,000). HGKS ile GKS ve DISCERN genel kalite skoru arasında güçlü korelasyon izlendi (sırasıyla r=0,930, p=0,000; r=0,810, p=0,000).


Tartışma

Çalışmamızın amacı OP ile ilgili bilgilendirme içeren Türkçe web sitelerindeki yazılı metinlerin okunabilirlik, güvenilirlik, kalite ve bilgi içeriğinin değerlendirilmesi idi. İncelenen 160 web sitesinin 158’i (%98,7) JAMA skoruna göre düşük güvenilirlik düzeyindeydi. Okunabilirlik açısından ise Ateşman formülüne göre zor anlaşılır, Bezirci-Yılmaz skoruna göre ise Türk eğitim sisteminde 12,6 yıllık öğrenim ile rahat okunabilir seviyeye tekabül ettiği saptanmıştır. Bilgi içeriği ve kalite parametreleri (DISCERN, GKS, HGKS) açısından da yetersiz olduğu gözlenmiştir. Bu çalışma OP ile ilgili Türkçe web sitelerindeki yazılı metinleri kapsamlı bir şekilde değerlendiren ilk çalışma olduğu için elde ettiği sonuçların önemli olduğunu düşünmekteyiz.

İnternet kullanımının özellikle son 10 yıldır hızla artmasıyla, insanlar sağlıkla ilgili birçok bilgiye internetten ulaşmaya çalışmaktadır. Büyük ölçüde arama motorları üzerinden yapılan bu süreçte, sıklıkla hastalıkların özellikleri, tanı yöntemleri, tedavi seçenekleri veya mevcut semptomlarının hangi hastalık olabileceği noktalarında bilgi edinmeye çalışılmaktadır (25). Web tabanlı sağlık bilgilerinin toplumun hastalıklarla baş etme yeteneklerini geliştirebileceği, kaygı ve korkularını azaltarak yaşam kalitelerini iyileştirebileceği bildirilmiş olsa da, yeterli ve doğru içeriği sahip, güvenilir ve anlaşılabilir bilgiye ulaşmak oldukça zor gözükmektedir (11,26). Bilgi kapsamı kısıtlı, kalitesi düşük ve bireysel olmayan genel tıbbi bilgiler doğru yorumlanamadığı için yanıltıcı ve kafa karıştırıcı olmakta, uyumsuz davranış ve kaygıya yol açabilmektedir (27).

OP tedavisi yönetiminde hasta eğitiminin kritik rolü bilinmektedir. Tüm dünyada olduğu gibi Türkiye’de de farklı nedenlerden ötürü farmakolojik OP tedavisi almayan birçok birey olduğu bildirilmiştir. Bu açığın kapatılması için başta OP tedavisinde tüm dünyada en sık reçete edilen bifosfonatlar olmak üzere tedavi hakkında yeterli bilincin yerleştirilmesine ihtiyaç vardır (28). Son yıllarda yapılmış çalışmalarda, prostat, meme kanseri, ovaryal yetmezlik, erken menopoz gibi osteoporotik hasta gruplarının online bilgi kaynaklarına ulaşmayı tercih ettikleri bildirilmiş ve online bilgi sunumundaki yetersizliğin yeni geliştirilecek kaliteli online bilgi araçları ile giderilmesi gerekliliğine vurgu yapılmıştır (4,29,30). Çalışmamızdaki bulgularda ise, bu ihtiyacın karşılanmasından uzak bir şekilde, tedavi gerekliliği ve seçeneklerinin kısıtlı anlatıldığı, yaklaşık yarısının bifosfonatlardan bahsetmediği ve düşmelerin önlenmesi gibi kritik bir hususa dahi değinilmediği gözlenmiştir.

Wallece ve ark. (9) en sık kullanılan üç arama motorundaki (Google, Yahoo, MSN) OP ilgili online bilgi sunan İngilizce web sitelerinden ilk 30’unun içindeki toplam 27 farklı web sitesini bilgi içeriği, uygunluk, okunabilirlik ve kalite açısından incelemiştir. Bilgi kapsamının çoğunlukla yeterli (%78) olmasına rağmen web sitelerinin ancak %48’inin yeterli uygunluk kriterlerini karşıladığı ve DISCERN ölçeğine göre 35,7±18,0 puan ile yetersiz güvenilirlik düzeyinde olduklarını bildirmiştir. Ayrıca metinlerin okunabilirlik düzeyi, ortalama Amerikan erişkin popülasyonunun eğitim düzeyi olan 8 yılın çok üstünde 11,5±2,8 (7-17 arası) saptanmıştır.

Güncel bir çalışmada, Yurdakul ve ark. (31) OP ile ilgili İngilizce bilgi sunan Google’daki ilk 200 web sitesini okunabilirlik ve güvenilirlik açısından incelemiştir. JAMA skoru ortalaması 2,2±1,19 olan web sitelerinin %37,7’si JAMA skoruna göre yüksek güvenilirlik düzeyinde saptanmıştır. Web sitelerinin %12,6’sında HONcode sertifikası bulunduğu gözlenmiştir. Okunabilirlik düzeyi [Flesch-Kincaid Grade (FKG)] ortalaması 8,81±2,21 ile önerilen düzeyin altında, kolay okunabilir saptanmıştır. İlk iki sayfa ile sonraki sayfalar arasında JAMA ve FKG skorları arasında fark gözlenmemiş ancak kalitesi yüksek olan web sitelerinin daha zor okunabilir oldukları gözlenmiştir.

Çalışmamızda OP ile ilgili Türkçe web sitelerinin sadece iki tanesinin JAMA skoruna göre yüksek güvenilir saptanmış olması, İngilizce web siteleriyle kıyaslanamayacak kadar düşük JAMA kriterlerinin mevcudiyetini göstermektedir. Bunun yanında, beklendiği üzere hiçbir web sitesinde HONcode sertifikasyonu saptanmamış olması, online bilgi sağlayıcıların uluslararası kalite standartlarından kopuk bilgi paylaşımı yaptığını göstermektedir. HONcode sertifikasyonu prosedür ve maliyet nedeniyle Türkiye’deki internet sitelerinde yer bulamasa da JAMA kriterlerindeki sadece yazar bilgileri ve tarih/güncellik parametrelerinin bile çoğunlukla belirtilmemiş olması güvenilirlik noktasında somut zaaf oluşturmaktadır.

Dinçel ve ark. (32) OP ile ilgili YouTube’daki Türkçe videoların, JAMA skoru (1,66±0,66), GKS (1,99±1,10) ve DISCERN ölçeği (25,02±6,63) açısından düşük güvenilir ve kalitede olduğunu ortaya koymuştur. Bilgi içeriğinin 1-29 puan aralığında değişebilen “Osteoporoza Spesifik Skor” ile değerlendirildiği bu çalışmada, bilgi kapsamının (8,92±5,92) yetersiz olduğu saptanmıştır. Bu çalışmadaki JAMA skorunun çalışmamızdaki değerlere göre daha yüksek çıkmasının, videolarda sunucu bilgileri ve tarihin doğal olarak bulunmasına bağlı olduğunu düşünmekteyiz. Türkçe videoların aksine, Onder ve ark. (33) modifiye DISCERN ve GKS ile değerlendirdiği İngilizce videoların %48’inin kalitesini yüksek (GKS ≥4), %34’ünü ise orta kalitede (GKS =3) saptamıştır. Eski çalışmalara paralel doğrultuda, üniversitelerin ve profesyonel organizasyonların videolarının en yüksek güvenilirlik ve kaliteye sahip olduğunu vurgulamışlardır. Ancak, doğru içeriğe sahip kaliteli videolar ile yanıltıcı ve kalitesiz videolar arasında izlenme sayısı, video güç indeksi, beğeni gibi etkileşim parametreleri açısından fark saptanmamıştır.

2022 yılında Birleşmiş Milletler Kalkınma Programı tarafından yayınlanan İnsani Gelişme Raporu’na göre Türkiye’deki ortalama öğrenim süresi 8,7 yıldır (34). Çalışmamızda, Bezirci-Yılmaz okunabilirlik formülüne göre elde edilen düzey, ülke öğrenim süresi ortalamasının yaklaşık 4 yıl üzerinde bulunmuştur. Ortalama öğrenime sahip bireylerce metinlerin okunabilirliğinin çok zor olduğunu gösteren bu sonuç, Türkçe online bilgi kaynaklarındaki okunabilirliğin değerlendirildiği başka çalışmalarla örtüşmekle beraber, İngilizce web sitelerinin okunabilirliğine göre de oldukça yetersiz gözükmektedir (13,31).

İnternette arama motorları aracılığıyla yapılan sorgulamalarda, genellikle ilk iki sayfadaki en iyi 20 sonucun tıklandığı bilinmektedir (35). Bu davranış modeli dikkate alınarak, ilk iki sayfadaki web siteleri diğer sayfalardaki web siteleri ile kıyaslanmış ve ilk iki sayfadaki sitelerin büyük çoğunluğunun (%85) grup 1 olduğu gözlenmiştir. Bu heterojen dağılımın, hastanelerin bilinirliğine ve daha güvenilir bilgi kaynağı olabileceği kanaatine bağlı olduğunu düşünmekteyiz. Ne var ki beklenilenin aksine ilk iki sayfadaki sitelerin güvenilirlik, kalite ve okunabilirlik seviyeleri sonraki sayfalarla benzer düzeyde çıkmıştır. Basavakumar ve ark. (36) fibromiyalji ile ilgili 10 sitenin JAMA skoru ve bilgi kapsamını sonraki 138 siteye göre hafif yüksek, okunabilirlik düzeyini ise daha kolay anlaşılır saptamıştır. OP ile ilgili İngilizce web sitelerindeki durum ise, elde ettiğimiz sonuçlara benzer şekilde, ilk 10 web sitesi ile kalan 141 web sitesi arasında JAMA skoru ve okunabilirlik açısından fark gözlenmediği şeklinde bildirilmiştir (31).

Çalışmamızda sağlık profesyonellerinin hazırladığı web sitelerinin, incelenen parametreler açısından, diğer gruplardan farksız olması, şaşırtıcı ancak literatür ile uyumsuz değildir (31). Bu sitelerde akademik yazım ilkelerinin aksine yazar bilgileri ve tarihin bile belirtilmemiş olması JAMA skorunun oldukça düşük çıkmasına neden olmuştur. Ayrıca, bilgilendirme metinlerinin, daha önce yazılmış online kaynaklardan yararlanılarak hazırlanmış olması farklı site tiplerinde benzer sonuçlar elde edilmesine yol açmış olabilir. Türkiye’de OP reçetelerinin çok yüksek bir yüzdesinin fizik tedavi ve rehabilitasyon (FTR) uzman hekimlerince düzenlenmesine rağmen, web sayfalarının en sık jinekolog ve ortopedistlerce hazırlanmış olması dikkat çekicidir (4). Bu durumun, FTR hekimlerinin daha çok kurumsal hastanelerde çalışıyor olmasına bağlı olduğu düşünülebilir. En az bulunan bilgi içeriğinin düşmelerin önlenmesi olması da yine bu durumla ilişkili olabilir.

Güncel bir araştırmada, Türkiye’deki fibromiyalji ile ilgili online bilginin okunabilirlik, içerik ve kalitesi dört farklı arama motorundaki (Google, Yandex, Bing ve Yahoo) toplam 80 web sitesi üzerinde incelenmiştir (37). Çalışmamızdaki sonuçlara benzer şekilde web sitelerinin bilgi içeriğinin zayıf olduğu, DISCERN skoruna göre düşük kalitede (medyan =30), Ateşman skoruna göre ise hemen hemen zor anlaşılır (medyan =55,5) saptanmıştır. JAMA skoru ve Bezirci-Yılmaz’a göre karşılık gelen eğitim düzeyi ise incelenmemiştir. Çalışmamıza benzer şekilde web site tipleri arasında kalite ve okunabilirlik açısından fark gözlenmemiştir. Ülkemizde Google dışındaki arama motorlarının oldukça az kullanıldığı (12), kullanıcıların genellikle ilk 2 sayfadaki web sitelerini tıkladığı hususları dikkate alındığında bu çalışmamızdaki sonuçların, online spesifik bir hastalığı değerlendirme açısından daha kapsamlı ve güçlü olduğunu düşünmekteyiz.

Online bilginin kalitesinin incelendiği çalışmalarda, değerlendirme ölçütlerinin farklılığı ve konunun doğasından kaynaklanan subjektif yanı dikkati çekmektedir. DISCERN ölçeğinin öncelikle tedavi seçeneklerine odaklanmış olması, JAMA skorunun ise içeriğin kapsamı, görselliği ve doğruluğunu yansıtmamasının önemli birer eksiklik olduğu açıktır. Ayrıca FKG, Ateşman formülü gibi okunabilirlik formülleri de dil bilgisinin teknik yönünü ele alarak hesaplama yapmaktadır. Dolayısıyla, metinlerdeki kelimelerin teknik ve tıbbi terimlerden oluşması hesaplanan okunabilirlik değerini etkilememektedir. Başka bir ifadeyle, tıbbi terimlerin yoğun kullanıldığı anlaşılabilmesi zor bir akademik metin, cümlelerdeki kelime ve hece sayısı az ise okunabilirlik formüllerine göre kolay okunabilir düzeyde hesaplanabilir. İşte bu kısıtlılıklara, yapılmış çalışmalarda çoğunlukla değinilmediği veya minimal vurgu yapıldığı düşünüldüğünde (24,31,32,35,37); bu araştırma için kullandığımız doğruluk, görsellik, anlaşılabilirlik unsurlarını da dikkate alan HGKS’nin bu noktadaki eksiklikleri tamamlayabileceğini düşünüyoruz. Çalışmamızda web sitelerinin HGKS medyanı 2 (1-4) ile yetersiz düzeyde saptanmış; DISCERN genel puanı ve GKS gibi standart ölçüm parametreleriyle de güçlü pozitif korelasyon göstermiştir.

Çalışmanın Kısıtlılıkları

Çalışmanın en önemli limitasyonu incelemenin belirli bir zaman dilimine ait olmasıdır. Kesitsel bir değerlendirme ile internetteki değişen trendler veya arama motorlarının farklı kullanıcılara farklı en iyi sonuçları sunabileceği göz ardı edilemez. Bu limitasyon, araştırmanın oldukça yakın bir tarihte yapılan online tarama sonuçlarını ortaya koyması açısından bakıldığında ise güçlü yönü haline gelmektedir. Yukarıda tartışıldığı üzere okunabilirlik formüllerinin mutlak surette “anlaşılabilirliği” ifade etmediği açıktır ve anlaşılabilirliğin sağlıklı bir şekilde değerlendirilebilmesi için farklı ölçeklere ihtiyaç vardır. Bir başka kısıtlılık ise, her ne kadar JAMA skoru ile güvenilirlik açısından kritik parametreler incelenmiş olsa da bu ve benzeri araştırmalar metodolojik yönüyle online bilginin akademik doğruluğunu ve kanıta dayalı güncelliğini kesin bir şekilde ortaya koyabilmekten uzaktır. Bunlarla beraber bu çalışmanın, kapsamlı bir taramanın güncel sonuçlarını, farklı standart değerlendirme ölçekleri ile birlikte, ilgili alandaki uzman hekimlerin bağımsız skorlama ve kişisel değerlendirmelerini de ortaya koyması bakımından literatüre önemli katkısının olabileceğini düşünüyoruz.


Sonuç

Bu çalışmada; OP ile ilgili bilgi sunan online Türkçe web sitelerinin içerik açısından kısmen yetersiz, zor okunabilir, kalitesiz ve güvenilir olmadığı saptanmıştır. Özellikle tedavi seçenekleri ile ilgili bilgi içeriğinin yetersizliği, kafa karışıklığı ve gereksiz anksiyeteye yol açarak maladaptif davranışlara neden olabilir. OP’nin korunma ve tedavisinde hasta eğitiminin temel bir unsur olduğu ve günümüzde online bilgiye erişim eğiliminin yüksek olduğu düşünüldüğünde, elde edilen sonuçlar bu husustaki eksikliği ortaya koymaktadır. Hastaların, mevcut web sitelerinin, kendilerine faydalı olabilecek yeterlilik ve güvenilirlikten uzak olduğu gerçeğini bilmeleri sağlanmalıdır. Sağlık ile ilgili resmi kurumların ve online bilgi sunan diğer kaynakların, bu veriler çerçevesinde gerekli düzenlemeleri yaparak OP konusunda güvenilir ve kullanılabilir web siteleri oluşturulmasına ihtiyaç vardır.

Etik

Etik Kurul Onayı: Çalışmaya başlamadan önce Sağlık Bilimleri Üniversitesi, Hamidiye Bilimsel Araştırmalar Etik Kurulu onayı alınmıştır (karar no: 33/18, tarih: 22.10.2021). 

Hasta Onayı: Çalışma hasta onamı gerektirmemektedir.

Hakem Değerlendirmesi: Editörler kurulu ve editörler kurulu dışında olan kişiler tarafından değerlendirilmiştir.

Yazarlık Katkıları

Cerrahi ve Medikal Uygulama: R.Y., S.K., Konsept: R.Y., S.K., İ.S., H.Y., Dizayn: R.Y., İ.S., Veri Toplama veya İşleme: R.Y., S.K., Analiz veya Yorumlama: R.Y., S.K., H.Y., İ.S., Literatür Arama: R.Y., Yazan: R.Y., S.K.

Çıkar Çatışması: Yazarlar tarafından çıkar çatışması bildirilmemiştir.

Finansal Destek: Yazarlar bu çalışma için herhangi bir finansal destek almadıklarını bildirmiştir.


Resimler

  1. Siris ES, Adler R, Bilezikian J, Bolognese M, Dawson-Hughes B, Favus MJ, et al. The clinical diagnosis of osteoporosis: a position statement from the National Bone Health Alliance Working Group. Osteoporos Int 2014;25:1439-43.
  2. Kanis JA, Cooper C, Rizzoli R, Reginster JY; Scientific Advisory Board of the European Society for Clinical and Economic Aspects of Osteoporosis (ESCEO) and the Committees of Scientific Advisors and National Societies of the International Osteoporosis Foundation (IOF). European guidance for the diagnosis and management of osteoporosis in postmenopausal women. Osteoporos Int 2019;30:3-44.
  3. Tuzun S, Eskiyurt N, Akarirmak U, Saridogan M, Johansson H, McCloskey E, et al. The impact of a FRAX-based intervention threshold in Turkey: the FRAX-TURK study. Arch Osteoporos 2012;7:229-35.
  4. Kirazlı Y, Atamaz Çalış F, El Ö, Gökçe Kutsal Y, Peker Ö, Sindel D, et al. Updated approach for the management of osteoporosis in Turkey: a consensus report. Arch Osteoporos 2020;15:137.
  5. Türkiye İstatistik Kurumu. Hanehalkı Bilişim Teknolojileri (BT) Kullanım Araştırması. 2022. https://data.tuik.gov.tr/Bulten/Index?p=Hanehalki-Bilisim-Teknolojileri-(BT)-Kullanim-Arastirmasi-2022-45587
  6. Paakkari L, Okan O. COVID-19: health literacy is an underestimated problem. Lancet Public Health 2020;5:e249-50.
  7. Taghvaei R, Dimitrova D, Karaman M, Sehouli J. Knowledge and understanding risk factors and preventive measures for osteoporosis in women: results of a survey in 502 women with and without a migration background. BMC Musculoskelet Disord 2022;23:824.
  8. Piao HH, He J, Zhang K, Tang Z. A cross-sectional study to estimate associations between education level and osteoporosis in a Chinese postmenopausal women sample. Int J Clin Exp Med 2015;8:21014-23.
  9. Wallace LS, Turner LW, Ballard JE, Keenum AJ, Weiss BD. Evaluation of web-based osteoporosis educational materials. J Womens Health (Larchmt) 2005;14:936-45.
  10. Hutchinson N, Baird GL, Garg M. Examining the Reading Level of Internet Medical Information for Common Internal Medicine Diagnoses. Am J Med 2016;129:637-9.
  11. Daraz L, Morrow AS, Ponce OJ, Beuschel B, Farah MH, Katabi A, et al. Can Patients Trust Online Health Information? A Meta-narrative Systematic Review Addressing the Quality of Health Information on the Internet. J Gen Intern Med 2019;34:1884-91.
  12. Türkiye Arama Motorları Pazar Payı: 12 Aylık Trend. https://www.similarweb.com/tr/engines/turkey/
  13. Solak İ, Kozanhan B, Ay E. Readability of Turkish Websites Containing COVID-19 Information. Anatol J Family Med 2021;4:57–62.
  14. Türkiye Osteoporoz Derneği, Osteoporoz hakkında bilmek istedikleriniz. http://osteoporoz.org.tr/osteoporozhakkinda/Osteoporoz-Hakk%C4%B1nda.html
  15. Silberg WM, Lundberg GD, Musacchio RA. Assessing, controlling, and assuring the quality of medical information on the Internet: Caveant lector et viewor--Let the reader and viewer beware. JAMA 1997;277:1244-5.
  16. Ateşman E. Türkçede okunabilirliğin ölçülmesi. Dil Dergisi 1997;58:71–4.
  17. Bezirci B, Yılmaz A. A software library for measurement of readability of texts and a new readability metric for Turkish. DEÜ FMD 2010;12:49-62.
  18. Charnock D, Shepperd S, Needham G, Gann R. DISCERN: an instrument for judging the quality of written consumer health information on treatment choices. J Epidemiol Community Health 1999;53:105-11.
  19. Gökdoğan F. Yazılı materyallerin kalitesinin gözden geçirilmesi. Onkoloji Hemşireliği Derneği Bülteni 2003:8-16.
  20. Śledzińska P, Bebyn MG, Furtak J. Quality of YouTube Videos on Meningioma Treatment Using the DISCERN Instrument. World Neurosurg 2021;153:e179-86.
  21. Boyer C, Gaudinat A, Hanbury A, Appel RD, Ball MJ, Carpentier M, et al. Accessing Reliable Health Information on the Web: A Review of the HON Approach. Stud Health Technol Inform 2017;245:1004-8.
  22. Bernard A, Langille M, Hughes S, Rose C, Leddin D, Veldhuyzen van Zanten S. A systematic review of patient inflammatory bowel disease information resources on the World Wide Web. Am J Gastroenterol 2007;102:2070-7.
  23. Moon H, Lee GH. Evaluation of Korean-Language COVID-19-Related Medical Information on YouTube: Cross-Sectional Infodemiology Study. J Med Internet Res 2020;22:e20775.
  24. Kocyigit BF, Akaltun MS, Sahin AR. YouTube as a source of information on COVID-19 and rheumatic disease link. Clin Rheumatol 2020;39:2049-54.
  25. Bujnowska-Fedak MM, Węgierek P. The Impact of Online Health Information on Patient Health Behaviours and Making Decisions Concerning Health. Int J Environ Res Public Health 2020;17:880.
  26. Scull A. Dr. Google Will See You Now: Google’s Health Information Previews and Implications for Consumer Health. Med Ref Serv Q 2020;39:165-73.
  27. Muse K, McManus F, Leung C, Meghreblian B, Williams JM. Cyberchondriasis: fact or fiction? A preliminary examination of the relationship between health anxiety and searching for health information on the Internet. J Anxiety Disord 2012;26:189-96.
  28. Fuzzell LN, Richards MJ, Fraenkel L, Stark SL, Politi MC. What information can the lay public find about osteoporosis treatment? A descriptive study coding the content and quality of bisphosphonate information on the internet. Osteoporos Int 2019;30:2299-310.
  29. Goh M, Nguyen HH, Khan NN, Milat F, Boyle JA, Vincent AJ. Identifying and addressing osteoporosis knowledge gaps in women with premature ovarian insufficiency and early menopause: A mixed-methods study. Clin Endocrinol (Oxf) 2019;91:498-507.
  30. des Bordes JKA, Suarez-Almazor ME, Volk RJ, Lu H, Edwards B, Lopez-Olivo MA. Online Educational Tool to Promote Bone Health in Cancer Survivors. J Health Commun 2017;22:808-17.
  31. Yurdakul OV, Kilicoglu MS, Bagcier F. Evaluating the reliability and readability of online information on osteoporosis. Arch Endocrinol Metab 2021;65:85-92.
  32. Dinçel YM, Can E, Amiry M, Genç E, Çağlar S, Morina M, et al. Osteoporoz Hakkındaki Türkçe Videolarda Hangi Bilgiler Verilmektedir ve YouTube Güvenilir ve Kaliteli Bilgiler Sağlıyor mu: YouTube Videolarının Sistematik Bir Analizi. Turk J Osteoporos 2022;28:118-24.
  33. Onder ME, Onder CE, Zengin O. Quality of English-language videos available on YouTube as a source of information on osteoporosis. Arch Osteoporos 2022;17:19.
  34. United Nations Development Programme (UNDP) 2022 Human Development Index. https://www.undp.org/turkiye/press-releases/new-undp-report-issues-urgent-call-solidarity-halt-global-reversal-development-gains
  35. Önder K, Topatan Z. İnternet Arama Motorları Piyasasına Yönelik Yoğunlaşma Analizi: Türkiye Örneği. International Journal Of Education Technology and Scientific Researches 2018;3:28-42.
  36. Basavakumar D, Flegg M, Eccles J, Ghezzi P. Accuracy, completeness and accessibility of online information on fibromyalgia. Rheumatol Int 2019;39:735-42.
  37. Otu M, Karagözoğlu Ş. Fibromiyalji Sendromu ile İlgili Türkiye’deki Bilgi Sunan Web Sitelerinin Okunabilirlik, İçerik ve Kalite Açısından İncelenmesi. Turk J Osteoporos 2022;28:19-25.