Sinir Ağları

Sinir Ağları

Sinir Ağları Hakkında Bilgiler

Sinir ağları hakkında merak ettikleriniz ve daha fazlası için aşşağıdaki yazımıza göz atabilirsiniz...



1. YAPAY SİNİR AĞLARI
1.1. BİYOLOJİK SİNİR SİSTEMİ
Biyolojik sinir sistemi, merkezinde sürekli olarak bilgiyi alan, yorumlayan ve uygun bir karar üreten beynin (merkezi sinir ağı) bulunduğu 3 katmanlı bir sistem olarak açıklanır. Alıcı sinirler (receptor) organizma içerisinden ya da dış ortamlardan algıladıkları uyarıları, beyine bilgi ileten elektriksel sinyallere dönüştürür. Tepki sinirleri (effector) ise, beyinin ürettiği elektriksel darbeleri organizma çıktısı olarak uygun tepkilere dönüştürür. Şekil 1.1 de bir sinir sisteminin blok gösterimi verilmiştir.

Biyolojik sinir sisteminin blok gösterimi
Merkezi sinir ağında bilgiler, alıcı ve tepki sinirleri arasında ileri ve geri besleme yönünde değerlendirilerek uygun tepkiler üretilir. Bu yönüyle biyolojik sinir sistemi, kapalı çevrim denetim sisteminin karakteristiklerini taşır. Merkezi sinir sisteminin temel işlem elemanı, sinir hücresidir (nöron) ve insan beyninde yaklaşık 10 milyar sinir hücresi olduğu tahmin edilmektedir. Sinir hücresi; hücre gövdesi, dendriteler ve axonlar olmak üzere 3 bileşenden meydana gelir. Dendriteler, diğer hücrelerden aldığı bilgileri hücre gövdesine bir ağaç yapısı şeklinde ince yollarla iletir. Axonlar ise elektriksel darbeler şeklindeki bilgiyi hücreden dışarı taşıyan daha uzun bir yoldur. Axonların bitimi, ince yollara ayrılabilir ve bu yollar, diğer hücreler için dendriteleri oluşturur. Şekil 1.2 de görüldüğü gibi axon-dendrite bağlantı elemanı synapse olarak söylenir.

Biyolojik Sinir Hücresi ve Bileşenleri.
Synapse gelen ve dendriteler tarafından alınan bilgiler genellikle elektriksel darbelerdir ancak, synapsedeki kimyasal ileticilerden etkilenir. Belirli bir sürede bir hücreye gelen girişlerin değeri, belirli bir eşik değerine ulaştığında hücre bir tepki üretir. Hücrenin tepkisini artırıcı yöndeki girişler uyarıcı, azaltıcı yöndeki girişler ise önleyici girişler olarak söylenir ve bu etkiyi synapse belirler.
İnsan beyninin 10 milyar sinir hücresinden ve 60 trilyon synapse bağlantısından oluştuğu düşünülürse son derece karmaşık ve etkin bir yapı olduğu anlaşılır. Diğer taraftan bir sinir hücresinin tepki hızı, günümüz bilgisayarlarına göre oldukça yavaş olmakla birlikte duyusal bilgileri son derecede hızlı değerlendirebilmektedir. Bu nedenle insan beyni; öğrenme, birleştirme, uyarlama ve genelleştirme yeteneği nedeniyle son derece karmaşık, doğrusal olmayan ve paralel dağılmış bir bilgi işleme sistemi olarak tanımlanabilir.

1.2. YAPAY SİNİR AĞI (YSA)
Beynin üstün özellikleri, bilim adamlarını üzerinde çalışmaya zorlamış ve beynin nörofiziksel yapısından esinlenerek matematiksel modeli çıkarılmaya çalışılmıştır. Beynin bütün davranışlarını tam olarak modelleyebilmek için fiziksel bileşenlerinin doğru olarak modellenmesi gerektiği düşüncesi ile çeşitli yapay hücre ve ağ modelleri geliştirilmiştir. Böylece Yapay Sinir Ağları denen yeni ve günümüz bilgisayarlarının algoritmik hesaplama yönteminden farklı bir bilim alanı ortaya çıkmıştır. Yapay sinir ağları; yapısı, bilgi işleme yöntemindeki farklılık ve uygulama alanları nedeniyle çeşitli bilim dallarının da kapsam alanına girmektedir.
Genel anlamda YSA, beynin bir işlevi yerine getirme yöntemini modellemek için tasarlanan bir sistem olarak tanımlanabilir. YSA, yapay sinir hücrelerinin birbirleri ile çeşitli şekillerde bağlanmasından oluşur ve genellikle katmanlar şeklinde düzenlenir. Donanım olarak elektronik devrelerle yada bilgisayarlarda yazılım olarak gerçeklenebilir. Beynin bilgi işleme yöntemine uygun olarak YSA, bir öğrenme sürecinden sonra bilgiyi toplama, hücreler arasındaki bağlantı ağırlıkları ile bu bilgiyi saklama ve genelleme yeteneğine sahip paralel dağılmış bir işlemcidir. Öğrenme süreci, arzu edilen amaca ulaşmak için YSA ağırlıklarının yenilenmesini sağlayan öğrenme algoritmalarını ihtiva eder.
1.2.1. Yapay Sinir Ağlarının Özellikleri
Yukarıda verilen açıklamalardan, YSA‘ nın hesaplama ve bilgi işleme gücünü, paralel dağılmış yapısından, öğrenebilme ve genelleme yeteneğinden aldığı söylenebilir. Genelleme, eğitim yada öğrenme sürecinde karşılaşılmayan girişler için de YSA‘ nın uygun tepkileri üretmesi olarak tanımlanır. Bu üstün özellikleri, YSA‘ nın karmaşık problemleri çözebilme yeteneğini gösterir. Günümüzde birçok bilim alanında YSA, aşağıdaki özellikleri nedeniyle etkin olmuş ve uygulama yeri bulmuştur.

Doğrusal Olmama
YSA‘ nın temel işlem elemanı olan hücre doğrusal değildir. Dolayısıyla hücrelerin birleşmesinden meydana gelen YSA da doğrusal değildir ve bu özellik bütün ağa yayılmış durumdadır. Bu özelliği ile YSA, doğrusal olmayan karmaşık problemlerin çözümünde en önemli araç olmuştur.
Öğrenme
YSA‘ nın arzu edilen davranışı gösterebilmesi için amaca uygun olarak ayarlanması gerekir. Bu, hücreler arasında doğru bağlantıların yapılması ve bağlantıların uygun ağırlıklara sahip olması gerektiğini ifade eder. YSA‘ nın karmaşık yapısı nedeniyle bağlantılar ve ağırlıklar önceden ayarlı olarak verilemez yada tasarlanamaz. Bu nedenle YSA, istenen davranışı gösterecek şekilde ilgilendiği problemden aldığı eğitim örneklerini kullanarak problemi öğrenmelidir.
Genelleme
YSA, ilgilendiği problemi öğrendikten sonra eğitim sırasında karşılaşmadığı test örnekleri için de arzu edilen tepkiyi üretebilir. Örneğin, karakter tanıma amacıyla eğitilmiş bir YSA, bozuk karakter girişlerinde de doğru karakterleri verebilir yada bir sistemin eğitilmiş YSA modeli, eğitim sürecinde verilmeyen giriş sinyalleri için de sistemle aynı davranışı gösterebilir.
Uyarlanabilirlik
YSA, ilgilendiği problemdeki değişikliklere göre ağırlıklarını ayarlar. Yani, belirli bir problemi çözmek amacıyla eğitilen YSA, problemdeki değişimlere göre tekrar eğitilebilir, değişimler devamlı ise gerçek zamanda da eğitime devam edilebilir. Bu özelliği ile YSA, uyarlamalı örnek tanıma, sinyal işleme, sistem tanılama ve denetim gibi alanlarda etkin olarak kullanılır.

Hata Toleransı
YSA, çok sayıda hücrenin çeşitli şekillerde bağlanmasından oluştuğundan paralel dağılmış bir yapıya sahiptir ve ağın sahip olduğu bilgi, ağdaki bütün bağlantılar üzerine dağılmış durumdadır. Bu nedenle, eğitilmiş bir YSA nın bazı bağlantılarının hatta bazı hücrelerinin etkisiz hale gelmesi, ağın doğru bilgi üretmesini önemli ölçüde etkilemez. Bu nedenle, geleneksel yöntemlere göre hatayı tolere etme yetenekleri son derece yüksektir.
Donanım ve Hız
YSA, paralel yapısı nedeniyle büyük ölçekli entegre devre (VLSI) teknolojisi ile gerçeklenebilir. Bu özellik, YSA nın hızlı bilgi işleme yeteneğini artırır ve gerçek zamanlı uygulamalarda arzu edilir.
Analiz ve Tasarım Kolaylığı
YSA‘ nın temel işlem elemanı olan hücrenin yapısı ve modeli, bölüm 1.3‘de açıklandığı gibi bütün YSA yapılarında yaklaşık aynıdır. Dolayısıyla, YSA‘ nın farklı uygulama alanlarındaki yapıları da standart yapıdaki bu hücrelerden oluşacaktır. Bu nedenle, farklı uygulama alanlarında kullanılan YSA‘ ları benzer öğrenme algoritmalarını ve teorilerini paylaşabilirler. Bu özellik, problemlerin YSA ile çözümünde önemli bir kolaylık getirecektir.
YSA‘nın Uygulama Alanları
Son yıllarda YSA‘ ları, özellikle günümüze kadar çözümü güç ve karmaşık olan yada ekonomik olmayan çok farklı alanlardaki problemlerin çözümüne uygulanmış ve genellikle başarılı sonuçlar alınabilmiştir. YSA‘ ları çok farklı alanlara uygulanabildiğinden bütün uygulama alanlarını burada sıralamak zor olmakla birlikte genel bir sınıflandırma ile YSA‘ nın uygulama alanları aşağıdaki gibi 6 grup içerisinde toplanabilir.

Arıza Analizi ve Tespiti
Bir sistemin, cihazın yada elemanın düzenli (doğru) çalışma şeklini öğrenen bir YSA yardımıyla bu sistemlerde meydana gelebilecek arızaların tanımlanma olanağı vardır. Bu amaçla YSA; elektrik makinelerinin, uçakların yada bileşenlerinin, entegre devrelerin v.s. arıza analizinde kullanılmıştır.
Tıp Alanında
EEG ve ECG gibi tıbbi sinyallerin analizi, kanserli hücrelerin analizi, protez tasarımı, transplantasyon zamanlarının optimizasyonu ve hastanelerde giderlerin optimizasyonu v.s gibi uygulama yeri bulmuştur.
Savunma Sanayi
Silahların otomasyonu ve hedef izleme, nesneleri/görüntüleri ayırma ve tanıma, yeni algılayıcı tasarımı ve gürültü önleme v.s gibi alanlara uygulanmıştır.
Haberleşme
Görüntü ve veri sıkıştırma, otomatik bilgi sunma servisleri, konuşmaların gerçek zamanda çevirisi v.s gibi alanlarda uygulama örnekleri vardır.
Üretim
Üretim sistemlerinin optimizasyonu, ürün analizi ve tasarımı, ürünlerin (entegre, kağıt, kaynak v.s.) kalite analizi ve kontrolü, planlama ve yönetim analizi v.s. alanlarına uygulanmıştır.
Otomasyon ve Kontrol
Uçaklarda otomatik pilot sistemi otomasyonu, ulaşım araçlarında otomatik yol bulma/gösterme, robot sistemlerin kontrolü, doğrusal olmayan sistem modelleme ve kontrolü, elektrikli sürücü sistemlerin kontrolü v.s. gibi yaygın bir uygulama yeri bulmuştur.

1.3. YAPAY HÜCRE MODELLERİ
Yapay sinir hücreleri, YSA‘ nın çalışmasına esas teşkil eden en küçük bilgi işleme birimidir. Geliştirilen hücre modellerinde bazı farklılıklar olmakla birlikte genel özellikleri ile bir yapay hücre modeli, şekil 1.3 de görüldüğü gibi girdiler, ağırlıklar, birleştirme fonksiyonu, aktivasyon (etkinleştirme) fonksiyonu ve çıktılar olmak üzere 5 bileşenden meydana gelir. Girdiler, diğer hücrelerden ya da dış ortamlardan hücreye giren bilgilerdir. Bilgiler, bağlantılar üzerindeki ağırlıklar üzerinden hücreye girer ve ağırlıklar, ilgili girişin hücre üzerindeki etkisini belirler. Birleştirme fonksiyonu, bir hücreye gelen net girdiyi hesaplayan bir fonksiyondur ve genellikle net girdi, girişlerin ilgili ağırlıkla çarpımlarının toplamıdır. Birleştirme fonksiyonu, ağ yapısına göre maksimum alan, minimum alan ya da çarpım fonksiyonu olabilir. Aktivasyon fonksiyonu ise birleştirme fonksiyonundan elde edilen net girdiyi bir işlemden geçirerek hücre çıktısını belirleyen ve genellikle doğrusal olmayan bir fonksiyondur. Hücre modellerinde, net girdiyi artıran +1 değerli polarma girişi yada azaltan -1 değerli eşik girişi bulunabilir ve bu giriş de sabit değerli bir giriş olarak girdi vektörü (x0), katsayısı ise ( genellikle b ile gösterilir) ağırlık vektörü (W0) içerisine alınabilir. Genel olarak hücre modelleri şekil 1.3 deki gibi olmakla birlikte gerçekleştirdiği işleve göre hücreler statik yada dinamik bir davranış gösterebilirler.
Statik Hücre Modeli
Ağırlıkların sabit olduğu ve hücrede geri besleme yada geciktirilmiş sinyaller kullanılmadığı dikkate alınırsa bu hücre statik bir işlevi gerçekleştireceğinden bu model, statik hücre modeli olarak söylenebilir.

Şekil 1.3 e göre, sıfır indisler polarma girişini ve ağırlığını göstermek üzere ( yada polarma girişi birim değerli olduğundan sadece polarma ağırlı b ile gösterilmek üzere) statik hücrenin matematiksel modeli Denklem 1.1 deki gibi yazılabilir.

Denklem 1.1
Burada; W- hücrenin ağırlıklar matrisini, x- hücrenin giriş vektörünü, v- hücrenin net girişini, y- hücre çıkışını ve (.)- hücrenin aktivasyon fonksiyonunu göstermektedir. Denklem 1.1 den, x giriş vektörünün bileşenlerinin dış (geri beslemesiz) girişler olması durumunda hücrenin doğrusal olmayan statik bir işlevi gerçekleştireceği görülmektedir.
Aktivasyon Fonksiyonları
Hücre modellerinde, hücrenin gerçekleştireceği işleve göre çeşitli tipte aktivasyon fonksiyonları kullanılabilir. Aktivasyon fonksiyonları sabit parametreli yada uyarlanabilir parametreli seçilebilir. Aşağıda, hücre modellerinde yaygın olarak kullanılan çeşitli aktivasyon fonksiyonları tanıtılmıştır.
Doğrusal ve Doyumlu-doğrusal Aktivasyon Fonksiyonu
Doğrusal bir problemi çözmek amacıyla kullanılan doğrusal hücre ve YSA‘ da yada genellikle katmanlı YSA‘ nın çıkış katmanında kullanılan doğrusal fonksiyon, hücrenin net girdisini doğrudan hücre çıkışı olarak verir. Doğrusal aktivasyon fonksiyonu matematiksel olarak y=v şeklinde tanımlanabilir. Doyumlu doğrusal aktivasyon fonksiyonu ise aktif çalışma bölgesinde doğrusaldır ve hücrenin net girdisinin belirli bir değerinden sonra hücre çıkışını doyuma götürür. Doyumlu doğrusal aktivasyon fonksiyonunun denklem 1.2 de matematiksel tanımı, Şekil 1.4 de ise grafiği görülmektedir.
1.2

Şekil 1.4 Doyumlu doğrusal aktivasyon fonksiyonu
Sigmoid Aktivasyon Fonksiyonu
Şekil 1.5 de grafiği verilen çift yönlü sigmoid (tanh) fonksiyonu, türevi alınabilir, sürekli ve doğrusal olmayan bir fonksiyon olması nedeniyle doğrusal olmayan problemlerin çözümünde kullanılan YSA‘larında tercih edilir. Çift yönlü sigmoid fonksiyonun tanımı denklem 1.3 de ve tek yönlü sigmoid fonksiyonunun matematiksel ifadesi ise denklem 1.4 de verilmiştir.
1.3
1.4

Şekil 1.5 Sigmoid (tanh) aktivasyon fonksiyonu.
Sigmoid fonksiyonlarında a ve b katsayıları genellikle birim olarak alınır ancak, YSA‘ nın eğitiminde öğrenme oranını hızlandırıcı etkilerinin olduğu ve en uygun değerleri ise a=1.716 , b=2/3 olarak belirlenmiştir. Ayrıca, a ve b katsayılarının YSA‘ nın eğitim sürecinde uyarlanmasıyla sabit katsayılı fonksiyona göre daha iyi bir performans elde edilebilmektedir.
Eşik Aktivasyon Fonksiyonu
McCulloch-Pitts modeli olarak bilinen eşik aktivasyon fonksiyonlu hücreler, mantıksal çıkış verir ve sınıflandırıcı ağlarda tercih edilir, şekil 1.6. Perceptron (Algılayıcı) olarak da söylenen eşik fonksiyonlu hücrelerin matematiksel modeli aşağıdaki gibi tanımlanabilir.
1.5

Şekil 1.6 Eşik aktivasyon fonksiyonu

Diğer Aktivasyon Fonksiyonları
Yukarıda verilen ve yaygın olarak kullanılan aktivasyon fonksiyonlarının dışında YSA‘ da çeşitli aktivasyon fonksiyonları kullanılmış ve aktivasyon fonksiyonlarına göre YSA‘ nın problemleri çözebilme performansları incelenmiştir. Denklem 1.6‘da uyarlanabilir parametreli ve sigmoidal özellikli bir aktivasyon fonksiyonun matematiksel ifadesi ve Şekil 1.7 de ise grafiksel gösterimi verilmiştir.
1.6

a ve b katsayıları, YSA‘ nın eğitim sürecinde uyarlanmak üzere denklem 1.6 verilen aktivasyon fonksiyonuna sahip YSA‘ nın çeşitli problemlerin çözümünde etkin olduğu belirlenmiştir. Farklı problemlerde a1, b1 ve a2, b2 katsayıları farklı değerlere yakınsayarak YSA‘ nın eğitimini daha etkin kılmaktadır. Denklem 1.7‘de normal sigmoid fonksiyonlarına göre YSA‘ nın eğitimini hızlandırıcı etkisi olduğu belirlenen karesel sigmoid aktivasyon fonksiyonunun matematiksel ifadesi verilmiştir. Denklem 1.8‘de ise, a katsayısına bağlı olarak tanımlanan belirli bir aralıkta doğrusal ve bu aralıkların dışında sigmoidal değişen uyarlanabilir parametreli aktivasyon fonksiyonununda çeşitli problemlerin YSA ile çözümünde etkin olduğu incelenmiştir. Uyarlanabilir a katsayısı 0-1 arasında değişmektedir.
1.7
1.8
1.3.2. Dinamik Hücre Modelleri
Şekil 1.3 de verilen yapay hücre modeli, x girişlerinden y çıkışlarına doğrusal olmayan statik bir dönüşümü gerçekleştirir. Örüntü tanıma ve sınıflandırma uygulamalarında statik hücre yada YSA modelleri uygun olmakla birlikte sistem modelleme ve denetimi gibi dinamik problemlerin çözümünde dinamik hücre yada YSA yapılarının kullanılması gereklidir. Bölüm 1.4.2‘de açıklandığı gibi dinamik YSA yapıları çeşitli şekillerde elde edilebilir. Ancak, dinamik bir hücre genel olarak 2 şekilde oluşturulabilir.
a-) Hücrenin ağırlıkları dinamik bir model ( bir filtre) olarak seçilebilir.
b-) Hücrenin net girdisi dinamik bir modelden ( bir filtre) geçirilebilir.

FIR Filtre Ağırlıklı Dinamik Hücre Modeli
Hücre ağırlıkları sabit seçilmek yerine bir filtre olarak modellenerek hücrenin dinamik davranışı sağlanabilir. Böylece, herhangi bir ağırlığın dinamik davranışı, zamanın bir fonksiyonu olan ani darbe cevabı ile tanımlanabilir. Her bir hücre ağırlığının FIR filtre olarak modellendiği ayrık zamanlı hücre yapısı şekil 1.8‘de verilmiştir.

Şekil 1.8 FIR filtre ağırlıklı dinamik hücre modeli
Şekil 1.8 de verilen dinamik hücrenin matematiksel modeli aşağıdaki gibi yazılabilir.
1.9
Burada L- filtrenin sonlu bellek (gecikme) sayısı olarak tanımlanır ve ağırlıkların gerçekleştirdiği işlevler, sadece birinci hücre girişi için ayrık zamanda şekil 1.9 da verilen blok şema ile gösterilebilir.

Şekil 1.9 FIR filtre olarak tasarlanan ağırlıklar
RC-Dinamik Hücre Modeli
Diğer bir dinamik hücre modeli, ağırlıkların dinamik bir model olarak seçilmesi yerine hücrenin net girdisinin doğrusal bir dinamik modelden (filtreden) geçirildiği hücre modelidir. Filtrenin seçimi farklı olabilmekle birlikte genellikle birinci dereceden bir filtre (RC filtre) kullanılır. Bu durumda filtrenin ani darbe cevabı h0(k) ya göre hücre modeli şekil 1.10‘daki gibi çizilebilir.

Şekil 1.10 RC- dinamik bir hücre modeli
1.4. YAPAY SİNİR AĞI YAPILARI
Yapay sinir ağları, hücrelerin birbirleri ile çeşitli şekillerde bağlanmalarından oluşur. Hücre çıkışları, ağırlıklar üzerinden diğer hücrelere ya da kendisine giriş olarak bağlanabilir ve bağlantılarda gecikme birimi de kullanılabilir. Hücrelerin bağlantı şekillerine, öğrenme kurallarına ve aktivasyon fonksiyonlarına göre çeşitli YSA yapıları geliştirilmiştir. Bu bölümde, çeşitli problemlerin çözümünde kullanılan ve kabul görmüş bazı YSA yapıları ayrıntısına girmeksizin genel özellikleri ile tanıtılacaktır.
1.4.1. İleri Beslemeli Yapay Sinir Ağları (İBYSA)
İleri beslemeli YSA‘ da, hücreler katmanlar şeklinde düzenlenir ve bir katmandaki hücrelerin çıkışları bir sonraki katmana ağırlıklar üzerinden giriş olarak verilir. Giriş katmanı, dış ortamlardan aldığı bilgileri hiçbir değişikliğe uğratmadan orta (gizli) katmandaki hücrelere iletir. Bilgi, orta ve çıkış katmanında işlenerek ağ çıkışı belirlenir. Bu yapısı ile ileri beslemeli ağlar doğrusal olmayan statik bir işlevi gerçekleştirir. İleri beslemeli 3 katmanlı YSA‘ nın, orta katmanında yeterli sayıda hücre olmak kaydıyla, herhangi bir sürekli fonksiyonu istenilen doğrulukta yaklaştırabileceği gösterilmiştir. En çok bilinen geriye yayılım öğrenme algoritması, bu tip YSA ların eğitiminde etkin olarak kullanılmakta ve bazen bu ağlara geriye yayılım ağları da denmektedir. Şekil 1.11 de giriş, orta ve çıkış katmanı olmak üzere 3 katmanlı ileri beslemeli YSA yapısı verilmiştir.

Şekil 1.11 İleri beslemeli 3 katmanlı YSA.
İleri beslemeli 3 katmanlı ve çıkış katmanı doğrusal olan YSA‘ nın matematiksel modeli, x- giriş vektörünü, o- orta katman çıkış vektörün ü, y- ağ çıkış vektörünü göstermek üzere Denklem 1.10 daki gibi yazılabilir. x0 ve o0 girişleri, polarma girişleri olarak alınmıştır.
1.10
Herhangi bir problemi çözmek amacıyla kullanılan YSA da, katman sayısı ve orta katmandaki hücre sayısı gibi kesin belirlenememiş bilgilere rağmen nesne tanıma ve sinyal işleme gibi alanların yanı sıra ileri beslemeli YSA, sistemlerin tanılanması ve denetiminde de yaygın olarak kullanılmaktadır.
1.4.2. Geri Beslemeli Yapay Sinir Ağları (GBYSA)
Geri beslemeli YSA‘ da, en az bir hücrenin çıkışı kendisine ya da diğer hücrelere giriş olarak verilir ve genellikle geri besleme bir geciktirme elemanı üzerinden yapılır. Geri besleme, bir katmandaki hücreler arasında olduğu gibi katmanlar arasındaki hücreler arasında da olabilir. Bu yapısı ile geri beslemeli YSA , doğrusal olmayan dinamik bir davranış gösterir. Dolayısıyla, geri beslemenin yapılış şekline göre farklı yapıda ve davranışta geri beslemeli YSA yapıları elde edilebilir. Bu nedenle, bu bölümde bazı geri beslemeli YSA yapılarında örnekler verilecektir. Şekil 1.2 de iki katmanlı ve çıkışlarından giriş katmanına geri beslemeli bir YSA yapısı görülmektedir.

Şekil 1.12 Geri Beslemeli İki Katmanlı YSA.
Şekil 1.12 de verilen geri beslemeli YSA da giriş vektörü, r adet dış giriş ve p adet gecikmiş ağ çıkışlarından oluşmaktadır. Buna göre YSA‘ nın giriş vektörü aşağıdaki gibi yazılabilir.
1.11
Denklem 1.11 ile tanımlanan toplam n=r+p adet ağ girişine göre YSA‘ nın çıkışları Denklem 1.12 deki gibi yazılabilir.
1.12
Geri beslemeli YSA‘ları; hücreler arası yada katmanlar arası geri besleme yapılış şekline göre farklı isimlerle söylenir. Genellikle derecesi bilinmeyen dinamik sistemlerin tanılanmasında kullanılan diğer bir YSA yapısı, gizli katman hücrelerinde öz geri beslemenin kullanıldığı ve yöresel geri-küresel ileri beslemeli (YGKİ) olarak söylenen Şekil 1.13 de verilen YSA‘ dır.

Şekil 1.13 YGKI yapay sinir ağı.
YGKİ ağlar, ileri beslemeli YSA‘ nın eğitim algoritmalarında gerçekleştirilen küçük değişikliklerle eğitilebilmeleri nedeniyle ileri ve geri beslemeli YSA‘ nın ortak özelliklerini taşımaktadır. Şekil 1.13 e göre YGKİ YSA‘ nın matematiksel ifadesi aşağıdaki gibi yazılabilir.
1.13
1.14
Özellikle bozucu ve ölçülemeyen girişleri olan dinamik sistemleri modellemek amacıyla kullanılmış ve başarılı sonuçlar alınmıştır.
1.4.3. Bellek Hücreli YSA Yapıları (BHYSA)
Doğrusal olmayan sistemlerin tanılanması ve denetiminde, katmanlı YSA yapıları etkin olarak kullanılmaktadır. YSA ile sistem tanılamada, doğru model yapısının seçilebilmesi ve model girişlerinin belirlenebilmesi için sistemin giriş ve çıkışının gecikme derecelerinin bilinmesi gerekir. Sistemin derecesinin doğru belirlenememesi, modelde temsil edilemeyen dinamikler nedeniyle kararlı ve değişen dinamik şartlarda doğru bir model elde edilmesini etkiler. Bu nedenle, geri beslemeli YSA yapıları kullanılarak sistemin derecesine ihtiyaç duymayan tanı modelleri geliştirilmiştir. Şekil 1.14‘de Bellek Hücreli Yapay Sinir Ağları (BHYSA) olarak söylenen ve ağdaki her bir hücre için bir bellek hücresinin kullanıldığı katmanlı-geri beslemeli bir ağ yapısı verilmiştir.

Şekil 1.14 Bellek hücreli yapay sinir ağı ve bellekli bir hücrenin yapısı.
BHYSA‘ da her bir ağ hücresine ait olan bellek hücresi, bir ağırlık (bj) üzerinden öz geri besleme girişine ve başka bir ağırlık üzerinden (aj) ait olduğu hücrenin gecikmiş girişine göre bir çıkış üretir. Çıkış katmanında ise genellikle sadece öz geri besleme kullanılır. Buna göre BHYSA‘ nın matematiksel ifadesi aşağıdaki gibi yazılabilir.
1.15
1.16
1.17
1.18
1.19
BHYSA‘ nın doğrusal olmayan bir sistemi modelleme ve denetim yeteneği, sadece sistemin o an ki giriş ve bir önceki çıkış verileri model girişi alınarak incelenmiş ve tatmin edici sonuçlar alındığı gösterilmiştir. İleri beslemeli katmanlı YSA‘ nın sadece gizli katmanında bellek hücreleri kullanılarak bellek hücresinin, ait olduğu hücre çıkışının geçmişteki örneklerini giriş olarak aldığı ve zaman gecikmeli YSA olarak söylenen geri beslemeli ağ yapıları da incelenmiştir.
1.4.4. Radyal Tabanlı Fonksiyon Ağları ( RTFA)
Katmanlı YSA‘ nın tasarımında eğiticili geriye yayılım öğrenme algoritması bir en iyileme uygulamasıdır. Radyal tabanlı fonksiyon ağı tasarımı ise çok boyutlu uzayda eğri uydurma yaklaşımıdır ve bu nedenle RTFA‘ nın eğitimi, çok boyutlu uzayda eğitim verilerine en uygun bir yüzeyi bulma problemine dönüşür. RTFA‘ nın genellemesi ise test verilerini interpole etmek amacıyla, eğitim sırasında bulunan çok boyutlu yüzeyin kullanılmasına eşdeğerdir. Radyal tabanlı fonksiyonlar, sayısal analizde çok değişkenli interpolasyon problemlerinin çözümünde kullanılmış ve YSA‘ nın gelişmesi ile birlikte bu fonksiyonlardan YSA tasarımında yararlanılmıştır. RTFA, ileri beslemeli YSA yapılarına benzer şekilde giriş, orta ve çıkış katmanından oluşur ancak, giriş katmanından orta katmana dönüşüm, radyal tabanlı aktivasyon fonksiyonları ile doğrusal olmayan sabit bir dönüşümdür. Orta katmandan çıkış katmanına ise uyarlamalı ve doğrusal bir dönüşüm gerçekleştirilir.

Şekil. 1.15 Radyal tabanlı fonksiyon ağı
Eğri uydurma teorisi, herhangi bir çok değişkenli ve sürekli f(x) fonksiyonunu yaklaştırma ya da interpole etme problemi ile ilgilidir. İnterpolasyon problemi, k=1,2,..........N için xk - veri noktası ve dk-gerçek değerler olmak üzere F(xk)=dk interpolasyon koşulunu sağlayan F(.) fonksiyonunun bulunması olarak tanımlanır. Radyal tabanlı fonksiyonlarla doğrusal F(.); denklem 1.20 deki gibi tanımlanır.
1.20
Burada (.)- doğrusal olmayan radyal tabanlı fonksiyonu, - genellikle standart öklit uzaklığıdır. Bilinen veri noktaları, radyal tabanlı fonksiyonların merkezleri olarak söylenir. RTFA‘nın genel yapısında veri örneği kadar orta katman hücresine ve ağırlığa gerek duyulduğundan genel çözümü yakınsayan en iyi çözüm aranır. MN olmak üzere RTFA çıkışı,
1.21
Burada ci - veri noktalarından belirlenecek olan radyal tabanlı fonksiyonların merkez vektörleridir. RTFA‘da orta katman aktivasyon fonksiyonu genellikle standart öklit uzaklıklarını üstsel fonksiyondan geçiren gaussian fonksiyonudur ve aşağıdaki gibi tanımlanır.
1.22
RTFA‘da uyarlanabilecek serbest parametreler; merkez vektörleri, radyal fonksiyonların genişliği ve çıkış katman ağırlıklarıdır. Çıkış katmanı doğrusal olduğundan ağırlıklar, eğim düşme yada doğrusal en iyileme yöntemleri ile kolayca bulunabilir. Merkezler, girişler arasından rastgele ve sabit olarak seçilebilmekle birlikte RTFA‘nın performansını iyileştirmek amacıyla merkez vektörlerinin ve genişliğin uyarlanması için çeşitli yöntemler geliştirilmiştir. Merkez vektörleri, eğim düşme yöntemine göre eğiticili öğrenme algoritması ile uyarlanarak, dik en küçük kareler yöntemi ile, yada kendiliğinden düzenlemeli yöntemle giriş örneklerinden öbekleme yapılarak belirlenebilir.
1.4.5. Fonksiyonel Link Ağları (FLA)
Katmanlı YSA, orta katmandaki doğrusal olmayan aktivasyon fonksiyonları nedeniyle doğrusal olmayan öğrenme algoritmaları ile eğitilmelidir. Bu durum, öğrenme hızını yavaşlatır ve fonksiyon yaklaşımında yöresel en aza ulaşılabilir. Bu sorunlar, ağ girişlerini önce doğrusal olmayan bir dönüşümle genişlettikten sonra doğrusal çıkış katmanlı ağ yapıları ile giderilebilir. Şekil 1.16 da verilen ve Fonksiyonel Link Ağları (FLA) olarak bilinen ağlar iyi bir fonksiyon yaklaştırma performansına sahiptir. Bu yönüyle FL ağları, merkezleri ve genişliği sabit tutulan RTFA‘ na benzer ancak, FLA‘ da orta katmanın görevi ve aktivasyon fonksiyonları farklıdır.

Şekil 1.16 Fonksiyonel link ağı

FLA‘ da ağ çıkışı, orta katmanda genişletilmiş ağ girişlerinin doğrusal toplamıdır ve FLA‘nın eğitimi yalnızca çıkış katman ağırlıklarının ayarlanmasına gereksinim duyar.
1.23
Ağ girişlerini genişleten orta katman aktivasyon fonksiyonları; gibi genellikle üstel, trigonometrik yada polinomsal açılım fonksiyonlarıdır. 3. dereceden polinomsal açılım denklem 1.10 da verilmiştir.
1.24
FLA‘ nın fonksiyon yaklaştırma performansı, ağ girişlerinin yeterince genişletilmesine bağlıdır. Yeterince yüksek dereceden aktivasyon fonksiyonu içeren FLA‘ nın, herhangi bir doğrusal olmayan sürekli fonksiyonu arzu edilen doğrulukta yaklaştırabileceği belirlenmiştir. Ancak, ağ girişleri arttıkça orta katman aktivasyon fonksiyonları büyük boyutlara ulaşacak ve ağın gerçekleştirilmesi güç olacaktır. Örneğin, 20 girişli bir ağ için 3.dereceden polinomsal açılımla 1270 adet genişletilmiş giriş oluşur. Bu nedenle, arzu edilen doğruluğu sağlayacak şekilde en iyiye yakın bir alt model seçimine gereksinim duyulur. RTFA‘ na benzer şekilde çeşitli yöntemlerin yanı sıra dik en küçük kareler yöntemi FLA‘ da alt model seçiminde etkin olarak kullanılır.
1.4.6. Çağrışımlı Bellek Ağları (ÇBA)
Çağrışımlı sistemler, belirli giriş vektörlerini belirli çıkış vektörlerine dönüştüren yada ilişkilendiren sistemler olarak tanımlanır. Dolayısıyla çağrışımlı bellek ağları, eğitim sürecinde ağa verilen eğitim örneklerini ağırlıkları aracılığı ile saklar yada ezberler ve hatırlama yada genelleme sürecinde ise saklanmış örneklerin gürültülü versiyonları da ağa verilmiş olsa doğru örnekleri verebilir. Bu yönü ile ÇBA‘ ları kodlayıcılar ve kod çözücülere benzer işlevleri yerine getirirler ve beynin yapısal karakteristikleri yerine işlevsel özelliklerini benzeştiren ağ yapısı olarak söylenebilir. ÇBA‘ ları genellikle örüntü tanıma ve eldeki eksik verilerden doğru verileri ortaya çıkarma gibi uygulamalarda yaygın olarak kullanılır. Çağrışımlı bellek ağları, denklem 1.25 den görüldüğü gibi doğrusal yada doğrusal olmayan bir vektör ilişkilendirmesi gerçekleştirebilir.
1.25

Burada, x-giriş vektörü, y- çıkış vektörü ve M-bellek matrisidir. Şekil 1.17 de çağrışımlı bir bellek ağının yapısı görülmektedir. Genel olarak şekil 1.17 de verilen çağrışımlı bellek ağı, n adet vektör ilişkilendirmesi sağlayabilir ancak gerçekte, saklanabilecek vektör sayısı giriş vektör boyutundan daha azdır örneğin m
Şekil 1.17 Çağrışımlı Bellek Ağları
ÇBA‘ ları, sistem modelleme ve denetimi amacıyla da kullanılabilir. Bu tür ÇBA‘ ları, 3 katmanlı YSA yapısına benzer ancak girişler normalize edilmek üzere giriş katmanından orta katmana farklı doğrusal olmayan fonksiyonlarla bir dönüşüm gerçekleştirirler. ÇBA‘ nın performansı, ağ girişlerinden orta katman taban fonksiyonlarına gerçekleştirilen doğrusal olmayan dönüşüme bağlıdır. Orta katmandan çıkış katmanına ise doğrusal bir dönüşüm vardır. Bu nedenle, ÇBA tasarımında, ağ giriş uzayını normalize eden n boyutlu bir bölümlendirme yapısı belirlenmelidir. Girişleri normalize etme, her bir girişin en azını ve en çoğunu belirleyerek bu aralığı ağın duyarlılığına göre bölümlere ayırma işlemi olarak kısaca tanımlanabilir. Bölümlendirme yapısının tasarımı, ÇBA‘nın modelleme yeteneği, bellek gereksinimi ve öğrenme hızını etkiler.
1.4.7. Modül Yapay Sinir Ağları (MYSA)
Modül YSA‘ ları, çok sayıda YSA yapısının birleşiminden oluşur aşağıdaki gibi tanımlanır. Eğer, bir ağın yapması gereken işlemler birbirleriyle de haberleşmeksizin iki yada daha fazla modüle (alt yapıya) ayrılabiliyorsa bu ağlar modül YSA‘ ları olarak söylenir, şekil 1.18.

Şekil 1.18 Modül yapay sinir ağları
Modüllerin çıkışları, modüllerden bilgi geri beslenmemek üzere bir birleştirme birimi ile birleştirilir ve birleştirme birimi;
a-) Modül YSA çıkışını elde etmek için modül çıkışlarının nasıl birleştirilmesi gerektiğini,
b-) Hangi eğitim örneklerini hangi modülün öğreneceğini kararlaştırmalıdır.
Bu nedenle modül YSA‘ nın, böl ve yönet esasına göre çalıştığı söylenebilir ve böylece karmaşık problemler daha basit alt bileşenlerine ayrılarak çözülebilir ve sonuçta çözümler birleştirilebilir. Örneğin, süreksiz fonksiyonların tek bir YSA ile yaklaştırılması, özellikle süreksizlik noktalarında arzu edilen sonucu vermez. Böyle bir fonksiyonun süreksizlik noktaları arasındaki her bir bölgesi ayrı bir YSA modülü ile yaklaştırılarak sonuç fonksiyon, modül çıkışlarının birleşimi olarak alınabilir. Bu nedenle de, modül YSA‘ larının eğitiminde genellikle hem eğiticili hem de eğiticisiz öğrenme algoritmalarını birlikte kullanmak gerekir.

2. HOPFIELD AĞI
2.1. GİRİŞ
Hopfield ağları; 1980 lerin başlarında ilk kez, tanınmış bir fizikçi olan John Hopfield tarafından sunuldu. Content Addressable Memories (CAM) denilen sinirsel fizyolojiden harekete geçen modellerden yararlanılan Hopfield sinir ağı, beyine benzer bir şekilde belirli hafızaları veya desenleri depolayan (eğer ağ sadece bilginin bir parçasıyla sunulursa ,tüm desen yeniden elde edilebilir) basit bir yapay sinir ağıdır. Ayrıca, sistemde kararlılığın bir derecesi vardır - eğer düğümler (nöronlar) arasındaki bağlantılardan bir kaçı sunulursa, geri çağrılan hafıza o kadar da fazla bozulmuş değildir - ağ en iyi şekilde tahminde bulunup cevap verebilir. Tabiki benzer bir olay beyinde de gözlenebilir - ortalama bir yaşam boyunca bir çok nöron ölebilir fakat bireysel hafızamızın felaket bir kaybına uğramayız - beyinlerimiz bu bakımdan oldukça güçlüdür (ölürken orjinal nöronlarımızın yüzde 20‘sini kaybetme ihtimalimiz vardır).
Ağdaki düğümler gerçek nöronların basitleştirilmiş halidir - sadece iki mümkün durumdan birinde bulunma olasılıkları vardır - ateşleme veya ateşlememe. Her düğüm bütün diğer düğümlere belli bir kuvvetle bağlanmıştır. Herhangi bir anda bir düğüm durumunu (örneğin başla veya ateşlemeyi durdur) diğer düğümlerden almış olduğu girişlere göre değiştirebilir.
Eğer sisteme ateşleyen ve ateşlemeyen düğümlerden oluşmuş herhangi bir genel desenle başlarsak, bu desen zamanla değişir. Bunu görmek için ağı sadece bir ateşleyen düğümle başlatın. Bu tüm diğer düğümlere baglantıları yoluyla bir sinyal gönderir böylece kısa bir süre sonra bu nöranların bazıları da ateşler. Kısa bir zaman sonra yine bu yeni ateşleyen düğümler diğerlerinin ateşlemesine sebep olur ve farklı ateşleyen desenler oluşur. Zamanla ateşleyen desenin karmaşık, rastgele bir yolla değişebileceği düşünülebilir. Hopfield ağının onu hafıza çağırmayı taklit etmekte faydalı kılan çok önemli özelliği, yeterli süre sonunda bir miktar desenlerden desenimizi elde edeceğimizin garantisi olmasıdır. Belli düğümler her zaman “on” ve diğerleri “off” olur.Ayrıca, ağın bu sabit ateşleyen desenlerinin depolamak istediğimiz istenen hafızalarla uyduğunu saptamak mümkündür.
Bunun sebebi oldukça tekniktir fakat benzerliklerden yararlanabiliriz. Bir topun tümsekli bir yüzeyde yuvarlandığını düşünün. Topun herhangi bir andaki durumunu ağdaki düğümlerin aktivasyonunuyla temsil ediyoruz. Hafızalar, yüzeydeki tümseklerin karşılığı olan düğüm aktivitesinin özel desenleriyle temsil edilir. Böylelikle, eğer topun gitmesine izin verilirse, karmaşık bir hareket sergileyecektir. Fakat emin olmalıyız ki sonunda yüzeyin tümseklerinden birinde hareket sona erecektir. Yüzeyin yüksekliğinin topun enerjisini temsil ettiğini düşünebiliriz. Topun yüzeydeki en düşük noktayı arayarak enerjisini minimize etmeye çalışacağını biliyoruz.
Bununla birlikte, içinde hareketinin sona ereceği tümsek genellikle başladiğına en yakın olanı olur. Hafıza geri çağırmada bu, eğer ağa “sabit ateşleyen desenlerden(hafıza)” birine yaklaşık bir ateşleyen desenle başlarsak, “kendi enerjisiyle” enerji yüzeyindeki en yakın tümsekte sona erer böylelikle orjinal bütün hafızanın geri çağrılması gerçekleşir.
Hopfield ağındaki bir güzel şey de düğümler arasındaki bağlantıların hesaplanmasında basit bir yolun olmasıdır. Bu yol, istenen herhangi bir grup desenin “sabit ateşleyen desenler” yapılmasıdır. Böylelikle başlangıçta bir grup hafıza yanmış olarak elde edilir.
Sonra eğer ağa eski düğüm aktivasyonlarını sürersek bir hafızanın çağrılmasını garantilemiş oluruz. Çağrılan hafıza da başlangiç desenine en yakın olanı olur. Başka bir deyişle, ağa bozulmuş bir resim veya hafıza uygulayabiliriz ve ağ kendi kendine bütün resmi yapmaya çalışır. Tabiki giriş resmi yetersiz ise doğru olmayan bir hafızayı da çağırabilir - ağ birbirine karıştırmış olabilir (tıpkı insan hafızası gibi). Örneğin birisinin telefon numarasını hatırlamaya çalışırken bazen yanlış olanıda hatırlayabiliriz. Ağın makul bir derecede sağlam olduğunu unutmayın - eğer bir kısım bağlantı ağırlıklarını değiştirirsek geri çağrılan resmin tam olarak doğru olması çok küçük bir ihtimal olur.
Buna basit bir örnek verelim, sıfırdan dokuza kadar olan sayıları gösteren resimleri desenler olarak depolamak üzere iki boyutlu bir tablo üzerinde bir yapay sinir ağı tasarlayalım. 16*16 tablo üzerinde 256 düğüm olsun. Düğümleri yanma durumuna göre açık veya kapalı olabilen ampuller olarak düşünün.İlk önce bu resimleri hatırlaması için ağı eğitelim. Bunu yapmak için, desenlerin her birini art arda ağa sunarız ve hedef çıkışla ağ çıkışını karşılaştırarak ağ çıkışının hedef çıkışa benzerliğine göre ağırlıkları ayarlarız.
Yeni bir ağ dizaynını test etmek veya bir grup hafızayı depolamak istediğimiz her zaman böyle bir yapay sinir ağını kullanmak uygun olmaz. Bunun yerine genellikle yapılan uygun bir bilgisayar kullanarak böyle bir ağın simülasyonunu elde etmek olmalıdır. Bunu yapmak için özel olarak yapılmış bir programı kullanarak bir bilgisayarın ne yapacağını tam olarak gösteren bir bilgisayar programı yazabiliriz.
Bu programın çalışması bilgisayara göre daha fazla zaman alsa da aynı cevapları üretmesi sağlanabilir. Daha sonra bu programı yeni bir grup hafızayı depolamak veya bazı yeni görevleri yerine getirmek üzere değiştirmek kolay olacaktır.
Tipik olarak bir başlangıç süreci olan “eğitim” den sonra ağ, giriş desenini veya hafızayı tam olarak geri çağırabilir. Şimdi herhangi bir giriş desenine rasgele miktarlarda gürültü eklemek (rasgele bazı yanan birimleri açıktan kapalıya çevirerek yada tersi) ve bunu ağa sunmak mümkündür. Az seviyede gürültü için (örneğin giriş deseninin yüzde onu bozulmuş olabilir) ağ, depolanmış resmi tam olarak tanıyabilir.
Bununla birlikte yüksek seviyede gürültü için karışıklık çıkıp yanlış sayıyı çağırabilir.
Ayrıca bu ağ için bazen çok yüksek gürültü seviyelerinde giriş desenini değil de onun tersini almak mümkündür - tüm yanan durumların ters çevrilmiş (“on”lar “off”,”off”lar “on” olacak şekilde) bir desen elde edilir. Bu Hopfield ‘in özel fakat iyi anlaşılan bir durumudur. Verilen bir resmi depolamaya çalıştığımızda otomatik olarak tersini de depolarız.
Verilen bir desenin düzeltilme işlemi devam ederken bir kaç bağlantının bozulmuş olması mümkündür. Bu düğümler arasındaki bir çift bağlantının çıkarılması ve tekrar ağa sayıların sunulmasıyla açıklanabilir. Çıkış gerçekten orjinal hafızaya yakındır - sistem bu durumda sağlamdır denilebilir.
Böyle bir ağda kaç tane hafıza depolanabilir? Belli bir miktar deseni depolayabilmek için ağın ne kadar büyük olması veya kaç tane düğüm kullanılması gerekiyor? soruları sorulabilir. Hopfield ağı için cevap bilinmektedir (genellikle diğer ağlar için bu mümkün değildir…). Cevap bir resim daha depolayabilmek için yaklaşık on düğüm eklemek gerektiğidir. Fakat Daha önce belirtildiği gibi yeni hafıza bu yeni on adet düğümde depolanmaz - depolan hafıza tüm ağın bir özelliğidir - bunlar tüm iç bağlantıların ağırlıklarıyla birleştirilir. Bunlar aktivasyonu ve böylelikle de ağın fonksiyonunu tesbit etmeye yarayan bağlantılar veya yapay sinir veriyollarıdır.
Böylelikle basit bir Hopfield sinir ağınının hafıza geri çağırmalarının bazı işleyişlerini bizim bildiğimiz beynin fonksiyonu olan anlamında gerçekleştirebildiğini gördük. Fakat arada çok büyük bir fark vardır - yapay ağ için önceden belirlenmiş bir grup deseni depolayabilmek için sadce doğru bir yolla bağlantıların ağırlıklarını ayarlamak gerekmektedir. Ağa neyi hatırlayacağını öğretmek için bir öğretmene ihtiyaç vardır.Bu bir kere yapıldığında ağ desen-tanıma işlemini kendi kendine gerçekleştirebilir. Beyinde yararlı bilgileri depolaması için gerekli olan bağlantıların yapabilmesini öğretecek bir öğretmen yoktur - işlemin bu bölümü otomatik olarak gerçekleşir. Bu sisteme self-organizing denir. Yapay zekada kendi kendine organize olan zeki bir ağ tasarlamak için bütün çabaları tanımlarız.
Hopfield Ağı, bir nöronun matematiksel basitleştirilmiş halinin nasıl büyük sinir ağlarının davranış analizlerine izin verdiğini açıklamaktadır. Bütün bir sinirsel mimarinin bir özelliği üzerindeki birimlerin aktivasyonlarındaki değişikliklerin matematiksel olarak etkisini karakterize etmeye enerji denir, Hopfield (1982) lokal etkileşimler ile global davranışlar arasında önemli bağlantıyı sağlamaktadır. Bu bölümde enerji tanımını ve Hopfield mimarilerinin nasıl bir enerji yüzeyinde iniş yaptığını araştıracağız. Hopfield ağının amacına kısaca bır göz attıktan sonra mimarinin eşik aktivasyon fonksiyonu, asenkron değişiklik yapmak ve hebbian öğrenme kuralıyla beraber bir özetini çıkaracağız. Son olarak da bir Hopfield ağının hareketlerin desenlerini nasıl depolayabildiğini ve böylece kısmi veya gürültülü işaretlerden sonuç çıkarabildiğini anlatacağız.
Yere mümkün olan en düzgün şekilde sermek istediğimiz büyük plastik bir levhamız olduğunu farzedelim. Levhamızı yaymak için periyodik bir prosedür takip ederiz. İlk önce, üzerinde düşük bir nokta buluruz. Sonra bu bölümün altına kum koyarak orayı onarırız. Sonra da onarmak için başka bir düşük nokta ararız ve orayı da onarırız; levhanın yeterince düzgün olduğundan emin olana kadar buna devam ederiz. Düşük noktaları bulmak için nasıl bir yol izlemeliyiz? Belki levhanın üzerine biraz civa damlatıp onun yuvarlanmasını izleyebiliriz. Durduğu nokta düşük olandır (muhtemelen tüm levha üzerindeki en düşük nokta değildir) ve yükselmek için de iyi bir aday olabilir. Azalan bir enerji yüzeyi üzerindeki bir sistem durumu (civanin pozisyonu) fikri sinirsel ağlar alanında tekrarlanan bir yapıdadır - hem periyodların sonucu olarak aktivasyonlardaki değişiklikleri tanımlamak için hemde öğrenme sonucunda ağırlıklardaki değişiklikler için.
Şekil-2.1 bizim plastik levhamızın bir şemasını göstermektedir. Düşük noktalar attractor lardır. Damlanın içine düşeceği attractor bölgesi, onun attraction havuzudur ve damlanın izleyceği yollara da yörüngeler denir.

Şekil 2.1 Attractors, attraction havuzu ve yörüngeler
Hopfield Ağı bir miktar desenin depolanması için tasarlanmıştır böylelikle gürültülü veya kısmi ipuçlarından desenleri düzeltebilir. Bunu her deseni temsil eden attractorlara sahip bir enerji yüzeyi oluşturarak yapar. Gürültülü ve kısmi ipuçları sistemin attractorlara yakın olan durumlarıdır. Bir Hopfield Ağı peryodunda, enerji yüzeyi gürültülü desenden en yakın attractora - en yakın depolanmış deseni temsil eden - doğru kayar. Görsel olarak en çekici gösterimlerden birisi bir grup resmin depolanabilmesidir. Sonra ağa ya resimlerden birinin bir parçası (kısmi ipucu) ya da gürültülü bir resim (gürültülü ipucu) verilebilir ve bir çok iterasyon yoluyla depoladığı resimlerden birini bulgulardan çıkarmayı başarır.

Orjinal Azaltılmış Yeniden Yapım
Şekil 2.2 Hopfield ağı azaltılmış gürültülü (üstte) veya kısmi (altta) resimlerin ipuçlarından resimleri yeniden yapıyor.
Şekil-2.2 bir Hopfield ağının soldaki Chipmunk ve Bugs Bunny resimleriyle eğitilmesiyle elde edilen sonuçları göstermektedir ve sonra hem gürültülü (üstte) hem de kısmi (altta) ipuçlarıyla sunulmuştur. Sağdaki resimler Hopfied Ağı tarafından yeniden yapılmış olanlardır. Önemli derecedeki azaltmaya rağmen ağın resmi, orjinal resme çok yakın olarak yeniden yaptığına dikkat edin. Ağın yeniden yapımdaki kalitesi depolanan resimlerin benzerliklerine ve resimlerin sayısına bağlıdır.
2.2. AĞ KARAKTERİSTİKLERİ
Hopfield ağı, gerçek sayılardan oluşan vektörler olan giriş desenleri ile çalışır. Burda giriş deseni binary vektörlerden oluşmaktadır; her eleman 1 veya 0 olabilir. Bunun yerine hesaplamayı kolaylaştırmak için +1 ve -1'i kullanacağız.
Bir Hopfield ağının tüm birimleri durumlara sahiptir ve bunlar mümkün olan desen değerlerinin sayısına göre tanımlanır. Binary olması halinde, durumlar ya 1, ya da -1 dir. Sürekli olması halinde, durumlar [a,b]‘nin elemanlarıdır. Desenler, birimlerin durumlarını yaklaşık değerlere ayarlamak ve birimlere giriş vektörlerini uyarlamak suretiyle ağa giriş olarak sunulur.
Hopfield ağı, bir geriyayılımlı (BackPropagation) ağın eğitildiği gibi eğitilmez. Bunun yerine, Probabilistic Neural Network of Specht‘e benzer ve örnek desen grupları seçilir, ağın ağırlıklarının başlangıç değerlerini saptamak için kullanılır. Bu bir kere yapıldıktan sonra herhangi bir desen ağa sunulur ve bu da giriş desenine en çok benzeyen örnek desenlerden biriyle sonuçlandırılır. Çıkış deseni, birimlerin durumlarına bakılarak ağdan okunabilir.
Hopfield ağ topolojisi diğer ağlardan farklıdır. Farklı katmanlar yoktur; her birim diğer tüm birimlere bağlıdır. Ayrıca, bağlantılar çift yönlüdür (bilgi her iki yönde akar) ve simetriktir. Her iki yönde akan veriye uygulanan ve her bağlantı için hesaplanan bir ağırlık değeri vardır.
Aşağıdaki şekil, 6 birimli bir Hopfield ağını göstermektedir.

Şekil 2.3 Basit bir Hopfield ağı

2.2.1. Ağ İşlemleri
Üstte belirtildiği gibi Hopfield ağını başlatmak için, bir grup desen ağın bağlantı ağırlıkları ayarlanarak depolanır. Bir giriş deseni, o desen tarafından belirlenen seviyelere birimlerin durumlarını ayarlayarak ağa sunulur.Birimler daha sonra kararlı bir duruma ulaşana kadar birbiriyle etkileşim içine girer.Bu kararlı durum örnek desenlerden biri olacaktır ve birimlerin durumlarıyla ifade edilir.(Ağın bir kararlı duruma ulaşamaması da mümkündür fakat bir durumlar sırasına göre iterasyon uygulanır.Bu durum aşağıda göz önüne alınmıyacaktır.)
Birimler arasındaki etkileşim ağ bağlantıları üzerindeki ağırlıklar tarafından yönlendirilir. Ağırlıklar değerleri öyle ayarlamalı ki sonuç olarak elde edilen kararlı durumlar örnek desenlerden birini temsil etsin. Bu değerlerin nasıl hesaplandığı aşağıda anlatılacaktır.
Birimler arasındaki etkileşimin, diğer birimleri harekete geçiren; diğerlerini daha aktif yapan(bu aynı zamanda durumlarını ifade eden sayıları da artırır) ve bazı birimlerin de diğerlerini engellediği, diğerlerini daha az aktif yapan(durumlarını ifade eden sayıları azaltır) bir çeşit birimler arasında yarış gibi olduğu düşünülebilir. Ağırlık seçimi bu değişikliklerin sonsuza gitmemesini sağlar.
Yüzeyi düzgün olmayan fakat torbalara doğru eğimli olan bir bilardo masasını düşünün. Masanın yüzeyi iki birimli bir ağın durumlarını temsil etsin ve torbalar örnek desenlerin yerlerini göstersin. Masa üzerine bir top koyarak ağa bir giriş deseni sağlansın. Kararlı duruma ulaşana kadarki birimler arasındaki etkileşim, topun masanın eğimli yüzeyinde yuvarlanmasına ve torbaya düşmesine benzetilebilir.

2.2.2. Hopfield Ağlarının Kapasitesi
Hopfield ağının öğrenme algoritmaları için kapasite çok önemli bir karakteristiktir. Kapasite hesaplamak için çok çeşitli yollar vardır. Bunlardan en uygun olanı öğrenme algoritmasının doğasına bağlıdır.
Replica theoretic,statistical mechanics yada pseudo inverse method araştırmaları Hebbian algoritmaları için kullanılabilir. Pseudo inverse method bir çok araştırmacı tarafından kullanılmaktadır.Genelde kullanılan başka bir araştırma da olasılıkda kullanılan signal to noise‘dur.

Şekil 2.4

Beynimizin en önemli fonksiyonlarından biri yüklemek ve hafızadan tekrar geri çağırmaktır. Hem kısa hemde uzun dönemde hafızamız olmadan nasıl davranacağımızı tahmin etmek çok zordur. Kısa dönem hafızamızın olmaması birçok görevimizi çok zor kılar. Eğer aralarında mantıksal bir bağ olmazsa hayat da kesik kesik oluşmuş seri resimler dizisi haline gelir. Aynı şekilde uzun dönem hafızamızın olmaması da eski deneyimlerimizden bir şeyler öğrenememiz anlamına gelir.
Hafızalalarımız birleştirici veya içerik adreslenebilir şekilde çalışır. Bu demektir ki, bir hafıza bazı farklı biçimlerde değil bir grup belirli nöron içinde yer alır. Tüm hafızalar bir seri hafıza birimlerinden oluşur, örneğin bir insanı çeşitli yollardan hatırlayabiliriz, saçının veya gözlerinin renginden olabilir. Bu hafızalar birbirleriyle bağlantılı bir şekilde birleştirilir. Farklı algılama sensörleri beynin değişik bölgelerine yerleşmiştir. Böylece insan hafızası beynin değişik bölgelerini dağılmış olur. Hayvanlarda yapılan incelemelere göre gerçekte hafızanın geri çağrılması sırasında beynin çok çeşitli bölgelerinde beyin faaliyetlerini gerçekleştirecek bir model bulur.
Ayrıca, başlangıçta sadece bir ve

SENDE YORUM YAP!

Whatsapp