Perşembe, Haziran 17, 2021

Derin Öğrenme Aktivasyon Fonksiyonları

Aktivasyon fonksiyonları sinir ağlarında önemli bir rol oynamaktadır. Daha iyi sonuç elde etmek için avantajlı ve dezavantajlı yönlerini öğrenerek oldukça önemlidir. Şimdi bu derin öğrenme aktivasyon fonksiyonları daha yakından tanıyalım.

  • Sigmoid Fonksiyonu
  • Tanh Fonksiyonu
  • Leaky ReLU Fonksiyonu
  • Maxout Fonksiyonu
  • ReLU Fonksiyonu
  • ELU Fonksiyonu
  • Basamak Fonksiyonu
  • Doğrusal Fonksiyon

Sigmoid Fonksiyonu

[0, 1] arasında çıktı üretir.

En yaygın kullanılan aktivasyon fonksiyondur.

exp() hesaplaması oldukça yavaştır.

Kod:

def sigmoid(x):
a = []
for i in x:
a.append(1/(1+math.exp(-i)))
return a

Tanh Fonksiyonu

Doğrusal olmayan fonksiyondur.

[-1, 1] arasında çıktı üretir.

Sıfır odaklıdır.

Kod:

def tanh(x, derivative=False):
if (derivative == True):
return (1 – (x ** 2))
return np.tanh(x)

Leaky ReLU Fonksiyonu

ReLU getirdiği tüm avantajlara sahiptir.

Sıfır odaklı olduğu için nöron ölümü olmaz

Kod:

def lr(x):
b = []
for i in x:
if i<0:
b.append(i/10)
else:
b.append(i)
return b

Maxout Fonksiyonu

ReLU ve Leaky ReLU’yu daha çok genişletiyor.

Maxout fonksiyonun grafiksel gösterimi yoktur.

ReLU Fonksiyonu

Hesaplama yükünün sigmoid ve tanh fonksiyonlarına göre az olması çok katmanlı ağlarda daha çok tercih edilmektedir.

Negatifse 0, pozitifse olduğu gibi geçmektedir.

Doğrusal olmayan fonksiyondur.

[0, +∞) aralığında değer alıyor.

def re(x):
b = []
for i in x:
if i<0:
b.append(0)
else:
b.append(i)
return b

ELU Fonksiyonu

[-∞, +∞) aralığında değer alıyor.

Negatif girdiler hariç ReLU ile benzerdir.

Basamak Fonksiyonu

İkili değer alan fonksiyondur.

Bu nedenle genellikle çıkış katmanı olarak kullanılır.

[-1, +1] aralarında değer alıyor.

Doğrusal Fonksiyon

Bir dizi aktivasyon değeri üretir.

Sinir hücrelerini birbirine bağlamaya izin verir.

Doğrusal fonksiyonların doğrusal bir şekilde birleşimi yine bir başka doğrusal fonksiyondur.

Grafikleri Oluşturmak İçin Aralıkların Belirlenmesi

x = np.arange(-3., 3., 0.1)
sig = sigmoid(x)
tanh = tanh(x)
relu = re(x)
leaky_relu = lr(x)

Fonksiyonları Ekrana Çizilmesi ve Gösterilmesi

line_1, = plt.plot(x,sig, label=’Sigmoid’)
line_2, = plt.plot(x,tanh, label=’Tanh’)
line_3, = plt.plot(x,relu, label=’ReLU’)
line_4, = plt.plot(x,leaky_relu, label=’Leaky ReLU’)
plt.legend(handles=[line_1, line_2, line_3, line_4])
plt.axhline(y=0, color=’k’)
plt.axvline(x=0, color=’k’)
plt.show()

Hangi Aktivasyon Fonksiyonu Kullanmalıyız?

Geçmiş döneme kadar popüler olan sigmoid fonksiyonun yerini ReLU fonksiyonu almıştır.

İlk olarak ReLU fonksiyonu kullanmanız tavsiye ediliyor.

Leakly ReLU, Maxout, ELU denenebilir olduğu belirtilmektedir.

Bu yazımızda sizleri derin öğrenme aktivasyon fonksiyonları nasıl kullanıldığı avantajlarını ve dezavantajlarını hangi fonksiyonu kullanmamız gerektiği hangi koşulda en verimli sonucu alacağımızı sizin için hazırladık. Aktivasyon fonksiyonlarının son performanslarını incelerken birçok farklı koşulun önemi olduğunu unutmamız gerekir. Matematiğin ve bu noktada türev işleminin önemine dikkat çekmek oldukça önemlidir.

Related Articles

Bir Cevap Yazın

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Stay Connected

22,037BeğenenlerBeğen
0TakipçilerTakip Et
0AbonelerAbone
- Advertisement -

Latest Articles

%d blogcu bunu beğendi: