SMS Spam Detection
Klasik NLP ve Multinomial Naive Bayes ile inşa edilmiş, uçtan uca bir SMS spam sınıflandırıcısı.
- Durum
- Arşiv
- Tarih
- Bağlam
- Öğrenme
- Dil
- Python
- Yıldız
- 0
- Son commit
- 2026-01-30
- Kod elle
- Yazı destekli
Bu repo, klasik Doğal Dil İşleme (NLP) teknikleri ve Multinomial Naive Bayes algoritması kullanılarak inşa edilmiş uçtan uca bir SMS spam tespit sisteminin implementasyonunu içeriyor.
Bu projenin amacı, bir metin sınıflandırma sisteminin tüm yaşam döngüsünü anlamak ve implement etmek: ham metin ön işlemeden özellik çıkarımına, model eğitimine, görülmemiş veri üzerinde değerlendirmeye ve sonraki kullanım için modelin kalıcı hale getirilmesine kadar.
Bu proje, olasılıksal modellemeye, yorumlanabilirliğe ve temel NLP prensiplerine odaklanmak için kasıtlı olarak derin öğrenme kullanılmadan implement edildi.
Problem Tanımı
Spam mesajlar, genellikle phishing girişimleri, finansal dolandırıcılıklar veya yanıltıcı teklifler içeren istenmeyen mesajlardır. Makine öğrenmesi perspektifinden spam tespiti, ikili (binary) bir metin sınıflandırma problemidir:
- Sınıf 1: Spam
- Sınıf 0: Spam Değil (Ham)
Bir SMS mesajı verildiğinde model, mesajın her sınıfa ait olma olasılığını tahmin eder ve daha yüksek posterior olasılığa sahip etiketi atar.
Veri Kümesi
Model, spam veya ham olarak etiketlenmiş SMS mesajlarından oluşan SMS Spam Collection
Dataset üzerinde eğitildi.
Her veri noktası şunları içerir:
label: spam veya hammessage: ham SMS metni
Metin Ön İşleme
Naive Bayes tamamen token frekanslarına ve olasılık tahminlerine dayandığı için, metin ön işleme model performansını doğrudan etkiler. Tüm ön işleme adımları, hem eğitim hem de inference sırasında tutarlı biçimde uygulanır.
Ön İşleme Adımları
-
Küçük Harfe Çevirme
- Kelime büyük/küçük harf kullanımını normalleştirir (ör.
FREE,Free,free→free) - Kelime haznesi boyutunu azaltır
- Kelime büyük/küçük harf kullanımını normalleştirir (ör.
-
Seçici Karakter Filtreleme
- Aşağıdakiler dışındaki tüm karakterleri kaldırır:
- küçük harfler
- boşluk karakterleri
$ve!
- Bu semboller korunur çünkü spam mesajlarda genellikle anlamsal bir değer taşırlar
- Aşağıdakiler dışındaki tüm karakterleri kaldırır:
-
Tokenization
- Mesajlar, NLTK’nin tokenizer’ı kullanılarak ayrı token’lara bölünür
-
Stop Word Kaldırma
- Gürültüyü azaltmak için yaygın İngilizce stop word’ler kaldırılır
-
Stemming
- Token’ları kök biçimlerine indirgemek için Porter Stemmer kullanılır
- Bu, morfolojik varyantları birleştirir ve istatistiksel verimliliği artırır
-
Token’ları Yeniden Birleştirme
- Vectorizer’larla uyumluluğu korumak için token’lar tekrar tek bir string’de birleştirilir
Özellik Çıkarımı
Ham metin, makine öğrenmesi modelleri tarafından doğrudan işlenemez; bu yüzden mesajlar bir Bag-of-Words gösterimi kullanılarak sayısal özellik vektörlerine dönüştürülür.
Yöntem
- Vectorizer:
CountVectorizer - Özellik Tipleri:
- Unigram’lar (tekil kelimeler)
- Bigram’lar (ardışık kelime çiftleri)
Bigram’ların dahil edilmesi, özellik uzayını yönetilebilir tutarken modelin sınırlı bir yerel
bağlamı (ör. free prize) yakalamasını sağlar.