Showing posts with label Türkçe. Show all posts
Showing posts with label Türkçe. Show all posts

Thursday, January 22, 2026

Google Gemma 3: Türkçe Destekli Açık Kaynak Yapay Zeka Devrimi

Google Gemma 3: Türkçe Destekli Açık Kaynak Yapay Zeka Devrimi

Merhabalar arkadaşlar, hoş geldiniz. Bugün sizlerle Google DeepMind tarafından yayınlanan ve yapay zeka dünyasında, özellikle açık kaynak modeller tarafında büyük ses getiren Gemma 3 modelini derinlemesine inceleyeceğiz.

Biliyorsunuz, açık kaynak dünyası hızla gelişiyor ancak Türkçe dil desteği konusunda her zaman bazı kısıtlarla karşılaşıyorduk. Gemma 3, 128.000 token bağlam penceresi (context window) ve resmi Türkçe desteği ile oyunun kurallarını değiştiriyor olabilir. Peki, 4 milyar parametreli "küçük" bir model, 27 milyarlık abileriyle veya ChatGPT gibi devlerle yarışabilir mi? Gelin, teknik detaylara ve performans testlerine birlikte bakalım.

Bu konuyu uygulamalı olarak görmek, kodları adım adım takip etmek ve modelin canlı performans testlerini izlemek için videoyu izlemenizi şiddetle öneririm:

Bu Eğitimde Neler Öğreneceksiniz?

  • Gemma 3'ün teknik mimarisi ve getirdiği yenilikler (Multimodal yapı).
  • Modelin Türkçe dil performansı, mantık ve muhakeme yetenekleri.
  • 4B ve 27B modellerin donanım gereksinimleri (VRAM tüketimi).
  • Açık kaynak modellerin yerel bilgisayarda çalıştırılması.
  • RAG ve Agent (İş Gören) sistemlerinde kullanım potansiyeli.

Gemma 3 Nedir ve Neden Önemli?

Google'ın "Gemma" serisi, aslında kapalı kaynak olan Gemini modellerinin teknolojisiyle üretilmiş, ağırlıkları (weights) halka açılmış versiyonlarıdır. Gemma 3 ile birlikte Google, sadece ağırlıkları değil, teknik raporu da yayınlayarak şeffaflık konusunda önemli bir adım attı.

Bu modelin en çarpıcı özelliği Multimodal (Çok Modlu) olmasıdır. Yani modele hem metin hem de görsel verip, metin çıktısı alabilirsiniz. Ayrıca daha önceki versiyonlarda 8K olan bağlam penceresi, Gemma 3 ile 128K seviyesine çıkarılmış. Bu, yaklaşık olarak yüzlerce sayfalık bir kitabı tek seferde modele verip üzerinde konuşabileceğiniz anlamına gelir.

Türkçe Performansı ve Tokenizer Devrimi

Videodaki testlerimizde gördük ki, Gemma 3 özellikle Türkçe konusunda çok başarılı. Bunun arkasındaki temel sebep, Google'ın Tokenizer yapısını değiştirmesidir. Eski modeller genellikle İngilizce ağırlıklı eğitildiği için Türkçe kelimeleri çok fazla parçaya bölüyor ve anlam bütünlüğünü kaybedebiliyordu. Gemma 3, 140 dili kapsayan özel eğitim setiyle Türkçeyi "anadil" seviyesine yakın bir akıcılıkta işliyor.

Mantık ve Muhakeme Testleri

4 milyar parametreli (4B) versiyonu 4-bit quantize edilmiş haliyle test ettik. Şaşırtıcı sonuçlar aldık:

  • Oğuz Atay Özeti: "Tutunamayanlar" kitabından ağır bir paragrafı başarıyla ve felsefi derinliği koruyarak özetledi.
  • Mantık Soruları: Klasik "kuruyan gömlek" veya "otobüs durağı" sorularında, kendisinden çok daha büyük modellerin (hatta bazen GPT-4 seviyesindeki modellerin) düştüğü tuzaklara düşmedi. Kendi hatasını fark edip düzeltebilen bir yapı sergiledi.

Kodlama ve Teknik Kurulum

Gemma 3'ü yerel bilgisayarınızda çalıştırmak için Unsloth, Hugging Face Transformers veya Ollama kullanabilirsiniz. 4B modeli çalıştırmak için yaklaşık 7-8 GB VRAM (veya RAM) yeterli oluyor. Bu da ortalama bir oyun bilgisayarında veya Apple Silicon işlemcili bir Mac'te rahatlıkla çalışabileceği anlamına gelir.

Aşağıda, modeli Python ortamında `unsloth` kütüphanesi ile nasıl yükleyebileceğinize dair basit bir örnek paylaşıyorum:

from unsloth import FastLanguageModel
import torch

# 4-bit quantization ile modeli yükle (Daha az bellek kullanımı için)
max_seq_length = 2048
dtype = None 
load_in_4bit = True 

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-3-4b-it-bnb-4bit", 
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
)

# Inference (Tahmin) Moduna Al
FastLanguageModel.for_inference(model)

# Prompt Formatı
messages = [
    {"role": "user", "content": "Bana Python'da bir QuickSort algoritması yazabilir misin?"},
]

inputs = tokenizer.apply_chat_template(
    messages,
    tokenize = True,
    add_generation_prompt = True,
    return_tensors = "pt",
).to("cuda")

# Çıktı Üret
outputs = model.generate(input_ids = inputs, max_new_tokens = 1024, use_cache = True)
print(tokenizer.batch_decode(outputs)[0])

Bu kod bloğu, Unsloth kütüphanesinin optimize edilmiş yapısını kullanarak modeli çok daha hızlı ve az bellek tüketerek çalıştırmanızı sağlar.

Sıkça Sorulan Sorular (SSS)

1. Gemma 3 tamamen ücretsiz mi?
Evet, Gemma 3 açık ağırlıklı (open weights) bir modeldir. Ticari kullanım şartlarına (Google'ın lisansına) uymak kaydıyla projelerinizde ücretsiz kullanabilirsiniz.

2. ChatGPT yerine kullanılabilir mi?
Günlük sohbetler için ChatGPT daha geniş bir genel kültüre sahip olabilir. Ancak veri gizliliğinin önemli olduğu şirket içi projelerde, RAG (Retrieval Augmented Generation) sistemlerinde ve yerel "Agent" (İş Gören) uygulamalarında Gemma 3 harika bir alternatiftir.

3. Hangi donanıma ihtiyacım var?
4 milyar parametreli (4B) modeli çalıştırmak için 8GB RAM/VRAM yeterlidir. 27 milyar parametreli (27B) versiyonu verimli çalıştırmak için ise RTX 3090 veya 4090 gibi en az 24GB VRAM'e sahip kartlar önerilir.

Sonuç

Özetle, Google Gemma 3, özellikle Türkçe doğal dil işleme projeleri geliştirmek isteyen mühendisler, öğrenciler ve araştırmacılar için muazzam bir fırsat. Açık kaynak olması, yerelde çalışabilmesi ve mantıksal çıkarım yeteneğinin boyutuna göre çok yüksek olması onu öne çıkarıyor. Projelerinizde API maliyetlerinden kurtulmak ve verinizi dışarı çıkarmadan işlemek istiyorsanız, Gemma 3'ü mutlaka test etmelisiniz.

Daha Fazlasını Keşfedin:
Yapay zeka, Büyük Dil Modelleri (LLM) ve yazılım dünyasındaki en güncel gelişmeleri teknik derinlikle öğrenmek için Murat Karakaya Akademi YouTube kanalına abone olun.

Kanalı Ziyaret Et & Abone Ol 🚀

#MuratKarakayaAkademi #Gemma3 #YapayZeka #LLM #DeepLearning #Python

Llama 4: 10 Milyon Token, MoE Mimarisi ve Gerçekler

Llama 4: 10 Milyon Token, MoE Mimarisi ve Gerçekler

Merhaba değerli okuyucularım. Meta AI tarafından geliştirilen ve yapay zeka dünyasında büyük ses getiren Llama 4 modelleri nihayet duyuruldu. Özellikle "Scout" ve "Maverick" gibi kod adlarıyla piyasaya sürülen bu yeni nesil modeller, kağıt üzerinde muazzam yetenekler vaat ediyor. Ancak bir akademisyen ve mühendis gözüyle baktığımızda, bu modeller gerçekten anlatıldığı kadar erişilebilir ve "açık kaynak" mı? Bu yazımda, Llama 4'ün teknik detaylarını, Mixture of Experts (MoE) mimarisini ve Türkiye'deki kullanıcılar için ne anlama geldiğini laboratuvar notlarım eşliğinde sizlerle paylaşacağım.

Konuyu daha derinlemesine kavramak ve canlı yayında yaptığım performans testlerini (kodlama, mantık ve Türkçe kültürü soruları) adım adım takip etmek için aşağıdaki eğitim videosunu mutlaka izlemenizi öneririm:

Llama 4 Ailesi: Devlerin Savaşı

Meta AI bu sefer karşımıza tek bir modelle değil, devasa bir aileyle çıktı. Ancak baştan uyarayım; "küçük" dediğimiz model bile aslında bir dev. Modelleri şöyle sınıflandırabiliriz:

  • 🚀 Llama 4 Scout (Öncü): Yaklaşık 110 milyar parametreye sahip. En dikkat çekici özelliği 10 Milyon Token Context Window (Bağlam Penceresi) sunması. Bu, yaklaşık 8.000 sayfalık bir kitabı tek seferde hafızasında tutabilmesi demek.
  • 🦅 Llama 4 Maverick (Başıbozuk): 400 milyar parametreli devasa bir model. Özellikle karmaşık akıl yürütme (reasoning) görevleri için tasarlandı.
  • 🦖 Behemoth (Dev): Henüz eğitimi devam eden, yaklaşık 2 trilyon parametreli "canavar" model. Diğer modeller aslında bu dev modelin ara çıktılarından damıtılarak (distillation) oluşturulmuş durumda.

Teknolojik Altyapı: Mixture of Experts (MoE) Nedir?

Llama 4 ile Meta, mimari bir değişikliğe giderek Mixture of Experts (Uzmanların Karışımı) yapısını benimsedi. Daha önceki Llama modelleri (Dense) tek bir büyük blok halindeyken, Llama 4'te işler değişti.

Bu yapıyı şöyle hayal edebilirsiniz: Elinizde her işten anlayan tek bir kişi yerine, her biri farklı konuda (fizik, kodlama, edebiyat vb.) uzmanlaşmış 16 kişilik bir ekip var. Sisteme bir soru geldiğinde, bir "Router" (Yönlendirici) devreye giriyor ve soruyu en iyi çözebilecek uzmana iletiyor.

Neden Önemli?

  • Verimlilik: 110 milyar parametrenin hepsi aynı anda çalışmıyor. Örneğin Scout modelinde, her token üretimi için sadece belirli uzmanlar aktif oluyor. Bu da inference (çıkarım) hızını artırıyor.
  • Uzmanlaşma: Her bir "uzman" sinir ağı, veri setinin belli bir bölümünde daha yetkin hale geliyor.

Ev Kullanıcısı İçin Kötü Haber: Donanım Gereksinimleri

Videoda da detaylıca bahsettiğim gibi, "Açık Kaynak" olması bu modeli hemen indirip evdeki bilgisayarınızda çalıştırabileceğiniz anlamına gelmiyor. Gerçekler biraz acı:

Scout modeli (110B) bile, 8-bit quantization ile çalıştırılsa dahi tek bir Nvidia RTX 4090'a (24GB VRAM) sığmaz. Bu modeli ayağa kaldırmak için en az:

- Minimum 70-80 GB VRAM (Sadece modeli yüklemek için)
- 10 Milyon Token Context kullanacaksanız çok daha fazlası (KV Cache şişmesi)
- Pratikte: Nvidia H100 (25-30 Bin Dolar) veya çoklu GPU kurulumu

Eğer bir KOBİ veya bireysel geliştiriciyseniz, şu aşamada Gemma 2 (27B veya 9B) gibi daha optimize ve tek GPU dostu modelleri tercih etmeniz çok daha mantıklı olacaktır.

Lisans ve Erişim Sorunları: Gerçekten "Açık" mı?

Yayında canlı olarak denediğimizde gördük ki, Llama 4'ü indirmek Hugging Face üzerinden tek tıkla mümkün olmuyor. Meta, katı lisans kuralları ve onay mekanizmaları getirmiş. Özellikle:

  • Ticari kullanımda "Built with Llama" logosu zorunluluğu.
  • Modelin çıktılarını kullanarak başka modelleri eğitirken orijinal lisansı koruma şartı.
  • Onay süreçlerindeki belirsizlikler (Bazı kullanıcılara anında onay verilirken, bazı bölgelerdeki veya profillerdeki kullanıcılara erişim verilmemesi).

Bu durum, Llama'nın "Open Weights" (Açık Ağırlıklar) felsefesini biraz zedeliyor. Tam erişim için kurumsal bir kimlik veya onaylı bir araştırma geçmişi gerekebilir.

Performans Testleri: Türkçe ve Mantık Soruları

Yayında Grok API üzerinden Scout modelini test etme şansı bulduk. Sonuçlar karmaşıktı:

✅ Başarılı Olduğu Alanlar:

  • Kodlama: Python ile çekiliş kodu yazma ve JSON çıktısı üretme konusunda oldukça hızlı ve başarılıydı.
  • Hız: Grok altyapısı üzerinde (LPU'lar sayesinde) inanılmaz bir token üretim hızı var.
  • Finansal Hesaplama: Karmaşık faiz/getiri hesaplama sorusunu doğru yanıtladı.

❌ Başarısız Olduğu Alanlar (Halüsinasyonlar):

  • Kültürel Sorular: "Nasrettin Hoca göle neden maya çaldı?" veya "Keloğlan neden keldir?" gibi kültürel sorulara tamamen uydurma (halüsinasyon) cevaplar verdi.
  • Yerel Bilgi: Türkiye'nin il sayısını bile karıştırdı, olmayan futbol takımı lakapları uydurdu.
  • Sonuç: Model çok dilli (Multilingual) olduğunu iddia etse de, Türkçe kültürel derinliği henüz bir ChatGPT veya Gemini seviyesinde değil.

Sonuç: Kimler Kullanmalı?

Llama 4, teknolojik olarak (özellikle MoE ve Context Window açısından) büyük bir mühendislik başarısı. Ancak:

  1. Evinizde H100 GPU'nuz yoksa yerel (local) olarak çalıştıramazsınız.
  2. Türkçe dil desteği teknik konularda iyi olsa da, kültürel konularda zayıf.
  3. Büyük ölçekli kurumsal AR-GE projeleri için uygun, bireysel kullanım için fazla maliyetli.

Benim önerim; eğer yerel bir model arıyorsanız Google Gemma serisi veya Mistral modelleri şu an için fiyat/performans açısından daha erişilebilir seçenekler sunuyor.

Daha fazla içerik, kodlama örnekleri ve düzenli yapay zeka eğitimleri için Murat Karakaya Akademi YouTube kanalımı ziyaret etmeyi ve abone olmayı unutmayın:
👉 https://www.youtube.com/@MuratKarakayaAkademi

#MuratKarakayaAkademi #Llama4 #YapayZeka #LLM #BüyükDilModelleri #OpenSourceAI #DerinÖğrenme #Python #Yazılım

Türkçe İçin Ücretsiz ve Güçlü Bir Alternatif: Qwen 3 ve Açık Kaynak LLM Devrimi

Türkçe İçin Ücretsiz ve Güçlü Bir Alternatif: Qwen 3 ve Açık Kaynak LLM Devrimi

Murat Karakaya Akademi'ye hoş geldiniz. Değerli arkadaşlar, bu akşamki yazımızda, henüz geçen hafta yayınlanan ve yapay zeka dünyasında kartları yeniden dağıtmaya aday olan Qwen 3 model ailesini derinlemesine inceleyeceğiz. Çin menşeli Alibaba grubunun geliştirdiği bu model, sadece performansıyla değil, sunduğu mimari yeniliklerle de dikkat çekiyor.

Canlı yayında gerçekleştirdiğimiz testler, benchmark sonuçları ve teknik analizlerle şu sorulara yanıt arayacağız: Qwen 3 bize neler vaat ediyor? "Mixture of Experts" (MoE) mimarisi nedir ve neden önemlidir? En önemlisi, bir Türk mühendisi veya araştırmacısı olarak bu modeli kendi bilgisayarımızda (lokalimizde) çalıştırıp Türkçe projelerde verimli bir şekilde kullanabilir miyiz? Gelin, teknik detaylara inelim.

1. Qwen 3 Ailesi ve Model Çeşitliliği: Devler ve Cüceler

Qwen 3, tek bir modelden ziyade bir "aile" olarak karşımıza çıkıyor. Bu ailede, devasa veri merkezlerinde çalışacak büyük modellerden, tarayıcı içinde (Web Browser) çalışabilecek kadar küçük modellere kadar geniş bir yelpaze mevcut.

Büyük Abiler: MoE Mimarisi

Listenin tepesinde 235 Milyar parametreli devasa bir model var. Ancak burada dikkat etmemiz gereken nokta, bu modelin bir Mixture of Experts (MoE), yani "Uzmanların Karışımı" yapısında olmasıdır. Bu mimaride, modelin tamamı her işlemde çalışmaz; sadece ilgili "uzmanlar" devreye girer. Örneğin Qwen 3'ün bu dev modelinde, aktif olarak çalışan parametre sayısı yaklaşık 22 Milyardır. Bu sayede, çok daha büyük bir modelin zekasına sahip olurken, çok daha az donanım kaynağı tüketirsiniz.

Küçük ve Hızlı Modeller: Dense Yapısı

Ailenin diğer üyeleri ise bildiğimiz "Dense" (Yoğun) modellerdir. Bunlar arasında 32B, 14B, 8B, 4B ve hatta 1.7B parametreli versiyonlar bulunuyor. Canlı yayında özellikle üzerinde durduğum 4 Milyar (4B) ve 8 Milyar (8B) parametreli modeller, evlerimizdeki standart oyuncu bilgisayarlarında (örneğin RTX 3060 gibi kartlarda) bile rahatlıkla çalışabiliyor.

Hatta 0.6 Milyar (600M) parametreli o kadar küçük bir versiyon var ki, bunu doğrudan web tarayıcınızın içinde, hiçbir kurulum yapmadan JavaScript tabanlı olarak çalıştırabiliyorsunuz. Bu, uç cihazlarda (Edge AI) yapay zeka kullanımı için muazzam bir gelişme.

2. Teknik Derinlik: Mixture of Experts (MoE) Nedir?

Yayınlarımızda sıkça değindiğimiz, ancak Qwen 3 ile tekrar gündeme gelen MoE mimarisini biraz daha açalım. Geleneksel "Dense" modellerde, bir soru sorduğunuzda modelin tüm nöronları (parametreleri) o soruyu cevaplamak için ateşlenir. Bu, büyük modellerde inanılmaz bir işlem gücü gerektirir.

MoE yapısında ise, modelin içinde farklı "Uzman Ağlar" (Experts) bulunur. Bunların başında bir Router (Yönlendirici) yer alır. Router, gelen sorunun niteliğine göre (matematik mi, edebiyat mı, kodlama mı?) hangi uzmanların devreye gireceğine karar verir. Genellikle 64 veya 128 uzmandan sadece 2 veya 8 tanesi aktif edilir.

Önemli Bir Yanılgı: Literatürde bunlara "Uzman" denilse de, son yapılan akademik çalışmalar (OpenAI ve Anthropic makaleleri), bu uzmanların bizim anladığımız anlamda "Matematikçi", "Tarihçi" gibi net ayrımları olmadığını gösteriyor. Aynı soruya farklı zamanlarda farklı uzmanlar cevap verebiliyor. Yine de bu yöntem, hesaplama maliyetini (Inference Cost) düşürmek için şu an elimizdeki en iyi teknoloji.

3. "Düşünen" Modeller (Reasoning/Thinking Models)

OpenAI'ın o1 modelinden sonra hayatımıza giren "Thinking" (Düşünme/Muhakeme) konsepti, Qwen 3'te de mevcut. Bu modeller, size hemen cevap vermek yerine, arka planda bir "Düşünce Zinciri" (Chain of Thought) oluşturuyor. Kendi kendine konuşuyor, strateji belirliyor, hata yaparsa düzeltiyor ve en sonunda size nihai cevabı sunuyor.

Qwen 3'ün güzel yanı, bu özelliğin açılıp kapatılabilir (toggle) olması. Bir kod yazarken veya zor bir matematik problemi çözerken "Thinking" modunu açabilir, basit bir "Merhaba" dedirtmek için kapatabilirsiniz. Ancak testlerimizde gördük ki, "Thinking" modu çok fazla token harcıyor (dolayısıyla maliyeti artırıyor) ve bazen basit sorularda bile gereksiz döngülere (loop) girerek süreci uzatabiliyor.

4. Kurulum ve Kullanım: Ollama ve Open WebUI

Bu modelleri kullanmak için dev sunuculara ihtiyacınız yok. Benim eğitimlerimde de sıkça önerdiğim Ollama aracı ile Qwen 3'ü saniyeler içinde bilgisayarınıza indirebilirsiniz.

Adım 1: Ollama Kurulumu
Ollama'nın resmi sitesinden işletim sisteminize uygun sürümü indirin.

Adım 2: Modeli İndirme ve Çalıştırma
Terminal veya PowerShell ekranını açarak şu komutu girmeniz yeterli (Örneğin 4B modeli için):

ollama run qwen3:4b

Eğer siyah terminal ekranında çalışmak istemiyorsanız, Open WebUI arayüzünü Docker üzerinden kurarak, ChatGPT benzeri modern bir arayüze sahip olabilirsiniz. Open WebUI sayesinde:

  • Farklı modelleri aynı anda yarıştırabilirsiniz.
  • Doküman yükleyip (RAG) soru sorabilirsiniz.
  • İnternet araması yaptırabilirsiniz.

5. Türkçe Performans Testleri ve Benchmark Sonuçları

Gelelim en can alıcı noktaya: Bu model Türkçe biliyor mu? Kurumlarımızda kullanabilir miyiz?

Yayında, kendi hazırladığım "Toy Benchmark" (Basit Test Seti) ile Qwen 3'ün 4B ve 8B modellerini zorladım. Sonuçlar biraz karışık:

  • Kelime Sıralama: Modeller basit kelime sıralama işlerinde bile zorlandı.
  • Mantık Soruları: Klasik "Güneşte 3 gömlek 1 saatte kurursa, 10 gömlek kaç saatte kurur?" sorusunda 4B model, lineer mantık kurarak "3 saatte kurur" gibi hatalı (veya matematiksel işlem yapmaya çalışarak) cevaplar verdi. "Thinking" modunu açtığımızda ise sayfalarca düşünüp yine saçmaladığı anlar oldu.
  • Edebi Metin Analizi: Oğuz Atay'dan aldığımız karmaşık bir paragrafı analiz ederken, 8B modelin daha başarılı çıkarımlar yaptığını, ancak 4B modelin metni yanlış yorumladığını (yapmak/yapmamak gibi olumsuzluk eklerini karıştırdığını) gördük.

Karşılaştırma: Google'ın Gemma 2 veya Gemma 3 modelleri, Türkçe dil bilgisi ve mantık yürütme konusunda Qwen 3'ün küçük modellerine kıyasla daha stabil sonuçlar veriyor. Qwen 3, özellikle 4B ve 8B seviyesinde, Türkçe mantık sorularında beklediğimiz "zeki" davranışı tam olarak sergileyemedi.

6. Eğitim Metodolojisi ve Veri Seti Tartışması

Qwen 3, 30-36 Trilyon Token gibi muazzam bir veri setiyle eğitilmiş. Karşılaştırma yapmanız açısından; GPT-4 döneminde konuşulan rakamlar 10-12 Trilyon civarındaydı. Peki bu kadar veri nereden geldi?

Teknik raporda "PDF-like documents" (PDF benzeri dokümanlar) ve OCR (Görüntüden metin okuma) teknolojilerinin kullanıldığı belirtiliyor. Benim şahsi tahminim ve endişem, internette halka açık olmayan, kütüphanelerdeki fiziksel kitapların veya telifli içeriklerin de taranarak bu veri setine dahil edilmiş olabileceği yönünde. Çünkü internetteki kaliteli metin verisi 12 Trilyon token civarında sınırlanıyor. Bu durum, gelecekte telif hakları konusunda baş ağrıtabilir.

Eğitim süreci üç aşamada gerçekleşmiş:

  1. Pre-training: Temel dil becerilerinin kazanılması.
  2. Post-training: Matematik, kodlama ve muhakeme yeteneklerinin, sentetik verilerle (daha büyük modellerin ürettiği verilerle) modele öğretilmesi.
  3. Distillation (Damıtma): 235B'lik dev modelin bilgisinin, öğretmen-öğrenci ilişkisiyle küçük modellere aktarılması.

Sonuç: Hangi Modeli Seçmeliyiz?

Özetle; eğer donanımınız kısıtlıysa ve Türkçe NLP (Doğal Dil İşleme) projeleri yapacaksanız, Qwen 3'ü mutlaka test edin ancak Gemma serisini de alternatif olarak cebinizde tutun. Büyük ölçekli kurumsal projeler için ise Qwen 3'ün 32B veya 72B (varsa) versiyonları, kapalı kaynak modellerle (GPT-4o, Gemini) yarışabilecek düzeyde.

Türkiye olarak kendi dil modelimizi eğitememiş olsak da, açık kaynak dünyası bize bu teknolojiyi "al ve kullan" şeklinde sunuyor. Bize düşen, bu modelleri indirip, ince ayar (Fine-Tuning) yaparak veya RAG sistemleri kurarak kendi problemlerimize çözüm üretmektir.

Bu tür derinlemesine teknik analizlerin devamı için kanala abone olmayı ve yorumlarda deneyimlerinizi paylaşmayı unutmayın. Hepinize verimli kodlamalar dilerim.

#MuratKarakayaAkademi #Qwen3 #YapayZeka #LLM #Ollama #OpenWebUI #AcikKaynakAI

Saturday, May 17, 2025

Açık Kaynak Büyük Dil Modellerinin Stratejik Gücü: Yerel Olarak Model Çalıştıran Askeri ve Sivil Kurumlar İçin Yetenekler, Kullanım Alanları ve Gelecek Perspektifi

Açık Kaynak LLM’lerin Stratejik Gücü: Yerel Model Kullanımıyla Askeri ve Sivil Kurumlar İçin Yetenekler, Kullanım Alanları ve Gelecek Perspektifi

🧭 Neden Açık Kaynak?

Açık kaynak büyük dil modelleri (LLM’ler), mimarileri ve ağırlıkları kamuya açık olan yapay zeka sistemleridir. Bu sayede geliştirme, ince ayar (fine-tuning) ve dağıtım işlemleri serbestçe yapılabilir. Açık kaynak yazılım hareketinden ilham alarak ortaya çıkan bu modeller, ortak bilgi birikimi, şeffaflık ve iş birliğine dayalı inovasyonun avantajlarını taşımaktadır.

Yazılım geliştirme ilk başladığında, geliştiriciler çalışmalarından para kazanmak istiyordu. Zamanla kapalı kaynak sistemler ortaya çıktı ama bu sistemler bazı riskleri de beraberinde getirdi. Örneğin, kapalı kaynaklı yazılımlarda arka kapılar veya güvenlik açıkları kamu denetimi olmadan istismar edilebilir. Açık kaynak yazılımlar –ve artık açık LLM’ler– bu riski ortadan kaldırır. Herkes kodu inceleyebilir, hataları tespit edebilir ve düzeltmelere katkı sağlayabilir. Böylece daha sağlıklı ve güvenli bir ekosistem oluşur.

LLM’ler de bu durumdan farklı değil. DeepSeek, Meta veya Google Gemma gibi açık modeller sayesinde araştırmacılar mimari ve eğitim tekniklerini öğrenebilir. Bu kolektif ilerleme herkesin yararınadır. Örneğin, DeepSeek’in akıl yürütmeyi geliştirmeye yönelik pekiştirmeli öğrenme yaklaşımı açık kaynak topluluğunda hızla benimsendi.

Murat Karakaya Akademi’de sıkça gelen bir soru:
🗣️ “Açık kaynak LLM’ler, veri gizliliği ve yerel AI kullanımı öncelikli alanlarda –örneğin milli savunma veya kamu kurumlarında– pratik olarak kullanılabilir mi?”

Bu yazıda açık kaynak LLM’lerin tam potansiyeli, askeri ve sivil sektörlerdeki uygulamaları ve çeşitli kullanım senaryoları için donanım ihtiyaçları ele alınmaktadır.

Eğer isterseniz bu içeriği Murat Karaka Akademi Youtube knalımdan seyredebilirsiniz:


✅ Veri Gizliliğine Duyarlı Kurumlar İçin Açık Kaynak LLM’lerin Avantajları

💰 Maliyet Etkinliği ve Erişilebilirlik

Açık kaynak LLM’ler genellikle ücretsiz veya düşük maliyetlidir. Bu sayede sivil ve askeri kurumlar, büyük bütçelere ihtiyaç duymadan yapay zeka kapasitesi oluşturabilir. Bu modeller kurum içi sistemlere indirilebilir ve internete bağlı olmadan (ör. intranet üzerinden) çalıştırılabilir.

OpenAI ya da Gemini gibi dış servis sağlayıcılarına erişimi olmayan ya da veri gizliliği nedeniyle güvenmeyen kurumlar bu modelleri yerel olarak kullanabilir. Örneğin, Türk Silahlı Kuvvetleri, milli güvenlik ajansları veya savunma sanayii firmaları bu modelleri yerel altyapılarında güvenli şekilde dağıtabilir.

🔍 Özelleştirilebilirlik ve Şeffaflık

Kapalı sistemlerde model mimarisi veya eğitim süreci hakkında bilgi edinmek mümkün değildir. Açık kaynak modeller ise tam belgeleri, eğitim veri referansları ve uygulama ayrıntıları ile birlikte gelir. Kurumlar, bu modelleri kendi özel veri kümeleriyle eğitebilir –verileri üçüncü taraf bulutlara yüklemeye gerek kalmadan.

Linux dağıtımlarında olduğu gibi, LLM’ler de belirli alanlara özel şekilde özelleştirilebilir:

  • Hukuk danışmanlığı (ör. hukuk büroları)

  • Otomotiv güvenliği (ör. TOGG)

  • Enerji altyapısı takibi (ör. internet bağlantısı olmadan)

🛡️ Yerel Dağıtım ve Veri Güvenliği

LLM’lerin yerel olarak çalıştırılması, gizli veya hassas verilerin tam kontrolünü sağlar. Ulusal savunma, istihbarat veya kolluk kuvvetleri gibi alanlarda internete çıkış sadece tercih değil, zorunluluktur. Açık modeller, ağırlıkların indirilmesinden çıkarım (inference) ayarlarına kadar tam yığın dağıtım imkânı sunar.

NATO gibi global kurumlar bile internetsiz (air-gapped) sistemler kullanmaktadır. Açık LLM’ler, bu tür ortamlara en güncel yapay zekayı güvenle entegre etme fırsatı sunar.

🌐 Topluluk Tabanlı İnovasyon

Dünyanın dört bir yanındaki geliştiriciler Hugging Face ve GitHub gibi platformlarda açık modelleri geliştirmeye katkı sağlıyor. Hata düzeltmelerinden eklenti geliştirmeye kadar, ekosistem canlı ve üretken. Örneğin Open WebUI, LM Studio veya Ollama gibi topluluk tarafından geliştirilen arayüzler yerel modellerle kullanıcı dostu etkileşim sunar.

🔗 Tedarik Zinciri Bağımsızlığı

Kapalı kaynak API’lere güvenmek, fiyatlandırma, lisans ve hizmet devamlılığı gibi dış etkenlere bağımlılığı artırır. Sağlayıcı değiştirmek zaman ve maliyet ister. Açık modeller bu bağımlılığı ortadan kaldırır ve uzun vadeli sürdürülebilirlik sunar.

🚀 Hızlı Uyarlama

Açık kaynak LLM’lerdeki araştırmalar ve gelişmeler topluluk içinde hızla yayılır. DeepSeek’in çoklu tekniklerle yaptığı ince ayar çalışmaları, LLaMA 3 ve Qwen gibi yeni modelleri etkilemiştir. Yayınlanan makaleler ve paylaşılan kodlar sayesinde, yüksek lisans öğrencileri bile ileri seviye AI tekniklerini deneyebilir.

🛠️ Alan Odaklı İnce Ayar (Fine-Tuning)

Açık LLM’ler savunma veya kamuya yönelik özel alanlarda şu şekilde uyarlanabilir:

  • Stratejik metin analizi

  • İstihbarat raporu özetleme

  • Hukuki veya idari belge işleme

  • Kurum içi sistemler için doğal dil arayüzleri

Bu ince ayar işlemleri tamamen kurum içi sistemlerde gerçekleştirilebilir. Belgeleri dışa yüklemeye gerek yoktur. Hukuk ofisleri, askeri birimler veya AR-GE departmanları, modelleri kendi iş akışlarına göre özelleştirebilir.

🎓 Eğitim ve Simülasyon

Askeri eğitim simülasyonlarında ve kamu hizmeti eğitimlerinde, durumsal farkındalık ve dil becerileri kazandırmak için kullanılabilir.

🌍 Çok Dilli Yetenekler

Farklı dilleri desteklemeleri sayesinde çok kültürlü topluluklara hizmet etmek ve uluslararası iş birliklerine katkı sağlamak mümkündür. Qwen, Gemma ve DeepSeek gibi modeller artık Türkçe dahil 120’den fazla dili desteklemektedir.


⚖️ Açık vs Kapalı Modeller

ArtificialAnalysis.ai sitesinde yayımlanan karşılaştırmaya göre:

  • Açık modellerin performansı, kapalı modellere yaklaşmaktadır.

  • Özelleştirme ve güvenli dağıtımda açık modeller öne çıkmaktadır.

  • Veri kontrolü ve entegrasyon esnekliği isteyen kurumlar için idealdir.


🔍 Örnek Kullanım: Açık Kaynak ile İstihbarat ve Belge Analizi

Görev: “Yunanistan'ın hangi ülkelerden askeri teçhizat aldığını, ürün ve maliyet detaylarıyla listele.”

Açık kaynaklı bir model, belge ve görsel analiz araçlarıyla entegre şekilde:

  • Alım verilerini çıkarabilir

  • Bilgiyi özetleyebilir

  • Eğilim ve içgörü oluşturabilir

Aynı yöntem, hukuk uyumu izleme veya bütçe analizi gibi sivil alanlarda da geçerlidir.



🖼️ Görsel ve İmge Tabanlı Zeka

LLM’lerin görüntü tanıma ile birleşmesi sayesinde:

  • Uydu görüntüsü analizi

  • Altyapı takibi

  • Ekipman sınıflandırması yapılabilir.

Bu kullanım alanları hem askeri keşif hem de şehir planlama veya afet yönetimi gibi sivil alanlara hizmet eder.


🔐 Riskler ve Güvenlik Önlemleri

⚠️ Halüsinasyon ve Bilgi Kirliliği

Yanlış veya uydurma çıktılar üretebilir.
🛡️ Çözüm: Zeminleme (grounding) ve doğrulama katmanları eklenmeli.

⚠️ Kötüye Kullanım ve Siber Güvenlik

Gereken önlemler alınmazsa kötüye kullanılabilir.
🛡️ Çözüm: İzole çalışma ortamları ve sıkı erişim politikaları uygulanmalı.


📊 Model Büyüklüğüne Göre Donanım Gereksinimleri

Model BüyüklüğüGerekli VRAMTipik GPU’larNotlar
1.5B4–6 GBGiriş seviyesiFP16/BF16 ile çalışır
7B/8B8–12 GBRTX 3080+Kuantizasyon VRAM’i azaltır
13B/14B12–16 GBÜst düzey GPU
32B16–24 GBRTX 4090, A6000
70B32–48 GBÇoklu GPU veya profesyonel sistemler

👉 Kullanım Önerisi:

  • 7B altındaki modeller, 8–12 GB VRAM’li GPU’larda bireysel geliştiriciler tarafından kullanılabilir.

  • 13B/14B modeller, orta düzey yerel kurumlar için RTX 4090 ile uygundur.

  • Sürekli iş yükü veya hassas görevler için 32B+ modeller önerilir.


🖥️ GPU Fiyat ve Kapasite (USD Tahmini)

GPU ModeliFiyatVRAMDesteklenen ModellerNotlar
RTX 3080$480–70010GBLLaMA 2 7B, Mistral 7BUygun maliyetli
RTX 4090$1,300–1,80024GBLLaMA 2 70B (quantized)Yaygın ve güçlü
A6000$3,000–4,00048GBClaude 3 Opus (quant.), LLaMA 3Kurumsal seviye
H100$16,500–26,00080GBGPT-4, Claude 3 OpusVeri merkezi için

👉 Kullanım Önerisi:

  • Pilot çalışmalar için RTX 3080/3090 yeterli olabilir.

  • Gerçek zamanlı performans isteyen kamu kurumları RTX 4090 veya A6000 tercih etmeli.

  • Yüksek kapasiteli kamu sistemleri için H100 idealdir.


📈 Kullanıcı Sayısına Göre GPU İhtiyacı

KullanıcıGPU SayısıToken Üretim HızıNot
1–51 H1002–5 token/snKişisel/küçük ekip
20–254 H10010–15 token/snOrta ölçekli kurum
75–10016–20 H10025–30 token/snBüyük kurum
300–40064–80 H10070–100 token/snUlusal düzey kullanım



Verimlilik Artırıcı Faktörler:

  • Kuantizasyon eşzamanlı kullanıcı sayısını artırır.

  • Uzun bağlam pencereleri ek hafıza gerektirir.

  • Toplu (batch) ve spekülatif çıkarım, verimliliği büyük ölçüde artırır.


🧭 Kurumlar İçin Aşamalı Geçiş Yol Haritası

1️⃣ İhtiyaç Analizi ve Hedef Belirleme (1-2 ay)
2️⃣ Minimum Altyapı (2-3 ay) – 2–4 GPU ile 20–30 kullanıcı testi
3️⃣ Operasyonel İyileştirme (3-4 ay) – Kuantizasyon ve kullanıcı geri bildirimi
4️⃣ Kontrollü Ölçekleme (4-6 ay) – 70B+ model testi ve kullanıcı sayısını artırma
5️⃣ Tam Dağıtım (6+ ay) – MLOps otomasyonu ve tüm birimlere genişletme

Yararları:

  • Maliyet-etkin ölçeklenme

  • Kurumsal bilgi transferi

  • Kullanıcı ihtiyaçlarına sürekli uyum

  • Yüksek benimseme oranı ve direnç


🌟 Gelecek Vizyonu ve Sonuç

Açık kaynak LLM’ler, robotik, siber güvenlik ve alan bazlı iş akışlarıyla entegre edildiğinde:

  • Daha akıllı otonom sistemler

  • Sivil teknoloji egemenliği

  • Yerel yapay zeka ile daha düşük risk sağlar.

🎯 Eylem Çağrısı: Tüm kamu ve özel kurumlar açık kaynak LLM’leri incelemeye, pilotlar oluşturmaya ve ortak geliştirme süreçlerine katılmaya davetlidir.

📺 YouTube Kanalı: Murat Karakaya Akademi