Kurumlar İçin Açık Kaynak Büyük Dil Modelleri: Güvenlik, Maliyet ve Yerel Kurulum Rehberi
Murat Karakaya Akademi'ye hoş geldiniz. Değerli arkadaşlar, bugünkü yazımızda özellikle kamu kurumları, savunma sanayi şirketleri ve verilerini dışarıya (Cloud) açmak istemeyen özel sektör firmaları için hayati bir konuyu ele alacağız: Açık Kaynak Büyük Dil Modellerinin (LLM) Kurumlarda Kullanımı.
Bu içerik, yakın zamanda Genelkurmay Başkanlığı tarafından düzenlenen Yapay Zeka Etkinliği'ne davetli konuşmacı olarak katıldığımda hazırladığım sunumun ve yaptığımız canlı yayın tartışmalarının genişletilmiş bir özetidir. Bir kurum, neden ChatGPT veya Gemini gibi hazır servisler yerine kendi sunucularında çalışan Llama, Qwen veya DeepSeek gibi açık kaynak modelleri tercih etmeli? Bunun maliyeti nedir? Donanım ihtiyaçları nelerdir? Gelin, bu soruların cevaplarını teknik detaylarıyla inceleyelim.
1. Neden Açık Kaynak? Güvenlik ve Şeffaflık İlkesi
Yazılım dünyasında "Open Source" (Açık Kaynak) kavramı yıllardır hayatımızda. Ancak konu Yapay Zeka olduğunda bu tercih, bir lüksten ziyade bir zorunluluğa dönüşüyor. Kapalı bir sistem kullandığınızda (örneğin OpenAI'ın GPT modelleri), o sistemin içinde ne döndüğünü, verinizin nasıl işlendiğini veya modelde bir "backdoor" (arka kapı) olup olmadığını bilmeniz mümkün değildir. Ancak açık kaynak modellerde:
- Şeffaflık: Mimarisi, ağırlıkları (weights) ve eğitim metodolojisi açık olduğu için topluluk tarafından denetlenir. Hatalar veya açıklar çok daha hızlı kapatılır.
- Veri Güvenliği: Modeli indirip kendi sunucunuza (On-Premise) kurduğunuzda, internet bağlantısını kesseniz bile çalışmaya devam eder. Bu, TSK, MİT veya bankacılık gibi hassas verilerle çalışan kurumlar için kritik öneme sahiptir.
- Topluluk Desteği: DeepSeek gibi firmaların yayınladığı 50-60 sayfalık teknik makaleler sayesinde, tüm dünya bu modellerin nasıl eğitildiğini (örneğin pekiştirmeli öğrenme tekniklerini) öğreniyor ve üzerine koyarak geliştiriyor.
2. Kapalı Sistemlerde (Intranet) LLM Çalıştırma Altyapısı
Kurumların en büyük çekincesi genellikle "Bizim verimiz dışarı çıkmasın" şeklindedir. İntranet, yani internete kapalı iç ağlarda LLM çalıştırmak bugün mümkündür ve sandığınızdan daha erişilebilirdir. Bunun için şu araçları ve yöntemleri kullanıyoruz:
Hugging Face ve Model Ekosistemi
Modellerin "GitHub'ı" diyebileceğimiz Hugging Face, 200.000'den fazla modele ev sahipliği yapıyor. Buradan Llama 3, Gemma 2, Qwen veya Mistral gibi modelleri indirip, SafeTensors formatında kendi sisteminize çekebilirsiniz. Bir kez indirdikten sonra internete ihtiyacınız kalmaz.
Ollama ve Open WebUI
Benim eğitimlerimde ve kişisel kullanımımda en çok önerdiğim araç Ollama'dır. Kurulumu son derece basittir ve Linux, Windows veya Mac üzerinde çalışabilir. Ollama'nın üzerine kuracağınız Open WebUI gibi arayüzler sayesinde, çalışanlarınıza ChatGPT benzeri bir deneyimi, tamamen kurum içi sunucularınızdan sunabilirsiniz. Open WebUI, sadece bir sohbet botu değildir; doküman yükleme (RAG), internet araması yapma ve hatta Python kodu çalıştırma yeteneklerine sahip tam teşekküllü bir çalışma ortamıdır.
// Örnek: Ollama ile Model Çalıştırma
ollama run llama3
// Bu komut, modeli lokal bilgisayarınıza indirir ve çalıştırır.
// Verileriniz asla dışarı çıkmaz.3. Donanım ve Maliyet Analizi: GPU mu, Apple Silicon mı?
Kurumlar için en büyük soru işareti maliyettir. "Bulut ucuz, donanım pahalı" algısı her zaman doğru değildir. Bulut sistemlerde (Cloud), token başına veya kullanıcı başına sürekli ödeme yaparsınız ve maliyeti önceden kestirmek (özellikle Rate Limit aşımlarında) zordur. Kendi sunucunuzu kurduğunuzda ise bir defalık yatırım yaparsınız (CAPEX).
Sunumda da değindiğim gibi, donanım seçimi yaparken modelin boyutu (Parametre Sayısı) ve Quantization (Sıkıştırma) seviyesi önemlidir:
- Giriş Seviyesi (Bireysel/Küçük Ekip): 7B - 14B parametreli modeller için (örneğin Llama 3 8B), Nvidia RTX 4080/4090 serisi kartlar veya 12-24 GB VRAM'e sahip sistemler yeterlidir.
- Alternatif Bir Güç: Mac Studio: Apple'ın M serisi (M2/M3 Ultra) çipleri, "Unified Memory" mimarisi sayesinde RAM'i hem CPU hem GPU için ortak kullanır. 96 GB veya 192 GB RAM'li bir Mac Studio, Nvidia'nın yüz binlerce liralık sunucu kartlarının (A100, H100) yapabildiği "büyük model yükleme" işini çok daha az enerji tüketerek ve sessizce yapabilir. Eğitim (Training) için yavaş olabilir ama Çıkarım (Inference) için harika bir fiyat/performans ürünüdür.
- Kurumsal Seviye (Büyük Ölçek): 70B ve üzeri modelleri yüzlerce kişiye aynı anda kullandırmak istiyorsanız, Nvidia A100/H100 gibi veri merkezi kartlarına ve bunları yönetecek vLLM gibi gelişmiş sunucu yazılımlarına ihtiyacınız olacaktır.
4. Uygulamalı Örnek: RAG ile Açık Kaynak İstihbarat (OSINT)
Videoda canlı bir demo gerçekleştirdim. Senaryomuz şuydu: Bir askeri karargahta veya istihbarat biriminde çalıştığınızı düşünün. Elinizde Çin yapımı "Wing Loong" İHA'ları hakkında yüzlerce sayfalık PDF teknik raporlar var. Bunları okuyup özetlemek günler sürer.
Open WebUI kullanarak bu dokümanları sisteme yükledik (RAG - Retrieval Augmented Generation). Modeli, internete kapalı bir ortamda bu dokümanlar üzerinden soru-cevap yapacak şekilde özelleştirdik. Sonuç muazzam: Model, 200 sayfalık dokümanın içinden "Kanat açıklığı ne kadar?", "Hangi ülkeler satın almış?", "Motor tipi nedir?" gibi soruları saniyeler içinde, sayfa referansı vererek yanıtladı.
Üstelik bunu yaparken "Gölge Yapay Zeka" (Shadow AI) riskine girmedik, verilerimizi OpenAI'a göndermedik. Tamamen lokal GPU gücümüzle, kendi "Knowledge Base"imizle çalıştık.
5. Gelecek Vizyonu ve Öneriler: "Baby Steps"
Kurumlara ve yöneticilere tavsiyem şudur: Dev sistemler kurmaya çalışarak işe başlamayın. Japonların dediği gibi "Baby Steps" (Bebek Adımları) ile ilerleyin.
- Önce küçük bir GPU'lu makine veya güçlü bir Mac Studio alın.
- Ollama ve Open WebUI kurarak küçük bir ekibe (pilot bölge) açın.
- Çalışanlarınızı, "Prompt Mühendisliği" ve sistemin yetenekleri konusunda eğitin.
- Trafiği ve kullanım alışkanlıklarını analiz ettikten sonra büyük sunucu yatırımlarına geçin.
Unutmayın, açık kaynak bir felsefedir. Bir tedarikçiye (Vendor Lock-in) bağımlı kalmadan, teknolojiyi kendi mutfağınızda pişirip sunmak, uzun vadede kurumunuza en büyük yetkinliği kazandıracaktır. Bu ekosistemi öğrenmek için kod yazmaktan, Docker ile uğraşmaktan, hata alıp düzeltmekten korkmayın.
Sonuç
Yapay zeka, robotik ve siber güvenlik üçlüsü geleceğin savunma doktrinlerini belirleyecek. Bizim de bu treni kaçırmamak için sadece kullanıcı değil, geliştirici ve uygulayıcı olmamız gerekiyor. Bu konuları daha derinlemesine tartıştığımız, teknik detaylara girdiğimiz ve birlikte kodladığımız eğitimlerimiz için kanala abone olmayı ve yorumlarda düşüncelerinizi paylaşmayı unutmayın.
Bir sonraki yazıda ve videoda görüşmek üzere, hepinize verimli çalışmalar dilerim.
#MuratKarakayaAkademi #AcikKaynakAI #YerelLLM #SiberGuvenlik #YapayZeka #Ollama #OpenWebUI #KurumsalAI
