Yerel Yapay Zekâ Nedir? Şirketler İçin Kurulum Rehberi

ChatGPT, Gemini ve Copilot gibi araçlar iş dünyasında hızla yaygınlaşıyor. Ancak birçok şirket için asıl soru “yapay zekâyı kullanalım mı?” değil, “verilerimizi dışarı göndermeden nasıl kullanırız?” sorusu. Yerel yapay zekâ tam olarak bu ihtiyaca cevap veriyor. Bu yazıda yerel yapay zekânın ne olduğunu, hangi donanıma ihtiyaç duyduğunu ve bir şirkette nasıl kurulduğunu adım adım anlatıyoruz.

Yerel yapay zekâ nedir?

Yerel (on-premise) yapay zekâ, büyük dil modellerinin internetteki bir servis yerine şirketin kendi sunucusunda, kendi ağı içinde çalıştırılmasıdır. Çalışanlar tıpkı bilinen sohbet araçlarında olduğu gibi soru sorar, belge özetletir ya da metin yazdırır; fark, bu sırada hiçbir verinin şirket dışına çıkmamasıdır.

Bu yaklaşım, açık ağırlıklı (open-weight) dil modelleri sayesinde mümkün hale geldi. Llama, Mistral, Qwen ve Gemma gibi model aileleri, lisans koşullarına uyulduğu sürece şirket sunucularına indirilip çalıştırılabiliyor.

Bulut yapay zekâ ile yerel yapay zekâ arasındaki farklar

• Veri gizliliği: Bulut servislerinde yazdığınız her şey servis sağlayıcının sunucularına gider. Yerel kurulumda veriler şirket ağında kalır.
• KVKK: Kişisel verilerin yurt dışına aktarımı KVKK’nın 9. maddesindeki özel şartlara tabidir. Yerel kurulum bu riski baştan ortadan kaldırır.
• Maliyet yapısı: Bulut çözümlerde kullanıcı başına aylık abonelik ödenir; yerel kurulumda ilk yatırım (sunucu ve GPU) daha yüksektir, ancak kullanıcı sayısı arttıkça birim maliyet düşer.
• Özelleştirme: Yerel model, şirketin kendi belgeleri ve sistemleriyle doğrudan entegre edilebilir.
• Model gücü: En büyük ticari modeller hâlâ bulutta. Yerel modeller günlük iş görevlerinin büyük çoğunluğu için yeterli olsa da çok karmaşık görevlerde farkı hissedebilirsiniz.

Hangi donanım gerekir?

Yerel yapay zekâda belirleyici bileşen ekran kartı (GPU) ve ekran kartı belleğidir (VRAM). Kabaca bir fikir vermek gerekirse:

• Küçük modeller (7–8 milyar parametre): Nicemlenmiş (quantized) haliyle 16–24 GB VRAM’li tek bir GPU’da rahatça çalışır. Belge özetleme, e-posta taslağı ve soru-cevap için çoğu zaman yeterlidir.
• Orta boy modeller (14–32 milyar parametre): Daha yüksek VRAM ya da birden fazla GPU gerektirir; Türkçe metinlerde ve akıl yürütmede belirgin şekilde daha başarılıdır.
• Büyük modeller (70 milyar parametre ve üzeri): Genellikle çoklu GPU’lu sunucu sınıfı donanım ister.

Doğru donanım; aynı anda kaç kişinin kullanacağına, hangi görevlerin yapılacağına ve beklenen yanıt hızına göre belirlenmelidir. Gereğinden büyük bir sunucu bütçeyi zorlar; küçük bir sunucu ise kullanıcıları yavaşlıkla vazgeçirir.

Yerel yapay zekâ nasıl kurulur?

1. Kullanım senaryolarını belirleyin. Hangi departman, hangi işler için kullanacak? Teklif hazırlama, sözleşme özetleme, teknik doküman arama gibi somut örneklerle başlayın.
2. Donanımı boyutlandırın. Kullanıcı sayısı ve görevlere göre GPU, bellek ve depolama ihtiyacını hesaplayın.
3. Modeli ve çalıştırma ortamını seçin. Ollama veya vLLM gibi araçlar modelleri sunucuda çalıştırmayı kolaylaştırır. Türkçe performansı iyi olan bir model seçmek önemlidir.
4. Şirket verilerine bağlayın. RAG (Retrieval-Augmented Generation) yöntemiyle model, şirketinizin belgelerini okuyup cevaplarını bu belgelere dayandırabilir.
5. Yetkilendirmeyi kurun. Her çalışan yalnızca erişim yetkisi olan belgelerden yanıt almalıdır. Active Directory gibi mevcut kimlik sistemleriyle entegrasyon bu noktada kritik.
6. Pilot uygulama ve eğitim. Küçük bir ekiple başlayın, geri bildirimleri toplayın, ardından yaygınlaştırın.

Hangi işlerde fayda sağlar?

• Uzun sözleşme, teklif ve raporların özetlenmesi
• Şirket içi dokümanlarda doğal dille arama (“Bu ürünün garanti şartları neydi?”)
• E-posta, teklif ve yazışma taslaklarının hazırlanması
• Destek taleplerinin sınıflandırılması ve yönlendirilmesi
• Sistemler arası veri aktarımı ve raporlama gibi tekrar eden operasyonların otomasyonu

Sonuç

Yerel yapay zekâ, verilerini dışarı göndermek istemeyen şirketler için yapay zekânın faydalarından yararlanmanın en güvenli yolu. Başarılı bir kurulumun anahtarı ise doğru donanım seçimi, doğru model ve iyi kurgulanmış bir yetkilendirme yapısı.

AGLOBAL olarak GPU sunucu seçiminden kurulumuna, model entegrasyonundan operasyon otomasyonuna kadar tüm süreci yönetiyoruz. Detaylar için Kurumsal Yapay Zekâ Çözümleri sayfamızı inceleyebilir ya da bizimle iletişime geçebilirsiniz.