Sıfırdan LLM Geliştirme: Kendi Dil Modelini Oluştur

About this course

Bu kurs, büyük dil modellerinin (LLM) iç yapısını öğrenmek ve kendi modelini sıfırdan geliştirmek isteyen herkes için kapsamlı ve uygulamalı bir rehberdir. Python ve PyTorch kullanarak, modern GPT tarzı bir Transformer modeli sıfırdan inşa edecek; tokenization sürecinden embedding katmanlarına, self-attention mekanizmasından multi-head attention’a kadar tüm temel bileşenleri adım adım gerçekleştireceksiniz.İlk olarak tokenizasyon, pozisyonel encoding ve embedding kavramlarını uygulamalı örneklerle öğrenecek, ardından Transformer bloklarını bir araya getirerek çalışan bir dil modeli geliştireceksiniz. Bu modeli next-token prediction görevi için eğitecek, ardından Supervised Fine-Tuning (SFT) yöntemlerini kullanarak soru-cevaplama gibi özel görevler için adapte edeceksiniz.Kurs boyunca veri hazırlama süreçlerinden optimizer ve loss fonksiyonlarının kullanımına, GPU destekli eğitimden model kayıt/yükleme işlemlerine kadar birçok pratik detaya değinilecektir. Colab ve Hugging Face gibi popüler açık kaynak araçlar da etkin şekilde kullanılacaktır.Bu kurs; yapay zeka alanında derinleşmek isteyen geliştiriciler, veri bilimciler ve makine öğrenimi mühendisleri için özel olarak tasarlanmıştır. Amacımız, sadece hazır modelleri kullanmak değil, bu modellerin nasıl çalıştığını anlamak, onları inşa etmek ve gerektiğinde geliştirebilecek teknik beceriyi kazandırmaktır.Kurs sonunda, sıfırdan eğitilmiş bir GPT modeli oluşturmuş olacak ve onu kendi projelerinize entegre edebileceksiniz. Bu süreç, yalnızca bir modeli çalıştırmakla kalmayıp, aynı zamanda mimarisini anlamanızı, ihtiyaçlarınıza göre uyarlamanızı ve ince ayarlarla performansını artırmanızı mümkün kılacaktır.

Course objectives

• to build a language model from scratch
• to understand the architecture of language models
• to develop skills in model training and fine-tuning