Mustafa Kemal, annesinin ısrarı sonucu önce Mahalle Mektebine başlamış, kısa bir süre sonra da Şemsi Efendi'nin yeni metotlarla eğitim öğretim yaptığı özel okula devam etmiştir.
Ali Rıza Efendi'nin vefatı (23 Mayıs 1886) sonrası, Zübeyde Hanım'ın çocukları ile birlikte kardeşinin Lankaza’daki çiftliğine gidişi, Mustafa’nın öğrenim hayatına bir ara vermesine neden olmuştur.
Altı ay kadar süren çiftlik yaşamından sonra Selanik’e gelen Mustafa, Mülkiye Rüştiyesine (ortaokulu) başlamıştır. Burada, matematik öğretmeni Hüseyin Efendi'nin, sınıftaki bir olay nedeniyle Mustafa’yı dövmesi üzerine, Mustafa büyük annesi Ayşe Hanım tarafından okuldan alınmıştır.
Çocukluğundan itibaren askerliğe büyük bir ilgi duyan Mustafa, asker olmak istiyordu. Hatıralarında kendisinin anlattıklarına göre, üniformalı olarak Askerî Rüştiyeye giden komşularından Kadri Bey'in oğlu Ahmet ve sokaklarda gördüğü üniformalı subaylar onun askerlikle ilgili heveslerini kamçılamıştır. Nihayet asker olmasını istemeyen annesine haber vermeden Selanik Askerî Rüştiyesinin sınavlarına girerek başarılı olmuştur. Daha önceden dört yıl olarak eğitim yapan askerî rüştiyelerin o yıl birinci sınıflarının lâğvedilerek üç yıla indirilmesi üzerine Mustafa, Nisan 1894’te Selanik Askerî Rüştiyesinin ikinci sınıfından öğrenimine başlamıştır.
Bu dönemde sivil ortaokullar çekiciliği az olan okullardı. Askerî rüştiyeler ise Türkçeye daha çok önem vermekte, yabancı dile iki yıl erken başlamaktaydılar. Fransızca, ders olarak okutulmaktaydı. Bu okullarda spor salonları da bulunmaktaydı. Sivil rüştiyeler ise bu imkânlara sahip değildi. Yine askerî rüştiyelerde öğrenciler, yetenekleri ve durumlarına göre yükselebiliyorlardı. Tüm bunların yanı sıra bu okulları bitirenler, orduya girdiklerinde, geniş Osmanlı İmparatorluğu’nun uzak köşelerindeki insanların yaşayışlarını görüp öğrenme fırsatını bulabiliyorlardı. Bu sivil okul mezunlarının kolay kolay elde edemedikleri bir başka imkândı.
Selanik Askerî Rüştiyesi, Mithat Paşa Caddesi’nde, yeni ve oldukça güzel bir binaya sahip bulunan, düzenli ve disiplinli bir okuldu. Dersleri ihtisas esasına göre okutan ve çoğunluğunu subaylar teşkil eden bir öğretim ve yönetim kadrosuna sahipti. İlk gençlik çağındaki iki yüz civarında üniformalı subay adayı, tam bir disiplin içinde ortaöğrenimle birlikte ilk askerlik eğitimlerini de burada görmekte idiler. Mustafa, çok kısa sürede öğretmenlerin ve komutanlarının dikkatlerini çeken seçkin bir öğrenci olarak kendisini çevresine tanıttı. Kendi hatıralarında anlattığına göre Mustafa, Rüştiyede matematik dersine merak sarmış; bu derste sınıfın “müzakerecileri” arasına girmişti. Çok sevdiği bu dersin öğretmeni Yüzbaşı Üsküplü Mustafa Sabri Bey (Harp Okulu 1297/1882 yılı mezunlarından), onun yetenek, yaratıcılık ve olgunluğunu teşhis ederek, ona “Kemal” adını vermiştir. Böylece, yarının ATATÜRK’ü, Mustafa Kemal olarak tarihe mal oluyordu. Mustafa Kemal, 1895 yılı sonu veya 1896 yılı Ocak ayında, on beş yaşında, Askerî Rüştiyenin kırk (veya kırk üç) kişilik olan son sınıfını, derslerden geçme tam notu olan 45 alarak (43 aldığı biri hariç) dördüncü bitirmiştir.