Şamda yer alan 5. Ordudaki görevi, Mustafa Kemale İmparatorluk sınırları içindeki aksaklıkları, hem devlet yönetimindeki hem de ordudaki hata ve eksiklikleri daha yakından görmesini sağladı. Bu zor durumdan kurtuluş ve çıkış yolları aramaya başladı. 1906 yılının Ekim Ayında bazı arkadaşlarıyla gizli olarak Vatan ve Hürriyet Cemiyetini kurdu; cemiyetin Beyrut, Yafa ve Kudüste örgütlenmesini gerçekleştirdi. Daha sonra Selanike giderek, burada Vatan ve Hürriyet Cemiyetinin bir şubesini açtı ve tekrar Şama döndü.
Mustafa Kemal 20 Haziran 1907 tarihinde Kolağası, yani günümüzdeki adıyla kıdemli yüzbaşı oldu. 13 Ekimde ise merkezi Manastırda bulunan 3. Ordu Karargahına atandı ve bu ordunun Selanikteki bölümünde göreve başladı. Ayrıca 22 Haziran 1908de, 3. Ordu Karargahındaki görevine ek olarak Üsküp-Selanik demiryolu müfettişliği de kendisine verildi.
Mustafa Kemal o günlerde Rumelide önemli bir faaliyet gösteren İttihat ve Terakki Cemiyetine katıldı. Bu cemiyetin o sıradaki başlıca hedefleri, 1876 Anayasasının tekrar yürürlüğe konmasını ve kapalı durumdaki Meclis-i Mebusanın yeniden toplanmasını sağlamaktı. Nitekim Sultan Abdülhamitin onayıyla 23 Temmuz 1908 tarihinde ilan edilen II. Meşrutiyette İttihat ve Terakki büyük bir rol oynadı.
Kişiliğinde tamamen özgürlükçü bir yapıya sahip olan Mustafa Kemal, Meşrutiyetin ilanını olumlu, ancak yetersiz bir gelişme olarak değerlendiriyordu. Hürriyetin tam anlamıyla gelmesiyle ülkenin daha hızlı ilerleyeceği ve kalkınacağını savunuyor, yönetimin gerçek sahiplerine, yani millete verilmesini istiyordu. İşte bu noktada onun, İttihat ve Terakki Cemiyeti ile önemli bir fikir ayrılığı ortaya çıktı. Çünkü İttihat ve Terakki Cemiyeti II. Meşrutiyetin ilanını yeterli buluyor, Mustafa Kemalin inkılapçı düşüncelerini kabul etmek istemiyordu. Bu şartlarda bile O, cemiyete gerekli uyarıları yapmaktan çekinmedi.
13 Nisan 1909 tarihinde İstanbulda, 31 Mart Vakası olarak bilinen büyük bir ayaklanma patlak verdi. Mustafa Kemal, işte bu olumsuz gelişme üzerine Rumelide kurulan Hareket Ordusunun Kurmay Başkanlığına getirildi ve bu orduyla birlikte 19 Nisan 1909da İstanbula geldi. Hareket Ordusunun İstanbula gelişinin ardından yapılan açıklamayı kaleme aldı ve söz konusu isyanın bastırılmasında etkili oldu. Ordunun kontrolü tamamen ele geçirmesinden sonra Sultan Abdülhamit tahttan indirildi ve yerine Sultan Reşat geçirildi. Mustafa Kemal, 16 Mayıs 1909da tekrar Selanikteki görevinin başına geri döndü.
Mustafa Kemalin Selanike dönüşü İttihat Terakki Cemiyeti ile olan görüş ayrılığını daha da ön plana çıkarır. 22 Eylül 1909da İttihat Terakki Kongresinde ordunun siyasete karışması ve bunun doğuracağı muhtemel olumsuz sonuçlar üzerine bir konuşma yapar. İttihat ve Terakki Cemiyetinin izlediği siyasetin yanlış olduğuna ve ülke yararına olmadığına kanaat getirir. Tüm vaktini ordudaki görevine ayırır.
Mustafa Kemal Selanikteki görevini sürdürdüğü dönemde, Eylül 1910da gözlemci sıfatıyla Fransadaki Pikardi Manevralarına gönderildi. Daha önce önemini fark ederek aldığı Fransızca eğitimi kendisine büyük kolaylık sağlamıştı. 1911in Mart ayında ise, Arnavutlukta çıkan isyanı bastırmak üzere oluşturulan Harbiye Nazırı Mahmut Şevket Paşanın komutasındaki birlikte yer aldı. 3. Ordu Karargahının ardından sırasıyla 5. Kolordu Karargahı ve 38. Piyade Alayında görev aldı. Aslında bu görevler ile bazı çevreler Onu yıpratmak, şevk ve heyecanını kırmak istiyorlardı. Diğer bir deyişle, hedeflenen, Mustafa Kemalin yükselmesini engellemekti. Fakat O, bütün görevlerinde olduğu gibi, burada da başarılı oldu; çalışma arkadaşlarının ve kumandanlarının takdirlerini topladı.
Vatan sathında yapmış olduğu görevler Mustafa Kemalin yenilikçi ve inkılapçı düşüncelerini olgunlaştırmış ve etrafında birçok genç subayın toplanmasını sağlamıştı. Fakat bu yeni yapılanma Osmanlı Devletinin kimi kesimleri tarafından tehlikeli görülüyordu. Nitekim onun, 27 Eylül 1911 tarihinde İstanbulda bulunan Genelkurmay Başkanlığına tayin edilmesi, bu çarpık bakış açısının bir sonucu oldu. 1908 Meşrutiyetinden sonra bazı Osmanlı birliklerinin buradan ayrılması ve askeri gücün zayıflamasını fırsat bilen İtalyanlar, 1911in son aylarında Trablusgarpa saldırdılar. Mustafa Kemal bu gelişmenin ardından Tobruk ve Derne Bölgelerinde gönüllü mahalli kuvvetlerin başına, sonra Derne Komutanlığına atandı. 27 Kasım 1911 tarihinde Binbaşılığa terfi etmesi de söz konusu dönem içinde gerçekleşti.
Mustafa Kemalin önderliğindeki Türk birliklerinin ve yerli halkın kahramanca karşı koyması nedeniyle İtalyanlar ancak kıyıda tutunabilmişlerdi. Fakat bu sırada Balkanlarda başlayan karışıklık nedeniyle buradaki mücadele sona erdi ve 15 Ekim 1912 tarihinde Uşi Barışı imzalandı. Bunun sonucunda Osmanlı Devleti Afrikadaki son topraklarını da kaybetmiş oldu.
1912 yılının Ekim ayında Balkan Harbinin başlaması üzerine Mustafa Kemal, 24 Ekim 1912de Trablusgarptan ayrılarak İstanbula geldi. 21 Kasım 1912de Geliboluda bulunan Bahr-i Sefid (Akdeniz) Boğazı Kuvay-ı Mürettebesi Komutanlığı Harekât Şubesi Müdürlüğüne atandı. Bu sırada Selanik düşmüş, Bulgar Ordusu Babaeski-Lüleburgaz Savaşını kazanarak Çatalcaya kadar gelmişti. Osmanlı adeta Avrupadan itilip Asyaya sürülmek isteniyordu. İttihatçıların yönetimindeki Osmanlı Hükümeti, 30 Mayıs 1913de Midye-Enez hattını kabul etmek zorunda kalmıştı. Osmanlı mirasını paylaşmada anlaşamayan Balkanlılar Bulgaristana karşı savaşa tutuşmuşlardı. Bu sırada Türk Ordusu hemen harekete geçti. Mustafa Kemal ise Bolayır Kolordusu Kurmay Başkanlığına getirildi; Dimetoka ve Edirnenin düşmandan geri alınmasında oldukça emeği geçti.
Balkan Harbinin neticelenmesinden sonra 27 Ekim 1913 tarihinde Sofya Ataşemiliterliğine atandı; aynı zamanda Belgrad ve Çetine Askeri Ataşeliği görevini de üstlendi. 1915 yılının Ocak ayına kadar süren bu görevi sırasında yarbaylığa terfi etti.