Şam'da 5. Ordu'nun emrinde kaldığı üç yıl içinde Suriye'nin hemen her yerini görevle dolaşmış, memleket idaresindeki aksaklıkları, ordunun eğitim ve öğretimindeki eksiklikleri daha da yakından görmüştü. Mustafa Kemal, burada 1906 yılı Ekim ayı içinde güvendiği bazı arkadaşlarıyla gizli olarak "Vatan ve Hürriyet Cemiyeti"ni kurdu. Bu arkadaşlarıyla beraber Beyrut, Yafa ve Kudüs'te de kurdukları cemiyeti genişletti. Bir ara gizli olarak Mısır ve Yunanistan yoluyla Selânik'e geçerek burada da "Vatan ve Hürriyet Cemiyeti"nin bir şubesini açtı ve tekrar Şam'a döndü. Şam'dan ayrılması hükûmetçe duyuldu ise de âmirleri kendisini koruduğundan bir ceza yoluna gidilmedi. Bir süre daha Şam'da kaldı. Bu sıralarda 20 Haziran 1907 tarihinde Kolağası (kıdemli yüzbaşı) oldu ve Şam'daki Ordunun Kurmay Başkanlı'ğında bir göreve getirildi. 

Mustafa Kemal, 13 Ekim 1907'de merkezi Manastır'da bulunan 3. Ordu Karargâhına atandı. Bu Karargâhın Selânik'teki şubesinde çalışmak üzere Selânik'e geldi. Bu sıralarda Selânik'teki "Vatan ve Hürriyet Cemiyeti" üyelerini de içine almış olan ittihat ve Terakki Cemiyeti" faaliyet halinde idi. Mustafa Kemal de Selânik'e gelişini takiben bu cemiyete dahil olarak hizmet görmeye başladı. Memleketin istibdat idaresinden kurtarılması, yapılacak yenilikler onun da temel düşüncesiydi. Selânik'e gelişini takiben kısa bir süre sonra 22 Haziran 1908 de Üsküp-Selânik arasındaki demiryolu müfettişliği de 3. Ordu Karargâhındaki görevine ek olarak kendisine verildi. Bu esnada Rumeli'de büyük faaliyet gösteren "İttihat ve Terakki Cemiyeti" Abdülhamit'i,1876 Anayasasını yeniden yürürlüğe koymaya ve kapatılan Meclis-i Mebusan'ı tekrar toplantıya çağırmaya zorlamaktadır. "Ittihat ve Terakki Cemiyeti nin bu girişimleri adım adım II. Meşrutiyetin ilânına uzandı. 

23 Temmuz 1908 tarihinde İkinci Meşrutiyet ilân edildiği zaman Mustafa Kemal, Kolağası rütbesiyle Selânik'te askerî görevini sürdürmekte, bir yandan da "İttihat ve Terakki Cemiyeti" içinde çalışarak İstanbul'daki siyasi gelişmeleri yakından izlemektedir. O, II. Meşrutiyet gibi büyük bir inkılâbı takiben yapılanları kâfi görmüyor; bu fırsattan yararlanılarak memlekette daha büyük ve daha köklü değişikliklerin gerçekleştirilmesi gereğine inanıyordu. Fakat kendisinin görüşleri "İttihat ve Terakki Cemiyeti ileri gelenlerinin görüş ve düşüncelerine uymadı. Buna rağmen fikirleriyle zamanın söz sahibi kişilerini uyarmaktan da çekinmiyordu.