Karir militer Sudirman tergolong cepat. Pada masa itu pula Sudirman mengikuti pendidikan tentara Pembela Tanah Air (Peta) di Bogor. Kemudian ia diangkat menjadi Komandan Batalyon di Kroya. Jasa pertama Sudirman setelah kemerdekaan ialah merebut senjata pasukan Jepang di Banyumas.
Sesudah Tentara Keamanan Rakyat (TKR) terbentuk, ia diangkat menjadi Panglima Divisi V / Banyumas dengan pangkat kolonel. Bulan Desember 1945 ia memimpin pasukan TKR dalam pertempuran melawan Inggris di Ambarawa. Tanggal 12 Desember dilancarkan serangan serentak terhadap semua kedudukan Inggris. Akhirnya pasukan Inggris mengundurkan diri ke Semarang.
Dalam Konferensi TKR tanggal 12 Nopember 1945 Sudirman terpilih menjadi Panglima Besar TKR. Lalu tanggal 18 Desember 1945 ia dilantik oleh Presiden dengan pangkat Jenderal. Sejak itu TKR tumbuh menjadi Tentara Nasional Indonesia (TNI).
Jenderal Ustadz, Ustadz Jenderal
Ada yang sering lupa diceritakan Oleh buku-buku sejarah, jika beliau ini sangat dekat dan sangat dalam mempelajari agama Islam. Padahal, ketika itu, hampir semua orang tahu kalo Pak Dirman orang yang shaleh dan taat beragama. Hingga oleh para anak buahnya biasa disapa Kajine, istilah Jawa untuk panggilan Pak Haji. Padahal beliau belum pernah ke Mekkah. Dalam perjalanan gerilya, setiap mampir di pedesaan atau kampung, Pak Dirman selalu menyelenggarakan pengajian. Tiap malam, walau ia tengah menderita penyakit paru-paru yang kronis, Pak Dirman selalu menunaikan solat tahajud. Pak Dirman dulunya berasal dari keluarga santri.
Dalam rangka mengobarkan semangat jihad di kalangan tentara dan masyarakat, Pak Dirman erat menjalin hubungan kerja sama dengan pesantren-pesantren. Sebagai contoh, pada waktu pertempuran di Magelang, kemudian di Ambarawa, Pak Dirman sering ada di Payaman (sebelah utara Magelang) dan bekerja sama dengan pondok pesantren yang dipimpin Kyai Siraj. Pondok Pesantren ini banyak menggiring santrinya untuk berjihad dalam pertempuran Ambarawa.
