但经蒋介石派人游说，身为蒋同学的陈仪很快决定顺应潮流，投靠国民革命军。策动浙军起义成功后，陈仪所部改编为国民革命军第19路军，陈仪任军长。汤恩伯跟随陈仪，升任中校副团长，从此归入蒋介石麾下。
4月18日，南京国民政府成立，经陈仪推荐，汤恩伯当上了国民革命军总司令部参谋处二科中校参谋。但汤恩伯对这个职位并不满意，上任不久即常叹息：
“要斩将搴旗，立功沙场，安能局蹙辕下，仰人鼻息。”
不久，汤恩伯升任作战科科长。虽然汤恩伯资历浅，升职速度却很快，但此时他并没有引起蒋介石的注意。
1928年，蒋介石把黄埔陆军军官学校迁往南京，改名为中央陆军军官学校，原黄埔本校改为预料。蒋介石任中央陆军军官学校校长，何应钦、张治中先后任教育长。由于汤恩伯很得张治中好感，经张治中推荐，汤恩伯被调入中央陆军军官学校，任第六期步兵第1大队上校大队长。
到任之后，汤恩伯工作勤奋，以其独特的工作作风在众大队长中脱颖而出。当时军校第六期先后有4个步兵大队及炮兵、工兵、交通大队各一个。每天早晨跑步时，其他大队都是在校园里跑，汤恩伯却把他的步兵1大队带到校外跑，给军校领导留下了“汤恩伯是一个肯苦干的人”的印象。