В июле 2004 года возглавил Генштаб ВС РФ. Cменив на посту Анатолия Квашнина, Балуевский сумел примирить между собой Генштаб и Министерство обороны. Балуевский неоднократно выступал за превращение Генштаба в сугубо аналитическую организацию, "мозг армии". В декабре 2005 года стало известно о готовящейся реформе армии, разработанной в ведомстве Балуевского: планируется заменить военные округа на более крупные региональные командования, главкоматы видов Вооруженных сил и командования родов войск на соответствующие региональные структуры. По некоторым сведениям, Генеральный штаб и Минобороны уже приступили к реализации проекта.
Балуевский публично заявил, что по достижении 60-летнего возраста, в январе 2007 года, собирается уйти на пенсию.