Народився 25 жовтня 1957 р. у с. Багачівка Звенигородського району Черкаської обл. Після 8 класу середньоосвітньої школи вступив до київського суворовського училище. У 1979 р. закінчив Київське вище військове авіаційне інженерне училище, у 1993 р. - Інститут іноземних мов Міноборони США, у 1994 р. - оперативно-стратегічний факультет Університету ВПС США, в 1995 р. - Академію Збройних сил України. Полковник запасу, кандидат технічних наук, очолював управління проблем воєнної безпеки та військового будівництва Науково-дослідного центру Генштабу ЗСУ.
У грудні 1999 р. Анатолій Гриценко очолив Центр досліджень ім. Разумкова. У лютому 2000 р. став позаштатним консультантом парламентського комітету з питань національної безпеки і оборони. У листопаді 2000 р. Анатолій Гриценко увійшов до складу громадської ради експертів із внутрішньополітичних питань при Президентові Леоніді Кучмі. На президентських виборах 2004 р. працював в штабі кандидата Віктора Ющенка.
У лютому 2005 р. Анатолій Гриценко вперше призначений на посаду міністра оборони в першому Кабміні Юлії Тимошенко. Обіймав цю саму посаду в уряді Юрія Єханурова в 2005-2006 рр. 4 серпня 2006 р. знову став міністром оборони в другому уряді Віктора Януковича. У вересні 2007 р. Анатолій Гриценко на позачергових парламентських виборах пройшов у Раду за списком блоку НУ-НС. У 2009 р. балотувався в Президенти України. Глава парламентського комітету з питань національної безпеки і оборони.