Родился 25 октября 1957 г. в с. Багачевка Звенигородского района Черкасской обл. После 8 класса среднеобразовательной школы поступил в киевской суворовское училище. В 1979 г. окончил Киевское высшее военное авиационное инженерное училище, в 1993 г. - Институт иностранных языков Минобороны США, в 1994 г. - оперативно-стратегический факультет Университета ВВС США, в 1995 г. - Академию Вооруженных сил Украины. Полковник запаса, кандидат технических наук, возглавлял управление проблем военной безопасности и военного строительства Научно-исследовательского центра Генштаба ВСУ.
В декабре 1999 г. Анатолий Гриценко возглавил Центр исследований им. Разумкова. В феврале 2000 г. стал внештатным консультантом парламентского комитета по вопросам национальной безопасности и обороны. В ноябре 2000 г. Анатолий Гриценко вошел в состав общественного совета экспертов по внутриполитическим вопросам при Президенте Леониде Кучме. На президентских выборах 2004 г. работал в штабе кандидата Виктора Ющенко.
В феврале 2005 г. Анатолий Гриценко впервые назначен на пост министра обороны в первом Кабмине Юлии Тимошенко. Занимал этот же пост в правительстве Юрия Еханурова в 2005-2006 гг. 4 августа 2006 г. вновь стал министром обороны во втором правительстве Виктора Януковича. В сентябре 2007 г. Анатолий Гриценко на внеочередных парламентских выборах прошел в Раду по списку блока НУ-НС. В 2009 г. баллотировался в Президенты Украины. Глава парламентского комитета по вопросам национальной безопасности и обороны.