Родился в Донецке 3 октября 1946 г. Учился в Донецком государственном университете по специальности экономист и закончил его в 1973 г. Доктор экономических наук. В 2001 году защитил диссертацию на тему "Регулирование процессов рыночной трансформации системы доходов местного самоуправления".
С 1972 по 1976 г. Рыбак занимал разнообразные должности на донецких предприятиях, в частности, в тресте "Сантехэлектромонтаж" и Донецком облмежколхозбуде.
С сентября 1976 по август 1980 г. - председатель парткомиссии в Киевском РК КПУ города Донецка.
С сентября 1980 по август 1982 г. - слушатель в политической школе при ЦК КПУ.
С августа 1982 по октябрь 1983 г. - инструктор отдела организационно-партийной работы, Донецкого ОК КПУ.
С октября 1983 по сентябрь 1988 г. - секретарь Киевского РК КПУ г.Донецька.
С сентября 1988 по ноябрю 1992 г. - председатель Киевского райсовета и райисполкома города Донецка.
С ноября 1992 по сентябрь 1993 г. - I-й заместитель председателя исполкома Донецкого горсовета народных депутатов.
С 1993 по 2002 г. - председатель Донецкого горсовета народных депутатов; Донецкий городской председатель, избранный безальтернативно.
С 4 августа 2006 по 21 марта 2007 г. - вице-премьер-министр Украины - министр строительства, архитектуры и жилищно-коммунального хозяйства Украины.
21 марта-18 декабря 2007 г. - вице-премьер-министр Украины.
В 2002-2005 гг. - постоянный представитель Кабмина в Верховной Раде Украины.
Рыбак в 1997-2000 гг. занимал должность председателя Партии регионов возрождения Украины. С 2000 по 2001 г. был сопредседателем Партии регионального возрождения "Трудовая солидарность Украины", а в 2001-2003 гг. - заместителем председателя Партии регионов и председателем Донецкого областного отделения Партии регионов.
С 23 апреля 2010 г. - первый заместитель председателя Партии регионов Украины. Народный депутат Украины. Также входил в состав парламента III, IV и V созывов.