Народився в Донецьку 3 жовтня 1946 р. Навчався у Донецькому державному університеті за фахом економіст і закінчив його в 1973 р. Доктор економічних наук. У 2001 році захистив дисертацію на тему "Регулювання процесів ринкової трансформації системи доходів місцевого самоврядування".
З 1972 по 1976 р. Рибак займав різні посади на донецьких підприємствах, зокрема, в тресті "Сантехелектромонтаж" і Донецькому облміжколгоспбуді.
З вересня 1976 по серпень 1980 р. - голова парткомісії в Київському РК КПУ міста Донецька.
З вересня 1980 по серпень 1982 р. - слухач в політичній школу при ЦК КПУ.
З серпня 1982 по жовтень 1983 р. - інструктор відділу організаційно-партійної роботи, Донецького ОК КПУ.
З жовтня 1983 по вересень 1988 р. - секретар Київського РК КПУ г.Донецька.
З вересня 1988 по листопада 1992 р. - голова Київської райради і райвиконкому міста Донецька.
З листопада 1992 по вересень 1993 р. - I-й заступник голови виконкому Донецької міськради народних депутатів.
З 1993 по 2002 р. - голова Донецької міськради народних депутатів; Донецький міський голова, обраний безальтернативно.
З 4 серпня 2006 по 21 березня 2007 р. - віце-прем'єр-міністр України, міністр будівництва, архітектури та житлово-комунального господарства України.
21 березня-18 грудня 2007 р. - віце-прем'єр-міністр України.
У 2002-2005 рр. - постійний представник Кабміну в Верховній Раді України.
Рибак в 1997-2000 рр. обіймав посаду голови Партії регіонів відродження України. З 2000 по 2001 р. був співголовою Партії регіонального відродження "Трудова солідарність України", а в 2001-2003 рр. - заступником голови Партії регіонів і головою Донецького обласного відділення Партії регіонів.
З 23 квітня 2010 р. - перший заступник голови Партії регіонів України. Народний депутат України. Також входив до складу парламенту III, IV і V скликань.