Культовую группу «Аквариум» он основал вместе со школьным другом Анатолием Гуницким еще в студенческие годы, учась на факультете прикладной математики – процессов управления Ленинградского государственного университета. Группа была неформальной, выступала в основном подпольно и дебютировала на сцене спустя два года после основания.

В 1977 году после окончания университета Гребенщиков начинает работать в НИИ социологии, одновременно сочиняя песни. В это же время БГ выпускает журнал «Рокси».

В 1978 году «Аквариум» записывает первый акустический альбом «Все братья – сестры». Скандальную известность группе принесло участие в
Тбилисском рок-фестивале 1980 года, после которого Гребенщикова уволили с работы и исключили из комсомола. Группа была запрещена.

«Аквариум» продолжает играть нелегально, участвует в фестивалях ленинградского рок-клуба. Выйти из подполья музыкантам удалось лишь во времена перестройки.

Коллектив выпускает несколько альбомов, Гребенщиков пишет музыку к фильмам Сергея Соловьева «Черная роза – эмблема печали, красная роза – эмблема любви», «Асса», «Нежный возраст». А в фильме «Два капитана-2» Сергея Дебижева можно не только услышать музыку БГ, но и увидеть самого композитора.

В начале 1990-х годов группа «Аквариум» распалась. В этот период Гребенщиков создает другую – «БГ-Бэнд». Но в 1993 коллектив «Аквариума» собирается вновь. После опалы следует период признания творчества Гребенщикова. За вклад в развитие рок-музыки он получает премии «Триумф», «FUZZ», «ПобоRoll», «Своя колея» и другие.

В 2005 году Гребенщиков начинает вести программу «Аэростат» на «Радио России».

В 2009 году музыканту в Берлине сделали операцию на сердце.