Родился в музыкальной семье. Мать — теоретик и преподаватель музыки. Прадед по материнской линии П. И. Виноградов был протоиереем и ключарем Успенского собора Московского Кремля.
В 1962 закончил Московский архитектурный институт, в конце 1970-х годов получил диплом 2-го Московского областного музыкального училища. С середины 1950-х годов в основном выступал на нелегальных концертах в качестве пианиста. В 1961 принял участие в создании первого в СССР джазового кафе «Молодежное», где играл со своим квинтетом до 1966. С конца 1966 по 1968 работал в оркестре «ВИО-66» под управлением Ю. Саульского. Козлов — организатор нескольких джаз-клубов. В 1973 организовал джаз-рок-ансамбль «Арсенал».
В 1962 фирма «Польские награния» выпустила две пластинки с записями фестиваля «Jazz Jemboree-62». Это было первое выступление за рубежом советского секстета с участием Козлова. Первую джазовую запись на гибкой пластинке «Квинтет А. Козлова» в 1964 выпустил журнал «Кругозор», затем вышли записи «Квартета» на виниловых пластинках: «Джаз-65, 66, 67». В 1980 увидели свет сольные выпуски «Арсенала» фирмы «Мелодия». В перестроечные годы к Козлову приходит официальное признание — в 1991 выходит компакт-диск «Алексей Козлов и его группа «Аресенал», «Неизвестный «АРСЕНАЛ». В 1989 вышла его первая книга «Рок-музыка: истоки и развитие».
Козлов проявил себя во всех стилях джаза — мейнстрим, боп, кул, хард-боп, а также прошел исполнительскую и композиторскую практику в стилях джаз-рок, фанк-фьюжн, блюз-рок. Занимается композиторской деятельностью, пишет инструментальные пьесы для джазовых комбо, джаз-рок ансамбля, струнного квартета, камерного ансамбля, музыку к театральным постановкам, художественным, документальным и видеофильмам, к рекламным роликам. В 1998 была опубликована его автобиографическая книга «Козел на саксе».