А. А. Зимин родился и прожил всю свою жизнь в Москве. Он окончил школу перед войной, а Московский университет — уже в военные годы. В 1947 г., после аспирантуры, Зимин защитил кандидатскую диссертацию, посвященную землевладению Иосифо-Волоко-ламского монастыря, поступил на работу в Институт истории Академии наук и всю жизнь проработал в этом институте,
а Также преподавал в Историко-архивном институте. С 1959 г. он доктор исторических наук.
Темой для своего очередного исследования Зимин буквально «заболевал». Когда он писал очередную работу (а писал быстро, «на едином дыхании»), все беседы, все выступления в дискуссиях в конце концов сводились к каким-то сюжетам и проблемам его новой работы. А темы были многообразны. Зимин принадлежал к тем историкам, которые с увлечением работают с различными источниками: летописями, документальным материалом, литературными произведениями, юридическими памятниками.
Теперь, когда написанные им статьи и книги (всего их более 300) опубликованы, видно, что Зимина более всего интересовала история России 15 — начала 17 в.: процесс образования единого государства, формирование на территории недавно обособленных княжеств и земель единства экономической, политической, духовной жизни.
Зимин очень любил издавать исторические источники. Он считал, что исследователи прошлого века, оставившие большой объем публикаций, подготовили развитие науки в наши дни. И моральный долг современников — продолжить их работу, сохранить научное наследие. Он также придавал большое значение вспомогательным историческим дисциплинам, которые и преподавал в Историко-архивном институте. Немало сил и здоровья он отдал выяснению вопроса о подлинности «Слова о полку Игореве». Его точка зрения резко отличалась от традиционной.
Работа над любимыми темами у Зимина продолжалась десятилетиями и включала публикацию основных источников, серию статей по конкретным сюжетам и лишь позднее выливалась в монографическое исследование. Так было и с проблемой, посвященной формированию сословно-государственных структур русского общества: от публикации в 50-е гг. источников середины 16 в., статьи о составе Боярской думы, дьяческого аппарата, дворов великих и удельных князей до монографии о формировании правящего класса, изданной посмертно.