В период Великой Отечественной войны А.А. Крохин являлся оперативным работником особых отделов НКВД Ленинградского, а затем Московского военных округов. Проявил незаурядные способности и мужество, был награжден двумя орденами.
В 1945-1946 годах возглавлял группу военной контрразведки "Смерш", входившую в состав советской военной миссии, аккредитованной при штабе Английской рейнской армии. В середине 1946 года перешел на работу во внешнюю разведку и в дальнейшем руководил важнейшими направлениями ее деятельности.
В 1950-1954 годах возглавлял резидентуру МГБ в Париже, в 1954-1961 годах и в 1964-1966 годах являлся заместителем начальника Первого главного управления КГБ и одновременно возглавлял нелегальную разведку, а затем — внешнюю контрразведку.
В 1961-1964 годах — уполномоченный КГБ по координации и связи с МГБ и МВД ГДР.
В 1966-1971 годах вторично возглавлял резидентуру КГБ в Париже.
Обладая замечательными организаторскими способностями и высоким профессиональным мастерством, он большое внимание уделял воспитанию подчиненных, прививал им навыки оперативного мышления, заботился о служебном росте оперативных работников. Генерал-майор.
Многолетний плодотворный труд А.А. Крохина был отмечен орденом Ленина, четырьмя орденами Красного Знамени, двумя орденами Красной Звезды, многими медалями, а также нагрудным знаком "Почетный сотрудник госбезопасности".
Скончался в 1983 году.