В 1884 году 27-летний Макаров получает свою первую самостоятельную должность — Городская дума избирает его «добавочным» мировым судьей по городу Санкт-Петербургу. В следующем году его назначают членом окружного суда. В 1887 году указом Правительствующего сената А. А. Макарова утверждают в должности санкт-петербургского почетного мирового судьи. В этом звании он прослужил два года, а в январе следующего был награжден орденом Св. Станислава 2-й степени.
После основательной ревизии Прибалтийского края только что назначенный министром юстиции и генерал-прокурором Н. А. Манассеин, с одобрения императора Александра II, начал проведение там судебной реформы. Для этого потребовались квалифицированные кадры прокурорских и судебных работников. Среди кандидатов на руководящие должности в Прибалтике был и А. А. Макаров. 32-летний юрист в октябре 1889 года стал первым прокурором Ревельского окружного суда. В этой должности он прослужил почти пять лет, зарекомендовав себя хорошим профессионалом, строгим, но внимательным руководителем. Здесь он достиг чина коллежского советника и получил очередной орден — Св. Анны 2-й степени.
В апреле 1894 года Александр Александрович возглавил прокуратуру Нижегородского окружного суда, где и выслужил чин статского советника. В начале 1897 года Макаров стал прокурором Московского окружного суда. Дел у московского прокурора было много: контроль за товарищами прокуроров и судебными следователями, участие во всевозможных комиссиях и заседаниях, прием посетителей и масса других. Прокуратура тогда вела наступательную борьбу с преступностью, много внимания уделяла разоблачению расхитителей и растратчиков.
В Москве А. А. Макаров оставался около двух лет. 24 мая 1899 года в чине действительного статского советника он был переведен в Киев на должность председателя окружного суда, прокурором которого был талантливый юрист С. Н. Цемш. На место Макарова в Москве заступил А. В. Степанов.
В новой должности А. А. Макаров служил до 14 марта 1901 года, удостоившись за свою деятельность ордена Св. Владимира 3-й степени, а затем вновь перешел в прокуратуру. Он стал прокурором Саратовской судебной палаты. Здесь ему пришлось работать вместе с губернатором Петром Аркадьевичем Столыпиным.
7 апреля 1906 года А. А. Макаров в качестве старшего председателя возглавил Харьковскую судебную палату, но пробыл на этой ответственной должности только полтора месяца. Назначенный в правительстве И. Л. Горемыкина министром внутренних дел П. А. Столыпин, успевший за время совместной работы в Саратове по достоинству оценить деловые качества Макарова, в мае 1906 года пригласил Александра Александровича к себе заместителем. В восхождении А. А. Макарова по ступеням служебной иерархии начался следующий, более ответственный период.
Назначение Макарова товарищем министра внутренних дел совпало, с одной стороны, с усилением террористической деятельности социалистов-революционеров, а с другой — с введением военно-полевых судов и наступлением царизма на революционное движение. Ему достался самый боевой участок. Как заместитель министра он курировал департаменты полиции и духовных дел иностранных исповеданий, а также состоящий при министерстве техническо-строительный комитет.
С. Ю. Витте считал серьезной ошибкой назначение на эти посты П. А. Столыпина и А. А. Макарова. Он писал, что со времени вступления Столыпина на пост министра «последовала полная дезорганизация полиции». В это время работа полиции строилась в основном на провокациях. «Вся полиция в такое трудное время очутилась в руках лиц, совершенно незнакомых с тем делом, которым они должны были заниматься», — писал Витте.
А. А. Макарову как бывшему прокурору было довольно сложно срабатываться со своими подчиненными. На многие вопросы он смотрел с точки зрения законности, а это не всем нравилось. Обладая неплохими ораторскими способностями, Макаров часто поднимался на думскую трибуну, чтобы отстоять тот или иной законопроект, разработанный министерством внутренних дел, ответить на запросы депутатов, дать справку по расследуемым уголовным делам или разъяснения по сложным вопросам внутренней жизни империи. По словам В. Н. Коковцова, сменившего на посту председателя Совета Министров Столыпина, выступления Макарова в Государственной думе, причем по делам «крайне щекотливого свойства, отличались всегда большим тактом, эрудицией и определенностью и снискали ему то уважение, без которого участие в работе законодательных учреждений для представителя правительственной власти просто невозможно».
Читать дальше