В 1897 году поступил в начальное железнодорожное училище.
В 1901 году с семьёй переехал в Крюков, (в настоящее время район города Кременчуга Полтавской области).
В 1904 окончил четырёхклассное училище в Кременчуге и одногодичные педагогические курсы (1905).
В 1905 году работал там же учителем в железнодорожном училище, затем на станции Долинская.
1914—1917 годах — учёба в Полтавском учительском институте, который он закончил с золотой медалью. Тема диплома — «Кризис современной педагогики».
В 1916 был призван в армию, но по слабости зрения демобилизован.
В 1917—1919 был заведующим железнодорожной школой при Крюковских вагонных мастерских.
В 1919 году переехал в Полтаву.
По поручению Полтавского Губнаробраза создал трудовую колонию для несовершеннолетних правонарушителей в селе Ковалёвка, близ Полтавы, в 1921 году колонии было присвоено имя М. Горького, в 1926 году колония была переведена в Куряжский монастырь под Харьковом; заведовал ею (1920—1928), с октября 1927 года до июля 1935 года был одним из руководителей детской трудовой коммуны ОГПУ имени Ф. Э. Дзержинского в пригороде Харькова, в которых продолжил на практике воплощать разработанную им воспитательно-педагогическую систему. М.Горький интересовался воспитательной и педагогической деятельностью А. Макаренко, оказывал ему всяческую поддержку. Выдающиеся достижения в области воспитания и перевоспитания молодёжи (как из числа бывших беспризорников, так и из семей), подготовки к её дальнейшей успешной социализации, выдвинули Макаренко в число известных деятелей русской и мировой культуры и педагогики.
Член Союза советских писателей (с 1934 года).
С 1 июля 1935 года переведён в Киев, в центральный аппарат НКВД УССР, где работал на должности помощника начальника отдела трудовых колоний до ноября 1936 года. Некоторое время — до переезда в марте 1937 года из Киева в Москву, руководил педагогической частью трудовой колонии № 5 в Броварах под Киевом.
После переезда в Москву занимался в основном литературной деятельностью, публицистикой, много выступал перед читателями, педагогическим активом. Указом Президиума Верховного Совета СССР от 31 января 1939 г. награждён орденом Трудового Красного Знамени. Незадолго до кончины, в феврале 1939 года подал заявление о принятии его кандидатом в члены ВКП(б).
Скоропостижно скончался в вагоне пригородного поезда на станции Голицыно 1 апреля 1939 года. Похоронен на Новодевичьем кладбище.
