советский и российский учёный-математик, специалист в области функционального анализа, создатель и руководитель школы функционального анализа. В 1949 году поступил на механико-математический факультет Киевского университета, который окончил в 1954 году. Ещё студентом 4 курса получил рекомендацию А. Н. Колмогорова в аспирантуру механико-математического факультета МГУ (единственный рекомендованный из всех студентов на курсе). На старших курсах университета занимался под руководством Г. Е. Шилова. В своей студенческой работе (совместной с А. В. Скороходом), дал геометрическое доказательство теоремы Н. К. Бари о базисности ортонормированной системы в гильбертовом пространстве, квадратично близкой к ортонормированному базису. В 1954 году переехал в Москву, стал аспирантом механико-математического факультета под научным руководством Г. Е. Шилова. В это время группа Г. Е. Шилова разрабатывала вопросы теории уравнений в частных производных, главным образом с постоянными коэффициентами, в рамках теории обобщённых функций, которой тогда активно занимался также И. М. Гельфанд. А. Г. Костюченко доказал существование решений задачи Коши в классах функций, для которых Гельфанд и Шилов до этого установили единственность решения.
Впоследствии был привлечён И. М. Гельфандом к разработке теории разложений по собственным функциям общих самосопряжённых операторов.
«О собственных функциях самосопряжённых операторов». Диссертация на соискание учёной степени кандидат физико-математических наук, МГУ, М., 1957. «О некоторых спектральных свойствах дифференциальных операторов». Диссертация на соискание учёной степени доктор физико-математических наук, МГУ, М., 1966. Профессор кафедры теории функций и функционального анализа механико-математического факультета МГУ (1967). Дал (с соавторами) решение задачи С. Л. Соболева об устойчивости вращения волчка с полостью, заполненной вязкой жидкостью.
Член правления Московского математического общества.