голландский дирижер немецкого происхождения. Начальное музыкальное образование он получил в Утрехте у композитора и дирижера Рихарда Хола, композитора Антона Аверкампа и скрипача Генри Вильгельма Петри. Достигнув определенного мастерства в исполнении на фортепиано и органе, был направлен в Кельнскую консерваторию, где обучался у Изидора Зайсса (фортепиано) и Франца Вюльнера (дирижирование), изучая также орган, сольное пение и композицию. Окончив консерваторию в 1891 г. с первыми премиями по дирижированию, фортепиано и композиции, был назначен генеральмузидиректором в Люцерне: он дирижировал оркестром и хором, был директором музыкальной школы, преподавал фортепиано и занимался сочинением музыки. В 1895 г. по рекомендации Вюльнера получил место руководителя оркестра Консертгебау в Амстердаме, которое занимал до 1945 г. На последнем концерте своего предшественника, Виллема Кеса, выступил как солист в Первом фортепианном концерте Листа, а вскоре сам встал за пульт, продирижировав Пятой симфонией Бетховена. Бессменно руководя оркестром в течение пятидесяти лет, сделал из него коллектив высочайшего класса, вошедший в число ведущих мировых оркестров, и сыграл с ним немало знаменательных премьер, например симфоническую поэму «Жизнь героя» Р. Штрауса (1898), Второй скрипичный концерт Бартока (1939, с З. Секеем) и «Вариации к венгерской народной песне "Павлин"» З. Кодая (1939).
Заложил в оркестре традицию исполнения музыки Густава Малера, с которым познакомился и подружился в 1902 г. Через год он пригласил Малера продирижировать в Амстердаме его Третьей симфонией, а в 1904 г. посвятил его творчеству цикл концертов, причем Четвертая симфония в одном из концертов прозвучала дважды – в исполнении Менгельберга и под управлением автора. Будучи знакомым со многими современными ему композиторами, активно пропагандировал их сочинения, часто исполняя их в своих концертах, однако это почти не касалось музыки нидерландских композиторов, за что дирижер был подвергнут критике. В 1922 г. возглавил Нью-Йоркский филармонический оркестр. С 1926 г. делил должность главного дирижера с Артуро Тосканини, из-за творческих разногласий с которым в 1928 г. вынужден был уйти из оркестра. В 1928 г. получил почетную степень Колумбийского университета, а в 1934 г. стал профессором музыки в университете Утрехта.
Самые противоречивые аспекты биографии – его поведение и действия во время нацистской оккупации Нидерландов в 1940-1945 гг. В интервью нацистской газете заявил, что, услышав о сдаче Нидерландов немецким захватчикам, поднял за это бокал шампанского. Во время войны дирижер давал концерты в Германии и оккупированных странах и фотографировался с деятелями нацизма, например с А. Зейсс-Инквартом. В 1945 г. Почетный музыкальный совет Нидерландов наложил пожизненный запрет на выступления Менгельберга на территории страны. В 1947 г., рассмотрев апелляцию, Совет сократил срок запрета до шести лет; в том же году королева Вильгельмина лишила дирижера Почетной золотой медали. В 1949 г. Амстердамский городской совет лишил Менгельберга пенсии, которую до тех пор он вопреки всему получал от оркестра. После этого уехал в Швейцарию, где и умер за два месяца до окончания срока изгнания.