В детстве он мечтал быть пианистом, но сначала пошел по стопам своего отца, изучал юриспруденцию и даже получил степень доктора права. Однако позднее Бем решил стать дирижером и с этой целью окончил консерватории в Вене и Граце по классу рояля и теории музыки. Свою дирижерскую карьеру Бем начал в 1917 году в Граце. С 1921 года благодаря содействию Б. Вальтера работал в Мюнхене, с 1927 — в Дармштадте, с 1931 — в Гамбурге. В 1933 г. впервые выступил в Вене («Тристан и Изольда» Р. Вагнера. В 1934-1941 гг. Бем возглавлял оперный театр Дрездена. Там он близко познакомился с Р. Штраусом и участвовал в ряде премьер его произведений («Молчаливая женщина», 1935; «Дафна», 1938). В 1943-1945 и в 1954-1956 гг. был директором Венской оперы.
К. Бем принимал участие в Зальцбургском (с 1938 г.) и Байройтском (1962-1970 гг.) фестивалях. Гастролировал в Италии, Франции, Аргентине, Японии, СССР, исполняя произведения В.-А. Моцарта, Р. Штрауса, Р. Вагнера, Й.-А. Брукнера, Л. ван Бетховена. Тесно сотрудничал с Венским филармоническим оркестром, осуществил с ним много записей, а в 1967 году был назван почетным дирижером этого оркестра. В 1974 году Бем осуществил запись всех симфоний Моцарта. Последний спектаклем К. Бема стала опера Р. Штрауса «Ариадна на Наксосе»), с которой Венская опера гастролировала в Японии в 1980 году. За несколько недель до своей смерти Бем участвовал в записи с Венским филармоническим оркестром фильма-оперы Г. Фридриха «Электра».