Александр Цемлинский родился в oдном из округов Вены, Леопольдштадте; жизнь его обитателей во многом была подчинена еврейским традициям. Его отец, Адольф Цемлинский, притязал на лавры писателя и во имя возможной карьеры он изменил написание своей фамилии (Semlinsky) на более венгерское, Zemlinsky, прибавив к ней дворянский предикат, право на который, однако, никогда не было доказано. Музыкальные способности Александра проявились в четырехлетнем возрасте, и родители наняли ему учителя музыки.  В 10 лет его приняли в только что организованный хор сефардской общины, а потом, когда голос сломался, он стал концертмейстером хора, а также играл на органе в синагоге. Но духовная, сефардская музыка повлияла на его музыкальные вкусы незначительно. Гораздо большее влияние оказала на него музыка В. А. Моцарта, а позднее — И. Брамса и Р. Вагнера.

В 12 лет Александр поступил в консерваторию при Венском Музикферайне и был зачислен в класс фортепиано Вильгельма Рауха. Через три года его успехи были замечены, и он получил стипендию А. Рубинштейна в размере 1000 гульденов в год. После 1887 он перешел в фортепианный класс Антона Доора (заметим, что в 1866-1869 Доор был профессором Московской консерватории и коллегой П.И. Чайковского, посвятившего ему Вальс-каприс оp. 4, 1868), параллельно два года занимался теорией у Франца Кренна и Роберта Фукса (Fuchs, 1847-1927), друга Брамса и адепта классической музыки в противовес ново-немецкой школе, ассоциировавшейся с именами Листа и Вагнера.

Первый успех (ок. 1890): победа на ежегодном консерваторском конкурсе пианистов, золотая медаль и первый приз — рояль фирмы Бозендорфер. Во время учебы Цемлинский завязал многие важные для него знакомства, — с дирижером А. Боданцким, теоретиком музыки Г. Ботстибером, виолончелистом Ф. Буксбаумом и критиком Р. Хойбергером. Многие двери ему открыло вступление в Венское общество музыкального искусства, основанное А. Доором. В 1895 Цемлинский сам выступил инициатором создания «Музыкального общества Полигимния», просуществовавшего, правда, только до марта 1896, но познакомившее его с Арнольдом Шёнбергом, которому он давал уроки и ввел его в венские музыкальные круги. Здесь зародилась их дружба на всю жизнь.

Наиболее значительные сочинения этого периода:
Опера «Зарема» (между 1893 и 1895), «Четыре баллады», Сюита для оркестра, Симфония В-dur (№ 3);
В память Брамса (1896) — кантата «Похороны весны»;
Опера «Это было однажды».

На премьере кантаты «Похороны весны» в 1900 в Золотом зале Венского Музикферайна Цемлинский познакомился с юной Альмой Шиндлер и стал ее учителем музыки. Постепенно их отношения переросли в любовную связь. Альма восхищалась его музыкой, интеллектом, была очарована его эротическим «излучением», хотя никогда не находила его привлекательным. Вот запись из ее дневника: «Карикатура — без подбородка, маленький, глаза навыкате». Цемлинский любил ее самозабвенно, однако ему был чужд поверхностный образ жизни, который она вела. Он писал ей: «Либо Вы сочиняете музыку, либо вращаетесь в свете — одно из двух. Выбирайте, однако, для себя то, что вам ближе — светскую жизнь». Альма исполняла все его интимные желания и доводила тем самым почти до потери рассудка. Он искал женщину, которая разделила бы с ним затворническую жизнь, что для Альмы было немыслимо. Порвав с Цемлинским, она вышла замуж в 1902 за Густава Малера, который был ее на 19 лет старше. Отношения с Альмой Шиндлер послужили Цемлинскому источником вдохновения при сочинении оперы «Карлик» на сюжет Оскара Уайльда (премьера в 1922). В 1907 Цемлинский женился на Иде Гутманн, однако брак оказался несчастливым. После смерти Иды (1929) Цемлинский женился в 1930 на Луизе Заксель, его ученице с 1914, которая была его моложе на 29 лет. Этот брак продлился до смерти Цемлинского.

С 1900 он занимал должности главного дирижера Карлова театра в Вене, музыкального руководителя Народного оперного театра (в период работы над операми «Гёрге-мечтатель» и «По одежке встречают»), недолгое время служил в Венской придворной опере, пока не обосновался в Праге в 1911.

С сентября 1911 по 1927 Цемлинский был музыкальным руководителем в Новой немецкой оперы в Праге, финансировавшейся почти исключительно на частные пожертвования проживающих в Праге немцев. Постановки, осуществленные им на этой сцене, — «Фиделио», «Тангейзер», «Вольный стрелок», — имели успех, значительным событием стала премьера в 1924-м монодрамы Шёнберга «Ожидание». Но работа в театре практически не оставляла времени для занятия композицией. По окончании Первой мировой войны Цемлинский пытался найти место в Вене, но вынужден был остаться в Немецкой опере, которая, будучи национализированной Чехословацкой республикой, получила государственное финансирование.

К середине 1920-х он уже имел репутацию дирижера высокого класса, выступал в Вене, Риме и Барселоне. В 1927 Цемлинский стал дирижером берлинской Кролль-оперы, задуманной как площадка для экспериментальной музыки, но в реальности мало уделявшей ей внимания. Будучи первым капельмейстером, Цемлинский по должности подчинялся более молодому коллеге, Отто Клемпереру. Его репертуар включал оперы Моцарта, Вагнера, Штрауса, произведения Маалера, Берга, Стравинского, он много гастролировал, — в Париже, Риме, Варшаве, Ленинграде, Праге и т.д. Кролль-опера просуществовала до 1931.

Весной 1933 из-за прихода к власти нацистов в Германии Цемлинский возвратился в Вену, продолжая тем не менее готовить к постановке оперу «Меловой круг» (написанную между 1930 и 1931, по Клабунду).  Премьера состоялась 14 октября 1933 в Цюрихе, а затем, несмотря на отмены нацистами представлений «Мелового круга», спектакли все же прошли во многих городах Германии, а 21-й спектакль в Берлине принес композитору настоящий успех. После «Аншлюса» Австрии в 1938 Цемлинский принял решение покинуть страну и в декабре того же года прибыл в Нью-Йорк, где вскоре серьезно заболел. Он скончался 15 марта 1942.

Прошло немало времени, прежде чем Цемлинский вышел из тени признанных авторитетов своей эпохи. Первым сигналом возрождения стала радиопередача (1959), в которой Теодор Адорно дал высокую оценку творчеству Цемлинского, по сей день не утратившую актуальности. Но первая биография композитора, принадлежащая Хорсту Веберу, появилась только в 1977. Несколько позднее на волне возрождения Малера, музыкальной общественности были возвращены имена Шрекера и Корнгольда, и тогда вышла грампластинка «Ласалль-квартета» со 2-м струнным квартетом Цемлинского. Она имела сенсационный успех и несколько недель находилась в списке хитов классического репертуара.

Примерно в 1980 сочинения Цемлинского вернулись и на оперную сцену. Премьера «Гёрге-мечтателя» в Нюрнберге и возобновление обеих одноактных опер на сюжеты О. Уайльда стали событиями в музыкальном мире; из преподавателя и родственника Шёнберга он снова стал востребованным композитором. Его музыка, в отличие от младшего коллеги, не перешагнула порога атональности, а осталась в русле позднего романтизма, с выраженным индивидуальным стилем, эмоциональной насыщенностью и уверенным мастерством. С середины 1990-х и постановки «Царя Кандавла» (6 октября 1996 в Гамбургской государственной опере) музыку Цемлинского можно по-настоящему считать возвратившейся. Цемлинский был открыт с опозданием, но, как еще в 1921 пророчески выразился Шёнберг: «Цемлинский может и подождать».