В истории отечественной музыки он оставил яркий след, создав, как артист, немало превосходных интерпретаций классической и современной ему музыки, а как педагог — выдающуюся школу дирижерского искусства.

По первой музыкальной специальности Гинзбург — пианист (окончил в 1919 фортепианное отделение Нижегородского музыкального училища у Н. Полуэктовой). Также самостоятельно овладел виолончелью, валторной и ударными, играл на этих инструментах в оркестре Нижегородского Союза оркестровых музыкантов. В 1922 он окончил Московское высшее техническое училище (ныне имени Баумана), а затем поступил на дирижерский факультет Московской консерватории, где занимался под руководством Н. Малько, К. Сараджева и Н. Голованова. Теорию музыки изучал у Г. Катуара, Г. Конюса и Б. Яворского. На выпускном экзамене Гинзбург исполнил Шестую симфонию Чайковского и «Петрушку» Стравинского с оркестром Большого театра. В конце 1920-х – начале 1930-х по рекомендации Наркомпроса, Большого театра и консерватории совершенствовался в Германии: окончил отделение радио и акустики Берлинской Высшей музыкальной школы, прошел дирижерский курс Г. Шерхена, стажировался в берлинских оперных театрах у Л. Блеха и О. Клемперера.

Вернувшись в 1932 в СССР, Лео Гинзбург стал заметной фигурой в музыкальной культуре страны. До войны он работал в оркестре Всесоюзного радио, в Госоркестре СССР. В 1935 организовал симфонический оркестр в Сталинграде — первый из предшественников нынешнего Волгоградского академического симфонического оркестра. В 1930-х и 1940-х работал в оркестрах Минска, Хабаровска, участвовал в создании Новосибирского театра оперы и балета, открывшегося 12 мая 1945. В 1945-1948 Гинзбург — художественный руководитель и главный дирижер симфонического оркестра Азербайджанской филармонии, в 1950-1954 возглавлял Московский областной симфонический оркестр, в 1953-1955 — Московский государственный симфонический оркестр (ныне МГАСО под управлением Павла Когана). Дирижировал многими оркестрами городов СССР, в том числе ведущими московскими коллективами: Госоркестром, оркестром Московской филармонии, БСО Всесоюзного радио и телевидения.

Репертуар Гинзбурга-дирижера включал шедевры русских и европейских классиков (Чайковского, Рахманинова, Скрябина, Глазунова, Баха, Моцарта, Бетховена, Брамса), сочинения советских композиторов. Под его управлением прозвучали премьеры 13-й и 15-й симфоний Мясковского, Концерта для фортепиано с оркестром Хачатуряна, Второй симфонии Кара Караева, ряда сочинений  Кабалевского и многих других современников. Сохранились некоторые записи маэстро: 1-й Бранденбургский концерт Баха (в числе солистов — Леонид Коган) и 4-я симфония Брамса с Госоркестром; 7-я симфония Мясковского с БСО; 4-й фортепианный концерт Прокофьева (с тем же оркестром, солист Анатолий Ведерников); несколько записей т.н. «7-й симфонии» Es-dur П. И. Чайковского «Жизнь» в реконструкции С. Богатырева.

«Исполнитель большого масштаба, особенно тяготеющий к крупным формам ораториального типа, блестящий знаток оркестра, Л. Гинзбург обладает необычайно острым чувством музыкальной формы, ярким темпераментом», — писал о Гинзбурге его ученик, народный артист СССР Константин Иванов.

Почти полвека, с начала 1930-х (по сведениям сайта www.mosconsv.ru — с 1930) Лео Гинзбург преподавал в Московской консерватории, с 1939 — профессор, с 1940 заведовал кафедрой дирижирования МГК. В числе его учеников:

худ. рук. и главный дирижер Госоркестра СССР (1946-1965) Константин Иванов;
худ. рук. и главный дирижер Московского государственного симфонического оркестра (1960-1989) Вероника Дударова;
худ. рук. и главный дирижер БСО Всесоюзного радио и телевидения — БСО им. Чайковского (с 1974) Владимир Федосеев;
худ. рук. и главный дирижер симфонического оркестра Горьковской филармонии (1957-1987) Израиль Гусман;
худ. рук. и главный дирижер АСО Московской филармонии (1976-1990) Дмитрий Китаенко;
главный дирижер Большого театра (1987-1995) Александр Лазарев;
худ. рук. и главный дирижер ГСО Татарстана (1989-2010) Фуат Мансуров;
главный дирижер МАМТа им. Станиславского и Немировича-Данченко (1962-1969) Кямал Абдуллаев;
худ. рук и главный дирижер МГАСО (с 1989) Павел Коган;
худ. рук. и главный дирижер симфонического оркестра Армении (1945-1960 и 1966-67) Михаил Малунцян;

а также Абрам Стасевич, Bиктор Дубровский, Геннадий Черкасов, Даниил Тюлин, Арон Шерешевский, Владимир Есипов, Александр Гончаров и многие другие известные дирижеры недавнего прошлого и сегодняшних дней.

«Учиться у Лео Морицевича Гинзбурга — это была огромная удача, — сказал в 2017 в интервью В. Ойвину еще один ученик Л. Гинзбурга, главный дирижер симфонического оркестра Московской консерватории Анатолий Левин. —  Мудрейший педагог, с колоссальным знанием и опытом, много полезного мог дать своим ученикам. В конце двадцатых годов он много времени провел в Германии, где общался с самыми великими дирижерами того времени. Был ассистентом Отто Клемперера. Когда тому предложили возглавить Кролль-оперу в Берлине, он пригласил Гинзбурга быть его ассистентом.

Он очень много общался с Клемперером, ездил по всей Европе вслед за Тосканини. А учился Гинзбург у Германа Шерхена. Так что австро-немецкую музыку: Гайдна, Моцарта, Бетховена, Шуберта, Шумана, Брамса, Рихарда Штрауса он знал досконально и очень глубоко, как и весь мировой симфонический репертуар».

Лео Морицевич Гинзбург скончался 1 ноября 1979. Спустя два года, в  1981, в издательстве «Советский композитор» вышла книга «Лео Гинзбург. Избранное: Дирижеры и оркестры. Вопросы теории и практики дирижирования». В ней собраны статьи, в разные годы написанные Гинзбургом для журнала «Советская музыка» и других изданий: эссе об искусстве выдающихся дирижеров ХХ века — Феликса Вейнгартнера, Вильгельма Фуртвенглера, Артуро Тосканини, Ария Пазовского, Николая Голованова, Геннадия Рождественского; о лучших оркестрах — Госоркестре СССР, Бостонском, Филадельфийском и многих других; тексты, освещающие многие важнейшие вопросы теории и практики дирижерского искусства.