Еще служа, Улыбышев начал активно выступать в качестве рецензента музыкальных и театральных столичных событий, причем публиковался не только на русском языке, но и в зарубежных изданиях, прежде всего французских и немецких. Будучи в Нижнем, он продолжит эту деятельность, регулярно освещая местные культурные события в «Северной пчеле». Венцом его деятельности как критика станет трехтомная «Новая биография Моцарта» (с кратким обзором общей истории музыки и с анализом главных произведений Моцарта), вышедшая в Москве в известной типографии Августа Семена на французском языке (1841)

В своей «Новой биографии» Улыбышев взял за основу труд датчанина Г.Н. Ниссена (кстати, тоже дипломата!), черпавшего сведения для своей «Биографии Моцарта» непосредственно из ближайшего круга композитора (Ниссен был женат на вдове композитора Констанце). Улыбышев переработал ее в фундаментальное исследование о Моцарте, ставшее первым в мировой литературе о композиторе. Эта книга принесла ему поистине европейскую известность, была переведена на другие языки, и только спустя полвека, в 1890–1892 вышла на русском в издательстве Юргенсона (ее переводчиками, кстати, стали Модест Чайковский и Герман Ларош).

Незадолго до смерти Улыбышев еще раз возьмется за капитальный труд и создаст новую монографию «Бетховен, его критики и толкователи», появившуюся в Лейпциге и Париже (1857) и также изданную на французском. Она представляла собой отклик на довольно популярную книгу Ленца «Бетховен и его три стиля» и фактически дискутировала с ее основными положениями.

Имя Улыбышева упоминают и в связи с Балакиревым, которого он фактически ввел в мир музыки, на протяжении нескольких лет, до отъезда своего питомца в Петербург, опекая и предоставляя ему все условия для занятий (именно в его доме Милий впервые встанет за пульт первого в Нижнем любительского симфонического оркестра, организованного Улыбышевым, переиграет много камерной музыки, познакомится с богатой библиотекой своего патрона, в которой было место не только старинным опусам, но и самым современным произведениям той поры — скажем, подаренной самим Глинкой партитуре «Жизни за царя».)

Труд В. Белоноговой помогает воссоздать аромат того времени, окунуться в атмосферу провинциальной художественной жизни, почувствовать уникальность и в тоже время типичность персоны Улыбышева для России первой половины XIX столетия — времени блистательных дилетантов, равно сведущих не только в практических делах, которым обучались, но и не чуждых искусству. Голос Улыбышева слышится в обильно цитируемых фрагментах дневника, писем, рецензий, которые совершенно органично вплетаются в авторский текст. Все это позволяет читателю насладиться харизмой нижегородского помещика и, как он сам себя называл, аматера, совершенно не пожелавшего раствориться в провинциальном обществе. «Знаете, мой Князь, — писал он В. Одоевскому, — я сам принадлежу к этим оригиналам, допотопным и ископаемым, так как отдал 10 лет своего существования и 20 тысяч рублей личного дохода на написание и публикацию книги, которая, как я и предполагал и прямо говорил, не найдет у нас ни читателя, ни критика».