Коледж  було засновано у 1900 році Російським музичним товариством як   Миколаївське Імператорське  музичне  училище. Далі коледж  мав  різні  назви: з  1919р. -  Вільна Народна  консерваторія, з 1923р. - Музпрофшкола, з 1931р. - Музичний  технікум, з 1937р. - Миколаївське  музичне училище,  з 1959р. - державне, з 1999р. - Миколаївське державне вище музичне училище, з квітня 2018 року – Миколаївський коледж музичного мистецтва. Вагому роль у становленні та  розвитку училища відіграли: піаністка Т.Антонова, скрипаль Й.Карбулька, баяніст Л.Непомнящий, хормейстер В.Кучеровський, заступник директора з навчальної роботи В.Котова.  Відомими випускниками училища є К.Брейтбург, А.Васін, І.Кучер, О.Мадараш, М.Ніколайчук, Н.Петрушенко, М.Полторак, О.Таганов, М.Трубач, А.Сирота, Т. Ярова та інші.     

          За останні  50 років  30-ти  випускникам  МКММ  присвоєні почесні звання -  «Народний артист України», «Заслужений діяч мистецтв України», «Заслужений працівник культури України». Випускники коледжу працюють в  багатьох творчих колективах України та за її межами, в навчальних закладах України, в тому числі в  усіх Миколаївських, які пов’язані з наданням освітніх  послуг в області музичного мистецтва.

МКММ підпорядковане управлінню культури, національностей та релігій облдержадміністрації і є  вищим навчальним закладом І рівня акредитації. Училище  готує молодших спеціалістів за спеціальністю “Музичне мистецтво”, яка включає 8 спеціалізацій: «Фортепіано», «Оркестрові струнні інструменти», «Оркестрові духові та ударні інструменти», «Народні інструменти», «Музичне мистецтво естради», «Спів», «Хорове диригування»,  «Теорія музики».  Щорічно музичне училище приймає на навчання 62-х молодих талановитих музикантів.

          З 1989 року МКММ очолює  Сирота А.А. – Заслужений діяч мистецтв України, кавалер ордену «За заслуги» ІІІ ступеня. Навчально-виховний процес здійснюють 112 викладачів. В коледжі навчаються 240 студентів. Щорічно до 40% випускників коледжу  вступають до ВНЗ ІІІ-ІVр.а., більшість  з  них -  до музичних  академій України.  

В коледжі працюють навчальні творчі колективи: симфонічний оркестр (керівники Заслужений  працівник культури України М. Ніколайчук та О.Луук), духовий оркестр (кер. В.Колесник), оркестр народних інструментів «Кантабіле» (кер. О.Луук), камерний оркестр (кер. В.Зав’ялов),  «Performance  Big Band» (кер. В.Алексєєв), Народний естрадний оркестр «Jazz Band» (кер. Заслужений діяч мистецтв України М.Полторак), хорова капела «Сонячний струм» (кер. Ю.Черепухін), Зразковий дитячий хор «Фантазія» (кер. Заслужений працівник культури України Г.Гацук),  етно-джазовий хор «Free Voice» (кер. Т.Алексєєва), ансамбль скрипалів  (кер. О.Воскобойникова), вокальні ансамблі   «Канцона» (кер. С.Голованов) і  “Вlues  in black” (кер. Т.Алексєєва) та інші.

          Майже  всі  творчі  колективи  коледжу  беруть участь у різноманітних конкурсах та фестивалях. За останні 5 років вони посіли  21 призове місце у  17-ти  міжнародних та 4-х  регіональних конкурсах, у т.ч.  Гран Прі – 3,  перших місць – 16, других – 2.  Серед фестивалів та конкурсів  такі престижні  як  ІV  Молодіжний  музичний фестиваль  “Summa  cum  laude” (м.Відень, Австрія, 2010р.), VІ Міжнародний  хоровий конкурс “Прага-Моцарт” (м.Прага,Чехія,2011р.), Міжнародний конкурс “Perpetuum  mobile”(м.Дрогобич, 2011р.),  ХІІІ  Міжнародний  фольклорний хоровий фестиваль “Європа та її пісні” (м.Барселона, Іспанія, 2011р.), ІІ  Міжнародний  хоровий конкурс  духовної  музики  (м.Наместово,  Словакія, 2012р.),  ХХХІІ   Міжнародний фестиваль духовної  музики  (м. Бялисток, Польща, 2013р.),  Міжнародний конкурс-фестиваль  народної музики  “Самородки”  (м.Севастополь,  2013р.),  Міжнародний  хоровий  фестиваль  духовної  музики “Musica  sacra  a  Roma”(м.Рим, Італія, 2013р.),  Міжнародний  фестиваль - конкурс  “Ave verum” (м.Баден, Австрія, 2014р.).  Студенти коледжу (солісти-інструменталісти  та  співаки)  за  останні 5 років  посіли   95  призових  місць.

          Коледж є засновником Регіонального фестивалю виконавців на народних інструментах ім. Г.Манілова, Всеукраїнського відкритого конкурсу хорових диригентів «Сонячний струм»,  Всеукраїнського відкритого конкурсу джазових виконавців «Performance Jazz».