Вслед за своей первой пластинкой в течение года группа выпустила два поистине выдающихся альбома: Melissa и Don’t Break the Oath. На обоих альбомах отчётливо слышатся гитары Shermann и Denner, а также весьма своеобразный, зачастую леденящий душу злобный фальцет King Diamond и его выдающиеся вокальные способности. В настоящее время обе пластинки считаются классикой жанров power metal и black metal. К сожалению, неизбежные внутренние противоречия привели к распаду группы уже в апреле 1985 года. King Diamond, Grabber (ныне известный как Timi Hansen) и Denner создали новую группу, продолжившую «злобные» традиции Mercyful Fate, хотя и в чуть более прогрессивном стиле. В свою очередь, Shermann основал собственную группу под названием «Fate».

Но эти датчане так или иначе всегда находились рядом друг с другом и спустя годы, когда былые конфликты позабылись, в июле 1992 года группа собирается в прежнем составе (за исключением ударника Kim Ruzz, которого заменил Morten Nielsen) и заключает контракт с «Metal Blade» - независимая студия под управлением Brian Slagel, выпускавшая первые записи Metallica и Slayer, то есть групп, также в своё время повлиявших на творчество Mercyful Fate. Меньше года спустя они издают свой очередной альбом In the Shadows, за которым последовало ещё несколько вещей в таком же духе.

Группа Mercyful Fate существует и поныне, причём, по слухам, до сих пор должна звукозаписывающей компании ещё один альбом, но когда он появится и выйдет ли вообще - никому неизвестно.