Ernst Raffelsberger stammt aus Gmunden/Oberösterreich. Mit fünf Jahren erhielt er seinen ersten Klavierunterricht. Nach der Matura studierte er Musikpädagogik und Kirchenmusik an der Hochschule für Musik und darstellende Kunst in Wien und anschließend Chordirigieren am Salzburger Mozarteum.

Von 1983 bis 1986 war er Kapellmeister der Wiener Sängerknaben. In dieser Zeit leitete er das Ensemble bei ca. 350 Konzerten in Wien und auf Tourneen durch Europa, Südafrika, Kanada und die USA. Besondere Höhepunkte in dieser Zeit waren das Konzert für Lady Di und der Auftritt bei einem Fernseh-Weihnachtskonzert unter der Leitung des Filmkomponisten John Williams in Boston.

Ab 1986 war Ernst Raffelsberger Chordirektor und Kapellmeister am Landestheater Salzburg (Mitwirkung bei der Salzburger Mozartwoche und den Salzburger Festspielen). 1989 wurde er von Donald Runnicles als Chordirektor und Kapellmeister an das Theater in Freiburg/Breisgau berufen.
Seit Herbst 1993 ist Ernst Raffelsberger am Opernhaus Zürich als Chordirektor engagiert. Dort hat er inzwischen weit über 100 Premieren betreut und mit vielen namhaften Dirigenten wie Riccardo Chailly, Christoph von Dohnányi, Vladimir Fedoseyev, Sir John Eliot Gardiner, Daniele Gatti, Bernard Haitink, Nikolaus Harnoncourt, Zubin Mehta und Franz Welser-Möst zusammengearbeitet. Gastspiele mit dem Opernhaus Zürich führten ihn nach Wien, London, Paris und Tokio.

Von 2012 bis 2021 war Ernst Raffelsberger zehn Jahre bei den Salzburger Festspielen als Chordirektor der Konzertvereinigung Wiener Staatsopernchor für die Einstudierungen verantwortlich. Dabei arbeitete er u.a. mit Dirigenten wie Nikolaus Harnoncourt, Thomas Hengelbrock, Mariss Jansons, Riccardo Muti, Sir Simon Rattle und Franz Welser-Möst zusammen.

Zahlreiche CD- und DVD-Aufnahmen dokumentieren diese Arbeit.

Mit Beginn seiner Züricher Tätigkeit zog Ernst Raffelsberger mit seiner Familie nach Jestetten. Bald danach gründete er mit seiner Frau Bärbel den Kinderchor St. Benedikt, der 12 Jahre lang u.a. die weihnachtlichen Krippenspiele musikalisch bereicherte.

Bald trat der Präsident des Chorverbandes Hochrhein, Herr Josef Brogle an ihn heran. So entstand nach einigen Fortbildungskursen für deren Chorleiter die Idee der Galakonzerte. Dabei hat er einige Male den Projektchor des Chorverbandes bei Operettenquerschnitten in der Waldshuter Stadthalle geleitet.

Im Jestetter Zipfel ist Ernst Raffelsberger mit seiner Familie kulturell sehr vielfältig aktiv, vom Orgel spielen über die Gestaltung von Literaturgottesdiensten und der traditionellen Narrenmessen bis hin zu diversen Familienkonzerten.

2010 initiierte und leitete er die erste Jestetter Abend-Sing-Woche, die seither regelmäßig unter anderer Leitung stattfindet.

Seit der Neugestaltung des Alten Schulhauses in Jestetten 2009 ist Ernst Raffelsberger auch im Vorstand des Kulturkreises Jestetten und Umgebung aktiv. Zum 40-Jahre-Jubiläum des Vereins initiierte er die Herausgabe eines Buches, das zum einen die vergangenen Veranstaltungen dokumentiert, aber auch die kulturelle Vielfalt der lokalen Künstler widerspiegelt. Ein Höhepunkt des Jubiläumsjahres war das große Konzert mit der Südwestdeutschen Philharmonie Konstanz. Dabei dirigierte er ein Mozart-Programm mit den bisherigen Jestetter Preisträgern der Volksbank Hochrhein Stiftung: Sebastian Raffelsberger, Oboe (Förderpreis 2012) und Claudia Auf der Maur, Sopran (Stipendium 2014).