Geboren auf der Turracher Höhe und aufgewachsen in Salzburg, studierte Gustav Kuhn an den Musikhochschulen von Wien und Salzburg Dirigieren bei Hans Swarowsky, Bruno Maderna und Herbert von Karajan, promovierte aber an der Salzburger Universität gleichzeitig in den Fächern Philosophie, Psychologie und Psychopathologie. Im Alter von 24 Jahren gewann er den ersten Preis beim internationalen Dirigierwettbewerb des ORF. Den Grundstein seiner Karriere legte er 1970 als Chordirektor und Dirigent am Opernhaus in Istanbul, in der Folge wurde er 1. Kapellmeister in Enschede und am Opernhaus Dortmund.

In dieser Zeit gastierte er auch schon italienische Städten wie Palermo, Neapel oder Bologna. Es folgten Gastdirigate in Rom, Florenz, Venedig, Zürich und kurze Zeit später schon dirigierte er die renommiertesten Orchester der Welt, darunter die Berliner Philharmoniker, die Dresdner Staatskapelle, das Israel Philharmonic, das London Philharmonic sowie das London Symphony Orchestra, das Royal Philharmonic Orchestra, das Orchestra Filarmonica della Scala in Mailand, das Orchestre National de France in Paris, die Accademia Nazionale di Santa Cecilia in Rom sowie das NHK Orchestra in Tokio, und nicht zuletzt die Wiener Philharmoniker.