Hummel nacque a Presburgo, Slovacchia (oggi Bratislava), all'epoca soggetta alla Monarchia asburgica austriaca. Suo padre, Josef Hummel, era direttore della Scuola Imperiale di Musica Militare a Vienna, dove dirigeva l'orchestra del Teatro Schikaneder; sua madre era slovacca. Il suo nome deriva da San Giovanni Nepomuceno. A 8 anni ricevette lezioni di musica da Wolfgang Amadeus Mozart, che era rimasto impressionato dalla sua abilità. Hummel studiò pianoforte e venne ospitato gratuitamente dai Mozart; si esibì per la prima volta in pubblico all'età di 9 anni, in occasione di uno dei concerti di Wolfgang.
Nel 1804 Hummel successe ad Haydn come Maestro di cappella al servizio del Principe Esterházy, ad Eisenstadt. Mantenne questo posto per sette anni prima di essere licenziato per aver trascurato i suoi doveri, dopodiché intraprese una tournée in Russia e in Europa e sposò la cantante d'opera Elisabeth Röckel, da cui ebbe 2 figli.
Successivamente venne nominato Maestro di cappella a Stoccarda e a Weimar, dove divenne molto amico dei suoi colleghi Goethe e Schiller.