Az első harsonáját egy hentestől kapta tizennégy éves korában, akinek a boltjában dolgozott egy ideig. Az iskolai tánczenekarban kezdett rajta játszani. Tizenhét éves korában annyira megragadta az akkoriban felhangzó új tánczene ritmusa, hogy megszökött otthonról és egy wyomingi kisváros zenekarában kezdett játszani. 1923-ban a Colorado-i egyetem zenekarában játszott, ahol tanult. Másfél év múlva otthagyta az egyetemet és Los Angelesbe ment Max Fisher együtteséhez.
1920-30 között harsonásként dolgozott és hangszerelt Ben Pollack, Red Nicholson és mások számára. Ebben az időben ismerkedett meg Benny Goodmannel, akivel készült közös felvétele is.
Saját big bandjét 1937-ben hozta létre. Előtte évekig kereste a hangot. Glenn Miller együttese az 1930-as évek második felében az Egyesült Államok legnépszerűbb zenekara volt. Egyedi hangszerelése merőben eltért a szokványostó. A közönség egy pillanat alatt megszerette az új hangzást, amelyben a fúvósok száma az addig megszokottnak a kétszerese, háromszorosa volt.
A második világháború alatt Miller önkéntesként belépett az amerikai hadseregbe, ugyanis legfontosabb feladatának a fronton harcoló katonák szórakoztatását érezte.
Azt vallotta, hogy a katonák már fáradtak, elgyötörtek és szükségük van valami hazai, ismerős amerikai dologra, mondjuk zenére. Más zenészekkel együtt megalapította az Egyesült Államok Légierejének Zenekarát.
1944. december 15-én a Londontól északra fekvő Bedfordban borzasztó ködös időben felszállt egy repülőgépre, ami Párizsba vitte volna. A gép eltűnt, minden bizonnyal a németek a La Manche felett lelőtték. A roncsokat, Glenn Miller holttestét soha nem találták meg.