Hube werd in 1890 geboren in Naumburg. Hij ging in 1909 als vrijwilliger bij het Duitse leger en diende tijdens de Eerste Wereldoorlog met de rang van luitenant. Hij nam vanaf het begin deel aan het conflict en verminkte zijn linkerhand in september 1914 tijdens een gevecht aan het Franse front. De handicap weerhield hem er niet van om een jaar later terug te keren naar het front als commandant van een infanteriecompagnie. Hij werd gedecoreerd voor zijn moed en bracht het interbellum door in het Duitse leger als compagniescommandant en trainingsofficier in Dresden.

Bij het uitbreken van de Tweede Wereldoorlog raakte hij onmiddellijk betrokken en nam deel aan de invasie van Polen in september 1939 en een paar maanden later aan de Franse campagne aan het hoofd van de 16e Infanteriedivisie. Na zijn successen aan het Westelijk Front kreeg hij de leiding over de nieuwe 16e Pantserdivisie en werd hij eerst overgeplaatst naar Roemenië en vervolgens naar het Oostfront, waar hij met succes werd ingezet in de Oekraïense sector van Operatie Barbarossa.

Van daaruit kreeg Hube de rang van luitenant-generaal. Niet lang nadat hij het bevel had gekregen over het 14de Panzerkorps waren ze betrokken bij de Slag om Stalingrad. Toen de Duitse situatie aan het Oostfront kritiek werd, werd hij in januari 1943 geëvacueerd en naar het mediterrane front gestuurd aan het hoofd van een opnieuw samengesteld 14e Panzerkorps. Overgeplaatst naar Italië om de verdediging tegen de Geallieerden te organiseren, nam Hube het bevel over de As-troepen op zich tijdens de verdedigingsoperaties op Sicilië. Vanuit die positie slaagde hij erin de geallieerde opmars zodanig te vertragen dat hij de evacuatie van de Duitse troepen van het eiland kon organiseren.

Nadat hij de terugtrekking van de Duitse troepen na de landing in Salerno had geleid en de Gustavlinie had opgezet, werd Hube opnieuw naar het Oostfront gestuurd om te proberen het Sovjet tegenoffensief in te dammen. Hij kreeg toen het bevel over de 1e Panzerarmee, die vanaf oktober 1943 een reeks nederlagen leed door toedoen van het Rode Leger langs de rivier de Dnestr.

Op 21 april 1944 kwam Hube om het leven bij een vliegtuigongeluk op de terugweg van Hitlers verjaardagsfeest op de Obersalzberg.