Οδήγησε την εθνική ομάδα της Δυτικής Γερμανίας στην πρώτη της μεγάλη επιτυχία λίγα χρόνια μετά την ήττα στον Β' Παγκόσμιο Πόλεμο. Ο Ζέπ Χερμπέργκερ είναι ο τεχνικός με τα περισσότερα παιχνίδια στον πάγκο της "νάτσιοναλ μάντσαφτ".
Γεννήθηκε στις 28 Μαρτίου του 1897 στο Μάνχαιμ και σε ηλικία 12 ετών θα χάσει τον πατέρα του. Τα πράγματα θα είναι δύσκολα για τον μικρό Ζέπ αφού θα αφήσει το σχολείο και θα εργαστεί ως ανειδίκευτος εργάτης προκειμένου να βοηθήσει την μητέρα του.
Θα καταταγεί στον γερμανικό στρατό όπου και θα συμμετάσχει στον Α' Παγκόσμιο Πόλεμο απο όπου θα επιστρέψει το 1919. Τo ποδόσφαιρο ήδη βρίσκεται στην ζωή του απο την ηλικία των 16 ετών με την SV Waldhof Mannheim μέχρι το 1921 για να ακολουθήσει η VfR Mannheim απο το 1922 έως το 1926.
Το καλοκαίρι του 1926 θα πάρει μετεγγραφή στην Tennis Borussia Berlin και παράλληλα με το ποδόσφαιρο θα παρακολουθήσει μαθήματα προπονητικής ύστερα απο πρόσκληση του Ότο Νέρτς. Στην πρωτεύουσα της Γερμανίας το καλοκαίρι του 1930 θα ολοκληρώσει την ποδοσφαιρική του καριέρα.
Απο εκεί θα ξεκινήσει και τα προπονητικά του βήματα οδηγώντας την στον τοπικό τίτλο την περίοδο 1931-1932. Στην συνέχεια θα αναλάβει την τεχνική ηγεσία της West German Game Association μέχρι το 1934.
Μετά τους Ολυμπιακούς Αγώνες του Βερολίνου προτάθηκε στον Χέρμπεργκερ να αναλάβει ως επιβλέπων, με τον Ότο Νέρτς να μην παραιτείται απο την θέση του προπονητή. Μάλιστα πρότεινε να παραμείνει κανονικά στο πόστο του και να λάβει ο Χέρμπεργκερ τον τίτλο του προπονητή του Γ' Ράιχ.
Όμως ο Χερμπέργκερ ήθελε να αναλάβει εξ' ολοκλήρου κάτι που το κατάφερε με την παραίτηση του Νέρτς τον Μάιο του 1938. Πρώτη του μεγάλη αποστολή το Παγκόσμιο Κύπελλο της Γαλλίας όπου αποκλείστηκε απο την Ελβετία με 4-2 στον πρώτο γύρο.
Ο Β' Παγκόσμιος Πόλεμος διέκοψε κάθε είδους αθλητική δραστηριότητα αν και έγιναν ποδοσφαιρικοί αγώνες κυρίως με συμμάχους(Βουλγαρία, Γιουγκοσλαβία, Ιταλία), ουδέτερες η κατεχόμενες χώρες.
Μετά την λήξη του θα παραμείνει στον πάγκο της Δυτικής Γερμανίας αλλά δεν θα μπορέσει να δώσει το παρών στο Παγκόσμιο Κύπελλο του 1950 αφού ως ηττημένη του πολέμου είχε αποκλειστεί απο κάθε αγωνιστική δραστηριότητα.
Το Παγκόσμιο Κύπελλο του 1954 στην Ελβετία θα ήταν ιδιαίτερα σημαδιακό για τον ίδιο για τους παίκτες του αλλά και για την Δυτική Γερμανία ως χώρα. Η νίκη στον μεγάλο τελικό κόντρα στην Ουγγαρία με 3-2 χαρακτηρίστηκε ως το "θαύμα της Βέρνης" για πολλούς κοινωνιολόγους ήταν η μέρα ίδρυσης της Δυτικής Γερμανίας μιας και προσέδωσε ένα αίσθημα εθνικής ανάτασης.
Θα οδηγήσει την Δυτική Γερμανία σε δύο ακόμα Παγκόσμια Κύπελλα το 1958 όπου θα καταλάβει την τέταρτη θέση και του 1962 θα αποκλειστεί στα προημιτελικά απο την Γιουγκοσλαβία. Η σκληρή κριτική που δέχθηκε τον πίκρανε αλλά θα παραμείνει μέχρι τον Ιούνιο του 1964 όταν και θα παραδώσει στον συνεργάτη του Χέλμουτ Σεν.
Είναι ο μακροβιότερος προπονητής της Εθνικής Γερμανίας μετρώντας σε δύο περιόδους απο το 1936 έως το 1942 και απο το 1950 έως το 1964 162 παιχνίδια με 92 νίκες, 26 ισοπαλίες και 44 ήττες. Αφότου αποσύρθηκε συγκέντρωνε αρκετό υλικό για να γράψει την αυτοβιογραφία του, ενώ έδινε συχνά συνεντεύξεις απολαμβάνοντας την δημοτικότητα του.
Στις 28 Απριλίου του 1977 σε ηλικία 80 ετών άφηνε την τελευταία του πνοή αφού υπέστη καρδιακή προσβολή. Το 2008 όταν προτάθηκε να μπει στο Hall of Fame του γερμανικού αθλητισμού υπήρξαν έντονες επικρίσεις για το ναζιστικό παρελθόν του.
Έλαβε αρκετές τιμητικές διακρίσεις απο την δυτικογερμανική πολιτεία και την ομοσπονδία, το ονομά του δόθηκε σε πλατεία στο Μανχαιμ-Βάλντχοφ, στο γήπεδο της πόλης και στο γήπεδο της πόλης Νοινκίρχεν.
Το 2013 στο World Soccer σε ψηφοφορία που πραγματοποιήθηκε για τους κορυφαίους προπονητές όλων των εποχών, κατέλαβε την 20η θέση παίρνοντας 5 ψήφους, μαζί με τον Μπιλ Σάνκλι και τον Τζιοβάνι Τραπατόνι. Το 2018 ήταν ανάμεσα στους πρώτους έντεκα που εισήχθησαν στο Hall of Fame του γερμανικού ποδοσφαίρου
