Μπορεί να μην κατάφερε με την εθνική Γερμανίας να κατακτήσει ένα Παγκόσμιο τίτλο αν και έπαιξε σε δύο τελικούς, θεωρείται ένας απο τους καλύτερους Γερμανούς ποδοσφαιριστές της δεκαετίας του '80 ο οποίος αν και δεν ήταν κλασσικός επιθετικός είχε μεγάλη έφεση στο σκοράρισμα.
Στις 25 Σεπτεμβρίου του 1955 γεννήθηκε στο Λίπσταντ, με τον πατέρα του να είναι ενεργό μέλος της ομάδας της πόλης της Μπορούσια μεταφέροντας αυτή του την αγάπη και στα παιδιά του. έτσι και ο μικρός Καρλχάιντς εντάχθηκε στις ακαδημίες της ομάδας.
Το 1974 η Μπάγερν θα τον αποκτήσει με το ποσό των 17.500 μάρκων, ενώ ο ίδιος έπαιρνε το μηνιαίο ποσό 8.000 γερμανικών μάρκων. Παρά το γεγονός ότι ήταν ιδιαίτερα ντροπαλός και το παρουσιαστικό του δεν πρόδιδε αυτό που θα γινόταν ξεκίνησε να παίρνει χρόνο συμμετοχής και θα δικαιώσει αυτούς που τον εμπιστεύτηκαν.
Στην δεκαετία μέχρι το 1984 που παρέμεινε στο Μόναχο, θα κατακτήσει 2 Πρωταθλήματα το 1980 και το 1981, 2 Κύπελλα το 1982 και το 1984, 1 Σούπερ Καπ το 1982, 2 Κύπελλα Πρωταθλητριών το 1975 στο Παρίσι κόντρα στην Λίντς και το 1976 στην Γλασκώβη κόντρα στην Σεντ Ετιέν, 1 Διηπειρωτικό το 1976 κόντρα στην Κρουζέιρο, ενώ θα έχει και 1 χαμένο τελικό το 1982 απο την Άστον Βίλα στο Ρότερνταμ.
Ύστερα απο 422 συμμετοχές και 217 γκολ, σε ηλικία 29 ετών η Ίντερ θα τον αποκτήσει με το ποσό των 11,4 εκατομμύρια μάρκων, η δεύτερη ακριβότερη μετεγγραφή μετά απο εκείνη του Ντιέγκο Μαραντόνα στην Νάπολι.
Φιορεντίνα και Σαμπντόρια, είχαν εκδηλώσει ανεπίσημο ενδιαφέρον και έκαναν διερευνητικές επαφές, καθώς οι ιταλικοί σύλλογοι κυριαρχούσαν στις μεταγραφές, αλλά δεν μπόρεσαν να πλησιάσουν τα οικονομικά μεγέθη της Ίντερ. Επίσης υπήρξαν φήμες για κρούση από την Ισπανία και την Ρεάλ Μαδρίτης, όμως ο ίδιος ο παίκτης προτιμούσε σταθερά τη μετακόμιση στο Μιλάνο.
Όμως τα προβλήματα τραυματισμών δεν του έδωσαν την ευκαιρία να δείξει το ταλέντο του στην SERIE A, έχοντας 107 παιχνίδια με 42 τέρματα, αλλά οι "νερατζούρι" δεν κατάφεραν να κατακτήσουν κάποιο τίτλο.
Το συμβόλαιο του έληξε δεν ανανεώθηκε, υπήρξαν διερευνητικές επαφές από γερμανικούς συλλόγους όχι όμως από την Μπάγερν που ήθελαν να επαναπατρίσουν τον εμβληματικό αρχηγό της Εθνικής Γερμανίας.
Ο Ρουμενίγκε απέκλεισε αυτό το ενδεχόμενο, καθώς είχε ξεκαθαρίσει ότι στη Γερμανία δεν θα αγωνιζόταν σε άλλη ομάδα πλην της Μπάγερν Μονάχου. Δύο γαλλικοί σύλλογοι εξέτασαν την περίπτωσή του προσφέροντας καλά συμβόλαια, καθώς η εμπειρία του παρέμενε πολύτιμη, όμως η γεωγραφική και πολιτισμική εγγύτητα της Γενεύης με τη Γερμανία έγειρε την πλάστιγγα υπέρ της Σερβέτ.
Έτσι μετά απο τρία χρόνια το 1987 μετακόμισε στην Ελβετία για λογαριασμό της Σερβέτ που του κατέθεσε ένα πολύ ελκυστικό πλάνο. Έχοντας ταλαιπωρηθεί από πολλούς τραυματισμούς στα χρόνια της Ιταλίας, έψαχνε ένα λιγότερο απαιτητικό πρωτάθλημα, αλλά σε μια πόλη που θα προσέφερε εξαιρετική ποιότητα ζωής στην οικογένειά του.
Η μεταγραφή αποδείχθηκε επιτυχημένη, καθώς τη σεζόν 1988-1989 αναδείχθηκε πρώτος σκόρερ στο ελβετικό πρωτάθλημα με 24 γκολ και κορυφαίος ξένος παίκτης και αποφάσισε να αποσυρθεί το καλοκαίρι του 1989 απο την ενεργό δράση έχοντας 64 παιχνίδια και 35 τέρματα.
Στις 6 Οκτωβρίου του 1976 έκανε το ντεμπούτο του κόντρα στην Ουαλία στο Κάρντιφ, ενώ το 1978 έκανε την πρώτη του παρουσία σε τελική φάση Παγκοσμίου Κυπέλλου στα γήπεδα της Αργεντινής. Έπαιξε και στα πέντε παιχνίδια πετυχαίνοντας 2 γκολ κόντρα στο Μεξικό και 1 απέναντι στην Αυστρία.
Αναδείχθηκε Πρωταθλητής Ευρώπης το 1980 στα γήπεδα της Ιταλίας, παίζοντας και στα τέσσερα παιχνίδια πετυχαίνοντας ένα γκολ απέναντι στην Τσεχοσλοβακία. Στο Παγκόσμιο Κύπελλο του 1982 στα γήπεδα της Ισπανίας έπαιξε και στα εφτά παιχνίδια πετυχαίνοντας 1 γκολ απέναντι στην Αλγερία και 3 απέναντι στην Χιλή.
Σκόραρε στον ημιτελικό κόντρα στην Γαλλία όντας τραυματίας, ενώ αγωνίστηκε και στον τελικό απέναντι στην Ιταλία. Στο Ευρωπαϊκό Πρωτάθλημα του 1984 αγωνίστηκε και στα τρία παιχνίδια, όμως τα "πάντσερ" αποκλείστηκαν απο την ημιτελική φάση.
Το Παγκόσμιο Κύπελλο του 1986 θα ήταν και η τελευταία παρουσία με την Γερμανία αγωνιζόμενος σε όλα τα παιχνίδια, σκοράροντας στον τελικό κόντρα στην Αργεντινή αλλά για δεύτερη συνεχόμενη φορά γνώρισε την ήττα. Κόντρα στην "αλμπισελέστε" στις 29 Ιουνίου του 1986 στο Μέξικο Σίτι συμπλήρωσε 95 συμμετοχές με 45 τέρματα έκτος στην σχετική λίστα.
Αναδείχτηκε κορυφαίος ποδοσφαιριστής της Ευρώπης το 1980 και το 1981, πρώτος σκόρερ της Μπουντεσλίγκα τρεις φορές το 1980, το 1981 και το 1984, ενώ το 1980 και το 1981 κατέκτησε την Χρυσή Μπάλα απο το France Football.
Απο το 1990 έως το 1994 εργάστηκε ως σπορτκάστερ στο ARD των παιχνιδιών της Εθνικής Γερμανίας, ενώ το φθινόπωρο του 1991 μαζί με τον Φράντς Μπεκενμπάουερ ανέλαβαν ως αντιπρόεδροι της Μπάγερν.
Στην θέση αυτή παρέμεινε μέχρι τις 13 Φεβρουαρίου 2002 όταν και ανέλαβε πρόεδρος της εκτελεστικής επιτροπής του νεοδιορισθεντος τμήματος ποδοσφαίρου μέχρι και τις 30 Ιουνίου του 2021.
Τον Ιανουάριο του 2008 ανέλαβε την θέση του προέδρου της Ευρωπαϊκής Ένωσης Συλλόγων(ECA), θέση που κατείχε μέχρι τις 4 Σεπτεμβρίου του 2017. Μετά την αποχώρησή του από το διοικητικό συμβούλιο της UEFA το 2017, παρέμεινε ενεργός ως Στρατηγικός Σύμβουλος της ομοσπονδίας μέχρι τις 31 Αυγούστου του 2018.
Στις 20 Απριλίου του 2021 εκλέχθηκε εσπευσμένα στην Εκτελεστική Επιτροπή της UEFA ως εκπρόσωπος της Ευρωπαϊκής Ένωσης Συλλόγων, αντικαθιστώντας τον Αντρέα Ανιέλι, ο οποίος είχε παραιτηθεί για να ηγηθεί του σχίσματος της Super League.
Στις 17 Σεπτεμβρίου του 2023 ο Ρουμενίγκε παραιτήθηκε ξαφνικά από την επιτροπή, καταγγέλλοντας δημόσια ότι η επιτροπή δεν είχε πραγματική δύναμη, καθώς η ομοσπονδία έπαιρνε κρίσιμες αποφάσεις όπως η πρόσληψη του αθλητικού διευθυντή Αντρέας Ρέτιχ χωρίς καν να ενημερώνει τα μέλη της.
Τον Σεπτέμβριο του 2013 του επιβλήθηκε πρόστιμο 249.900 δολαρίων για το γεγονός ότι δεν δήλωσε στο τελωνείο δύο πανάκριβα ρολόγια επιστρέφοντας απο το Κατάρ.
Στα τέλη του 2021, οι γερμανικές εισαγγελικές και τελωνειακές αρχές ξεκίνησαν ποινική έρευνα εναντίον νυν και πρώην μελών του διοικητικού συμβουλίου της Μπάγερν, συμπεριλαμβανομένου του Ρουμενίγκε. Η υπόθεση αφορούσε πιθανές παραβάσεις του νόμου περί κατώτατου μισθού και μη καταβολή εισφορών κοινωνικής ασφάλισης σε προπονητές των ακαδημιών της ομάδας FC Bayern Campus. Η υπόθεση για τα κορυφαία στελέχη έκλεισε διοικητικά, με τον σύλλογο να αναλαμβάνει την ευθύνη και να πληρώνει πρόστιμα.
