H έμπνευση για τη δημιουργία ενός πολυδύναμου πολιτιστικού κέντρου ήρθε από την μεγάλη αοιδό Αλεξάνδρα Τριάντη, ιδρύτρια του Συλλόγου Οι Φίλοι της Μουσικής. Η μελέτη του έργου ανατέθηκε μέσω του Συλλόγου σε κορυφαίους έλληνες και ξένους αρχιτέκτονες και ειδικούς της ακουστικής. Η πρώτη οικονομική προσφορά για την ανέγερση του κτιρίου ανήκει στον Δημήτρη Μητρόπουλο, ο οποίος πρόσφερε τα έσοδα από τις συναυλίες που έδωσε στην Αθήνα, διευθύνοντας τη Φιλαρμονική Ορχήστρα της Νέας Υόρκης.
Στη δεκαετία του 1970, ολοκληρώνονται οι μελέτες και η κατασκευή του σκελετού του κτιρίου. Ο Λάμπρος Ευταξίας, μεγάλος ευεργέτης και Πρόεδρος του Ιδρύματος Δεκόζη-Βούρου, δίνει την αναγκαία οικονομική υποστήριξη για την πλήρη χρηματοδότηση του έργου.
Το 1981, μετά από μια περίοδο διακοπής των εργασιών, δημιουργείται ένας νέος φορέας διοίκησης, με τη συνεργασία και του ελληνικού κράτους, το οποίο συμβάλει πλέον αποφασιστικά στην αποπεράτωση του έργου με σημαντικές επιχορηγήσεις. Ο νέος αυτός φορέας ονομάζεται Οργανισμός Μεγάρου Μουσικής Αθηνών και διοικείται από εκπροσώπους του Συλλόγου Οι Φίλοι της Μουσικής και του ελληνικού δημοσίου. Ο πρώτος Πρόεδρος του Οργανισμού, ο Χρήστος Δ. Λαμπράκης, αναλαμβάνει την ολοκλήρωση των εργασιών και στη συνέχεια τη λειτουργία του Μεγάρου.
Το 1991, εγκαινιάζεται το Μέγαρο Μουσικής Αθηνών από τον τότε Πρόεδρο της Δημοκρατίας Κωνσταστίνο Καραμανλή. Την ίδια χρονιά γεννιέται η Καμεράτα-Ορχήστρα των Φίλων της Μουσικής και στις 20 Μαρτίου ο ήχος της βιόλας του Γιούρι Μπασμέτ εγκαινιάζει την Αίθουσα Φίλων της Μουσικής, τη σημερινή Αίθουσα Χρήστος Λαμπράκης.
Το 2003, παρουσία του Προέδρου της Ευρωπαϊκής Επιτροπής Ρομάνο Πρόντι, το Μέγαρο Μουσικής Αθηνών ανοίγει τις πόρτες του Διεθνούς Συνεδριακού του Κέντρου, του νέου κτιρίου, αποτελώντας πλέον ένα από τα πιο σύγχρονα πολυπολιτισμικά κέντρα διεθνώς.
Το 2004, η περίφημη Φιλαρμονική του Βερολίνου υπό τον σερ Σάιμον Ρατλ με σολίστ τον Λεωνίδα Καβάκο ανοίγει για το φιλόμουσο κοινό την υπερσύγχρονη Αίθουσα Αλεξάνδρα Τριάντη, ενώ με το ρεσιτάλ του διάσημου πιανίστα Πάουλ Μπαντούρα-Σκόντα εγκαινιάζεται η Αίθουσα Νίκος Σκαλκώτας. Τον Σεπτέμβριο της ίδιας χρονιάς, το Αίθριο των Μουσών, που αποτελεί τη φυσική προέκταση των εσωτερικών χώρων του Μεγάρου προς το ύπαιθρο, υποδέχεται τους έλληνες και ξένους επισκέπτες της Αθήνας.
Στα χρόνια που ακολούθησαν ολοκληρώθηκαν οι νέες εγκαταστάσεις, όπου στεγάζονται η Μεγάλη Μουσική Βιβλιοθήκη της Ελλάδος «Λίλιαν Βουδούρη», νέες αίθουσες συνεδρίων και πολλαπλών χρήσεων, αίθουσες δεξιώσεων, αίθουσες δοκιμών, εκθεσιακοί χώροι και ένας υπερσύγχρονος τριώροφος χώρος στάθμευσης. Ολοκληρώθηκε επίσης η διαμόρφωση του υπαίθριου χώρου γύρω και πίσω από το Μέγαρο σε ένα μοναδικό πνεύμονα πρασίνου στο κέντρο της πόλης, που θα φιλοξενεί εκπαιδευτικές, πολιτιστικές και περιβαλλοντικές δραστηριότητες.
Το 2010, ο κήπος του Μεγάρου πλημμύρισε από την εκπληκτική μουσική της Φιλαρμονικής Ορχήστρας της Βιέννης, υπό τη διεύθυνση του διάσημου αρχιμουσικού Ρικκάρντο Μούτι, και άνοιξε τις πύλες του στους πολίτες και τους επισκέπτες της Αθήνας.
Το 2016 τροποποιήθηκε ο ιδρυτικός νόμος του Οργανισμού Μεγάρου Μουσικής Αθηνών (ΟΜΜΑ) και πλέον η πλειοψηφία των μελών της Διοίκησής του ορίζεται από το Υπουργείο Πολιτισμού.
Το 2021 το Μέγαρο Μουσικής Αθηνών έκλεισε 30 χρόνια παρουσίας ως ένα ολοκληρωμένο πολυδύναμο πολιτιστικό κέντρο υψηλών προδιαγραφών. Με βασικούς άξονες την τέχνη και την εκπαίδευση, συνεχίζει να λειτουργεί ως κόμβος πολιτισμού, συνδέοντας τις ελληνικές και τις ευρωπαϊκές δυνάμεις στο χώρο της τέχνης και της διανόησης, στηρίζοντας παράλληλα την ελληνική παραδοσιακή και σύγχρονη δημιουργία.