Με την αποπεράτωση του κτιρίου της Εταιρείας, στην οδό Εθνικής Αμύνης 4,το 1951, και τη στέγαση σ’ αυτό των υπηρεσιών της Εταιρείας, ξεκίνησε και η σύσταση της Βιβλιοθήκης, στον τρίτο όροφο, η δημιουργία της οποίας προβλεπόταν ήδη από το Καταστατικό του 1939.
Πρώτος πυρήνας της βιβλιοθήκης υπήρξε το βιβλιακό υλικό που αποκτήθηκε κατά τη διάρκεια της δεκαετίας του 1940 από δωρεές Μακεδόνων της Αθήνας, των Θεσσαλονικέων μελών της Εταιρείας και φυσικά από αγορές.
Στα πρώτα χρόνια συστάσεως της βιβλιοθήκης έγινε μια συστηματική προσπάθεια εμπλουτισμού με αγορές, προσέλκυση δωρεών και ανάπτυξη ενός δικτύου ανταλλαγών με βιβλιοθήκες και οργανισμούς της Ελλάδας και του εξωτερικού, προκειμένου να αποκτηθεί εξειδικευμένο βιβλιακό υλικό που αφορούσε κυρίως την ιστορία, τη λαογραφία και την αρχαιολογία του Μακεδονικού χώρου.
Στη δεκαετία του 1960 ξεχωρίζουν δωρεές βιβλίων από τις βιβλιοθήκες : του ποιητή και ιδρυτικού μέλους Γεωργίου Σαγιαξή, του δικηγόρου και συλλέκτη σπανίων βιβλίων Γεωργίου Παπαηλιάκη, του Φιλίππου Δραγούμη, του Τριαντάφυλλου Κοντανασσόπουλου, του δικηγόρου Κωνσταντίνου Τσώπρου, του Γεωργίου Τριανταφυλλίδη, του δικηγόρου Χριστοφόρου Νάλτσα (1896-1980) που διετέλεσε για πολλά χρόνια αντιπρόεδρος και έφορος της Βιβλιοθήκης, του στρατηγού Γεωργίου Αστεριάδη και πολλών άλλων.
Από το 1969, όταν την ευθύνη της βιβλιοθήκης ανέλαβε ο Ευστράτιος Ζεγκίνης (1969-1977) η βιβλιοθήκη αναταξινομήθηκε, έγινε νέος δελτιοκατάλογος, τομέας περιοδικών και οργανώθηκε σε σύγχρονες βάσεις το σύστημα εξυπηρέτησης των αναγνωστών και εμπλουτισμού της βιβλιοθήκης. Από τον Φεβρουάριο του 1974 η βιβλιοθήκη αποδόθηκε οργανωμένη στους ερευνητές και το αναγνωστικό κοινό.
Κατά την τελευταία περίοδο 1977-2007 που την ευθύνη της βιβλιοθήκης είχε ο Κώστας Πλαστήρας η βιβλιοθήκη εμπλουτίστηκε από τις μεγάλες δωρεές: της Αλεξάνδρας Παραφεντίδου, του πτεράρχου Γεωργίου Θεμελή, της Ελληνικής Κοινότητος Αλεξανδρείας και του Γενικού Προξενείου της Ελλάδος στο Κάιρο με 4000 βιβλία, περιοδικά, χάρτες και λοιπό σπάνιο υλικό για τον ελληνισμό της Αιγύπτου, του Πασχάλη Καραπάλη, της Ρούλας Παπαδημητρίου και ολόκληρη την βιβλιοθήκη της Ελληνικής Εταιρείας Σλαβικών Μελετών που περιλαμβάνει βιβλία και περιοδικά σε όλες τις σλαβικές γλώσσες.
Το επιβλητικό και φωτεινό αναγνωστήριο της βιβλιοθήκης διαθέτει 56 θέσεις αναγνωστών και στα τελευταία χρόνια δέχτηκε τις φροντίδες αρχιτεκτόνων προκειμένου να γίνει λειτουργικότερο για τους βιβλιοθηκονόμους και τους αναγνώστες. Πρόκειται για μια όμορφη αίθουσα 170 τ.μ. που από την αρχή της λειτουργίας της χρησιμοποιήθηκε και για άλλες εκδηλώσεις όπως εκθέσεις ζωγραφικής, διαλέξεις, εκθέσεις βιβλίων κατά τη διάρκεια των εορτασμών της πεντηκονταετηρίδας από την απελευθέρωση της Θεσσαλονίκης (1962), στον εορτασμό των σαράντα χρόνων της Εταιρείας, έκθεση παλαιοτύπων και σπανίων εκδόσεων της βιβλιοθήκης, ή και άλλες εκδηλώσεις.
Στα μέσα της δεκαετίας του 1990 η βιβλιοθήκη μηχανοργανώθηκε με το γαλλικό λογισμικό Alexandrie, απέκτησε δίκτυο υπολογιστών, συνδέθηκε με το ίντερνετ και επεκτάθηκε σε νέους χώρους και βιβλιοστάσια.
Σήμερα διαθέτει περίπου 70.000 τόμους βιβλίων, περιοδικών, χειρογράφων, εφημερίδων, χαρτών καθώς και άλλο μη βιβλιακό υλικό. Στον αριθμό αυτόν θα πρέπει να συνυπολογιστεί η ύπαρξη ενός σεβαστού αριθμού παλαιοτύπων και σπανίων εκδόσεων. Όλο το σπάνιο υλικό αποτελεί ένα ξεχωριστά προστατευμένο τμήμα την Ειδική Συλλογή της Βιβλιοθήκης.
Η Βιβλιοθήκη της Ε.Μ.Σ. είναι μια ειδική πληροφοριακή βιβλιοθήκη, καλύπτοντας με το υλικό της τον βόρειο ελληνικό χώρο, κυρίως αυτόν της Μακεδονίας και των σχέσεών της με τον βαλκανικό χώρο, υλικό αναφερόμενο στην ιστορία, την αρχαιολογία, τη φιλολογία, τις τέχνες και τη λαογραφία, χωρίς να λείπουν βιβλία άλλων επιστημών, αρκεί να αναφέρονται άμεσα ή έμμεσα στη Μακεδονία. Διαθέτει πλούσιο δίκτυο ανταλλαγών εκδόσεων με ιδρύματα, πανεπιστήμια και επιστημονικούς οργανισμούς της Ελλάδας και του εξωτερικού και εξυπηρετεί περί τους 5.000 περίπου ερευνητές το χρόνο από την Ελλάδα και το εξωτερικό.