1540 में मुग़ल साम्राज्य पर नियंत्रण के बाद शेरशाह पटना आया। गंगा किनारे बसा पटना उन दिनों एक छोटा सा क़स्बा भर था। मौर्य और गुप्त साम्राज्य की राजधानी रहा पाटलिपुत्र अपना प्राचीन गौरव खो चुका था। पटना के सामरिक महत्व को देखते हुए शेरशाह ने यहाँ एक किला बनवाने का फैसला किया।
पांच लाख रुपयों की लागत से एक किले का निर्माण हुआ। इसके बाद शेरशाह ज्यादा दिनों तक जीवित नहीं रह सका। 13 मई 1545 को वह कालिंजर के किले में मारा गया। मुग़ल फिर से सत्ता में आये। यह किला मुग़लों के अधीन रहा। वक्त बदला। मुग़लों को ईस्ट इंडिया कंपनी ने हिंदुस्तान की सत्ता से बेदखल किया। उन दिनों इस किले का मालिकाना हक़ एक मुस्लिम नवाब के पास था। ईस्ट इंडिया कंपनी ने इसे नवाब से खरीद लिया।
दीवान बहादुर राधा कृष्ण जालान पटना के एक समृद्ध व्यापारी थे। उन्होंने 1911-1912 के आस पास इस किले को ईस्ट इंडिया कंपनी से खरीदा। तब तक किले की हालत ख़राब हो चुकी थी। उचित रखरखाव न होने से इसकी दीवारें ढह रहीं थीं। दीवान बहादुर ने किले को एक नया रूप दिया।
समृद्ध दीवान बहादुर कला प्रेमी थे। उनकी ख्याति एक उत्कृष्ट कलाप्रेमी ग्राहक की थी। उन्हें दुर्लभ चीजों के संग्रह का शौक था। पांचवें किंग जॉर्ज के सिल्वर जुबली समारोह में उन्हें लंदन से बुलावा आया तो उन्होंने उसका भरपूर फायदा उठाया। लंदन में उन्होंने दुर्लभ वस्तुओं की खरीदारी तो की ही साथ ही पूरी दुनियां में घूम- घूम कर उन्होंने दुर्लभ कलाकृतियां, पुरातात्विक महत्व की वस्तुएं, दुर्लभ तस्वीरें, प्राचीन फर्नीचर इत्यादि खरीदे। इन्हीं दुर्लभ वस्तुओं से उन्होंने किले को समृद्ध बनाया जो अंततः एक संग्रहालय के रूप में मशहूर हो गया।
प्राचीन वस्तुओं का शौक दीवान बहादुर को इतना था कि एक बार वे मिस्र से ममी ही उठा लाये। लेकिन पत्नी के विरोध करने पर उन्हें इसे वापस लौटना पड़ा। दीवान बहादुर का यह संग्रह दुर्लभ कलाकृतियों से भरा पड़ा है। चीन जाकर उन्होंने शुंग और मिंग साम्राज्य काल के बहुत से पर्सेलीन की कलाकृतियां भी खरीदीं।1885 में फ्रांस जाकर उन्होंने कई दुर्लभ वस्तुएं खरीदीं। लुइ'स 15वें और लुइ'स 16 वें के फर्नीचर, फ्रांस की साम्राज्ञी मारी अंटोइनेट का वाइन कूल, नेपोलियन के इस्तेमाल में लाई गयी वस्तुएं इत्यादि।
मुग़ल बादशाह अकबर और हुमायूँ की तलवारें, बीरबल के भोजन और पूजा के बर्तनों के साथ- साथ बीदरी वर्क के कई शानदार नमूने भी इस संग्रहालय में हैं। एक रोचक किस्सा बीरबल के बर्तनों से जुड़ा है। 1953 में पंडित जवाहर लाल नेहरू जब पटना आये तो उन्हें दीवान बहादुर ने खाने पर निमंत्रित किया। उनके साथ तत्कालीन राज्यपाल आर.आर दिवाकर, तत्कालीन मुख्यमंत्री श्रीकृष्ण सिंह भी थे। वहां उन्हें बीरबल के चांदी के बर्तनों में खाना पड़ोसा गया। चांदी के बर्तनों को देख पंडित नेहरू बिफर पड़े। लेकिन जब उन्हें यह बताया गया कि ये बर्तन बीरबल के हैं तो उन्होंने बड़े शौक के साथ खाना खाया।
कालांतर में शेरशाह का बनाया हुआ किला थोड़े से रूपांतरण के बाद एक ऐसे कला संग्रहालय के रूप में पूरी दुनियां में मशहूर हो गया जो सिर्फ एक व्यक्ति के शौक का नतीजा था।