該建築由商人大倉邦彥（1882-1971）於1932年創立，他後來擔任東洋大學校長。最初是「大倉精神文化研究所」的主樓，1981年捐贈給橫濱市。經過大規模的翻新和保護，於1984年重新命名為橫濱市大倉山紀念館，並於1991年被指定為橫濱市指定有形文化財產。自開放以來，它已成為深受市民喜愛的文化場所，舉辦過許多面向社區的活動，例如吸引超過1萬名遊客的“大倉山秋季藝術節”、兒童節舉辦的“兒童節”以及12月舉辦的“小山丘上的聖誕快樂”等。此外，其希臘神殿風格的柱廊、保留了昭和初期氛圍的第五會議室、融入神社建築木框架的大廳以及入口都曾被用作電影和電視節目的拍攝地點。
