Научные исследования в Костенках ведутся уже более 130 лет. За это время наука прошла огромный путь в реконструкции древнего общества. Однако сам археологический памятник в результате исследований перестает существовать, и что казалось неважным и несущественным для науки 130 лет назад, и не было тогда должным образом описано и зафиксировано в наши дни выглядит невосполнимой утратой.
Поэтому вполне закономерно, что в середине прошлого века одному из виднейших ученых того времени, постоянно работающему в Костенках, Александру Николаевичу Рогачеву пришла в голову мысль не просто раскопать стоянку, но и сохранить ее на месте нахождения в качестве вещественного документа для будущих поколений археологов. Этой стоянкой был памятник с названием Костенки 11, где в 1949 году местным жителем И.И. Протопоповым при рытье погреба было обнаружено насыщенное скопление костей мамонта.
Раскапывать и одновременно консервировать этот памятник А.Н. Рогачев начал в 1960-м году. Тогда была открыта лишь часть древнего поселения. Следующие годы раскопок показали, что выбор памятника для сохранения в качестве вещественного документа оказался чрезвычайно удачным.
В результате исследований 1960-65 гг. было открыто древнее жилище из костей мамонта 9 метров в диаметре, окруженное ямами-кладовыми для хранения запасов пищи. Сохранилось оно прекрасно, и было настолько выразительным, что было интересно не только для узкого круга археологов, но и для всех посетителей этих раскопок. Становилось ясно, что раскопанный и законсервированный памятник может стать основой интереснейшего музея, посвященного каменному веку.
С начала 60-х годов началось плодотворное сотрудничество экспедиции Ленинградского отделения Института археологии Академии наук СССР и Воронежского областного краеведческого музея по сохранению данного памятника и строительства здания музея над ним.
Создателям музея в Костенках — руководителю экспедиции Александру Николаевичу Рогачеву и директору Воронежского музея Андрею Петровичу Соловьеву — приходилось преодолевать невероятное количество преград и препон в реализации такого необычного для того времени проекте. Это сейчас значение музея в Костенках всем понятно, как само собой разумеющееся, а тогда неутомимым его создателям приходилось это доказывать на всех уровнях.
В результате их подвижнической деятельности и на фоне общесоюзного оживления и развития музейного дела Воронежским облисполкомом 4 января 1967 года было принято решение о строительстве здания музея в селе Костенки и дороги, ведущей к нему. Однако само строительство здания затянулось на долгое десятилетие.
В 1979 году Костенки отмечали 100-летие со дня своего открытия, которое ознаменовалось широкими общественными мероприятиями и международным полевым семинаром.
Это явилось существенным толчком к завершению работ по строительству музея. Спустя несколько лет в музее заработала временная выставка, начался прием посетителей. Музей в Костенках тогда работал как филиал Воронежского областного краеведческого музея.
С первых лет своего существования этот музей приобрел в Воронежской области колоссальную популярность. Его посещали отдыхающие многочисленных туристических баз, находящихся вокруг Воронежа, школьники Воронежа и области, трудовые коллективы предприятий города, дети из пионерских лагерей. Продолжались исследования и на других стоянках Костенок.
Становилось ясно, что для таких первоклассных памятников мирового значения, находящихся на территории сел Костенки и Борщево, повседневные нужды обитателей которых кардинально расходились с задачами охраны этих стоянок, нужен совершенно иной режим землепользования и иной статус. Было важно объявить, что музей – это не только стоянка Костенки 11, сохраненная под крышей музея в Костенках, но и весь комплекс памятников той поры, находящихся на территории района.
В 1991 году решением Воронежского облисполкома от 9 июля музей в Костенках отделился от Воронежского краеведческого музея, приобрел самостоятельность и стал музеем-заповедником, объединив на своей территории все 25 памятников каменного века.
С началом нового тысячелетия вновь возрос интерес посетителей к музею в Костенках. Во многом это и заслуга его сотрудников. Музей постоянно участвует в совместных археологических экспедициях с Институтом истории материальной культуры РАН (Санкт-Петербург), фонды его пополняются новыми находками в результате этих раскопок.
Музей ведет широкую просветительную работу: проводит выставки в районах области, обновляет постоянную экспозицию, проводит мероприятия, посвященные Дню музеев (18 мая), Дню открытия первой стоянки в Костенках (28 июня) и Дню археолога (15 августа). Не прекращаются научные исследования его памятников, которые приводят к новым открытиям в изучении древнейшей страницы истории человечества – каменного века.