История города Ставрополя началась с закладки военной крепости в цепи укреплений Азово-Моздокской оборонительной линии. В октябре 1777 г., в канун осеннего праздника Казанской иконы Божьей Матери, здесь расположились кавалеристы Владимирского драгунского полка и казаки Хоперского полка, которые начали строить крепость. Для нее была выбрана высота с естественными укреплениями в виде обрывов и крутых склонов в сторону р. Ташлы и р. Желобовки. Лишь с юго-западной стороны крепость не имела естественных укреплений, поэтому на этом направлении был возведен главный редан с пушками.
На первом этапе Ставропольская крепость была опоясана земляными укреплениями в виде рвов и валов с реданами и банкетами. Отдельные участки земляных укреплений могли облицовываться камнем. Крепость строилась по всем правилам фортификации своего времени. В начале XIX в. крепость стала усиливаться каменными оборонительными казармами. Внутри крепости находилась деревянная полковая церковь, шефский дом, дом штаб-офицера, караульные помещения, пороховой погреб, артиллерийский цейхгауз, кузница, мастерские и другие военные объекты. Однако в связи с перемещением российской границы к горам Северного Кавказа роль Ставропольской крепости постепенно понижается до тыловой.
По инициативе генерала А. П. Ермолова в 1819 г. Ставропольская крепость была преобразована в Интендантство для снабжения Кавказского военного корпуса. Интендантство занимало центральную часть территории крепости и представляло собой замкнутый военный городок, в котором размещались интендантские склады, здание комиссариатской комиссии, Шефский дом и другие строения.
Остальная часть крепости начала осваиваться под нужды г. Ставрополя. Здесь разместилось полицейской управление, пожарная часть, женское училище Святой Александры, Казанский кафедральный собор с соборной площадью, первая электростанция, синагога, Александрийская площадь, а также жилые строения, среди которых был и дом Г. Н. Прозрителева, первого исследователя крепости.
В 1939 – 1943 гг. Казанский кафедральный собор был разрушен. Во время немецкой оккупации сильно пострадали интендантские склады и здание электростанции.
Во второй половине XX в. на исторической территории крепости было  проведено благоустройство: поставлен памятник «Кавказская палатка» с символическим ключом от города, бюст А. В. Суворова, памятник «Буденновцу», возведены здания кинотеатра «Родина», ресторана «Горка» и плавательного бассейна.
В начале XXI столетия было проведено благоустройство Александрийской площади, где появился светомузыкальный фонтан, а на месте главного редана воссоздан фрагмент крепостных укреплений.
В результате выполненных работ Крепостная гора приобрела измененный вид. Многие исторические объекты ушли в небытие. В 2018 г. к  Дню Ставропольского края и города Ставрополя при поддержке губернатора Ставропольского края В. В. Владимирова и администрации г. Ставрополя на Крепостной горе проведены работы по благоустройству территории в центральной части бывшей крепости. В рамках этих работ реализован проект «Историческая колыбель Ставрополя». Его цель – создать условия для ознакомления с историей Ставропольской Крепостной горы. Для этого здесь установлено 18 информационных модулей на тех местах, где когда-то располагались исторические объекты. Модули объединены в последовательный экскурсионный маршрут и снабжены QR-кодами для выхода на специально созданный сайт Ставропольского музея – заповедника им. Г. Н. Прозрителева и Г. К. Праве, где каждый заинтересованный пользователь сможет получить развернутую информацию о каждом историческом объекте.