В 1803 г. на Кавказ прибыл крупный военный специалист, финн на русской службе, генерал от инфантерии Георг Магнус (Егор Максимович) Спренгпортен. Его сопровождали жена, флигель-адъютант Александр Христофорович Бенкендорф (будущий шеф Жандармского управления) и художник Емельян Михайлович Корнеев.  После проведенной им инспекторской проверки крепостей Азово-Моздокской линии земляные укрепления начали заменяться или усиливаться каменными. Как правило, это были каменные оборонительные казармы, промежутки между которыми перекрывали каменные же стены с банкетами и бойницами.
Коснулись эти работы и Ставропольской крепости. Было принято решение о том, чтобы земляные укрепления усилить изнутри цепью каменных оборонительных казарм, где могли проживать солдаты и офицеры.  Казармы были спроектированы в 1807 г. и построены в период между 1809-1811 гг.

До настоящего времени сохранились подлинные остатки (внешняя оборонительная стена и фундаменты) одной из таких казарм, которую занимали драгунские офицеры Таганрогского полка.

Таганрогский драгунский полк был сформирован в 1775 г., в 1787 г. его перевели служить на Азово-Моздокскую линию. В это время командиром полка являлся Алексей Андреевич Беклешов. С 1801 г. полку была назначена постоянная квартира (место дислокации) в г. Ставрополь. В «Расписании о квартирах» за 1801 г. в городе значится первый лейб-эскадрон полка.

Казарма офицеров эскадрона в плане являлась прямоугольной, вытянутой. Изначально планируемые ее размеры были примерно 15 на 3,5 сажени (1 сажень – около 2,1 м). Внешняя стена была с бойницами. Размеры последних с внутренней и внешней стороны здания различались. С внешней стороны высота бойницы была 0,8 м, средняя ширина –0,16 м. С внутренней: высота – 0,62 м, ширина – 0,4 м. Такая разница в размерах объясняется тем, что для защиты стрелка от неприятельских пуль необходимо узкое отверстие в виде «щели», а для удобства при стрельбе и создания наибольшего угла горизонтального обстрела «в стороны» нужен относительно широкий проем. Такая конструкция бойниц обеспечивала угол горизонтального обстрела в 40 градусов. Данный угол, при сравнительно близком расположении бойниц друг от друга, обеспечивал сплошную завесу огня с пространством «без поражения» только на 1,5 м от стены.
На внутренней стене здания были прямоугольные окна. Входы со ступеньками шли с угловых частей двух поперечных стен. Возле дверей было по одному прямоугольному окну.
Интерьер помещения разделялся на длинный коридор вдоль внешней стены и несколько прямоугольных комнат и помещений. Коридор посередине делился на две равные части перегородкой с печами с обеих сторон. Вдоль коридора в линию шли комнаты различных размеров с печами внутри. Два средних смежных помещения, вероятно, столовая и зал, были соединены внутренней дверью и имели два входа из коридора. Остальные пять комнат также имели дверные проемы из коридора.

Во время функционирования крепости и сразу после её упразднения офицерская казарма использовалась не только для проживания командного состава эскадрона, но и для размещения проезжающих через город офицеров среднего звена. Не исключено, что в этом доме останавливался в 1818 г. штаб-ротмистр Ахтырского гусарского полка Александр Александрович Алябьев, в будущем – великий русский композитор.
С учреждением на Крепостной горе комиссариатских, а затем интендантских служб бывшая казарма стала частью комплекса зданий, где разместились структуры, занимающиеся снабжением армии.
В первые два десятилетия XX в. строение пришло в аварийное состояние и было почти полностью разобрано, кроме внешней стены. Уже в 1940-е гг. эта стена стала восприниматься местными жителями как сохранившаяся часть «крепостной» стены. В 1960-е гг. объект был поставлен на учет и охрану как памятник истории и культуры республиканского (теперь федерального) значения.

В середине 1970-х гг. он стал частью монументального комплекса, посвященного 200-летию основания г. Ставрополя, которое торжественно отмечалось в 1977 г. В это время объект был увековечен как фрагмент стены Ставропольской крепости.
Обнаружение планов казарм и офицерских домов крепости, как и раскопки казармы, проведенные сотрудниками Ставропольского краеведческого музея в 1992 г., помогли выявить историческую истину.