从大峡谷进入藏兵洞，出了洞口，就来到了红山堡。据说藏兵洞有三条通道可以进入红山堡，这只是其中的一个洞口，其余的两口洞口还没有找到，可见当年在这个立体防御体系中，上下连通，来往是多么的便捷。
红山堡是因位于红山地区而得名。据史书记载，古时在夕阳的照射下，这里山峦一片鲜红，因命为“红山”后讹传为“横山”，“红山堡”旧时也就一名“横山堡”。它是明代长城防御体系中的一个城障，始建于明弘治十六年(1503年)，由总制陕西军务户部尚书秦纮秦筑，距今已有500多年。“红山堡”本属灵州千户所辖，其为正方形，边长均为 300米，设东门一道，有瓮城，门向南开。墙高8米，底宽7米，顶厚4米，是按照明代长城沿线70里一城，30里一堡的防御体制设置的。它东至清水营50里，西至横城20里。
初时，驻堡将士仅为“一百二员”，就是说戍守将士只有102人。到明英宗天顺年间(1457—1464年)，瓦剌毛里孩、阿罗书、学罗忽三部渐强，入居河套。自成化元年(1465年)瓦剌三部不断寇掠陕西、宁夏。成化九年(1473年)，王越于时属灵州的红盐池大败孛忽罗等部，迫使他们“渡河北去”。但鞑靼部渐强，小王子部又率众入居河套，经常侵扰边塞“杀伤以万计”使生产遭受严重破坏。这时，红山堡等长城沿线防守任务更重。明正德十六年(1521年)户部尚书兼右副都御史，总制三边(陕西、宁夏、固原)的秦纮，委派宁夏都指使史镛扩建红山堡，南北长约380米，东西长约320米;瓮城长30米，宽20米。堡内住军251名，设守堡官员一名，操守官一名。城堡中，我们还可以看到原有的房屋基址。如按明代兵制，每5人分住一间营房，红山堡应有50多间房屋。在城堡西北台地处，我们能见到大量残破砖瓦和建筑构件残片堆积。这里可能是守堡官员的住所，在没遭到破坏前，可能是一座档次较高的恢宏建筑。
最初设置红山堡等城障时，主要有两个目的;一是加强长城线上的防守(这在介绍藏兵洞时已谈过);二是“防秋”。所谓“防秋”古已有之，到了明代，鞑靼、瓦剌贵族仍然遵循突厥等游牧贵族的古例，就是往往于秋天马肥草盛之际，大举兴兵南侵，这时农耕还正值秋收季节。为此，从隋唐至明，每到这时就要调集大军戍边，以保护百姓秋收，因称之为“防秋”。但在客观上，其作用并不仅如此。如自嘉靖十年(1531年)，王琼筑“头道边”，实施“深沟高垒”后，使长城内的“宁盐大道”和陕北有屏障保护的交通大道相衔接，从而成为商运往来的“黄金商道”。另一方面，又在横山至清水营各城障设立驿站，其中红山驿设驿马18匹，原有驿站3名，新添至7名，往灵州南下关中的驿道，比过去延长了120里，是宁夏镇军事供应及军机文书传递、官员往来的必经之道，这就和“宁盐大道”共同构成了在军事保护下的两大主要交通线。另一重要作用，就是长城内外各族人民出入清水营“马市”及“牛羊小市”进行商品交易和商贸往来，红山堡是重要通道之一。
据志书记载，明代长城沿线自横城起至延绥的今定边界，共有城障21座(城堡之间又根据需要修筑的小城堡称为“障”)。横城分边守备17里，清水营守备36里，两城营之间的18里统归红山堡分边守备。这样红山堡一头挑着横城营，一头挑着清水营，其军事上的重要性显而易见，正应它在地理上的特殊性，藏兵洞的修建就更容易理解了，大约建于实施深沟高垒的嘉靖十年(1531年)。
红山堡及其他城障之北的长城基部，一般都设有“暗门”(即类似城门的拱形小券门)可使长城内外相通，由戍军把手，按照规定开启。除此之外，明代在修筑长城时，还于长城内侧每5里筑有一座烽火台，红山堡属下有4座，即安边墩、大莺墩(此墩处的长城上有“暗门”)，镇罗边墩、窑儿边墩。烽火台为黄土夯筑，也称烟墩、烽台、烽燧、烽堠、狼烟台，俗称“烟火墩”。这种墩台，长城上也有设置，专用以军事报警，白天燃烟，夜间举火，依次递相燃放，军情很快就可传报到镇或州所。这种古老的报警方式，被誉为“世界上最早的无线电”。
明成化二年(1466年)的法令中规定：“合设烟墩，并看守堠夫，务必时加提调整点，须要广积杆草，昼夜轮流看望，遇有警急，昼则举烟，夜则举火，接递通报，毋致损坏，有误军情声息……传报得宜寇敌者，准其功，违者处以军法”。每座墩台一般设三个戍卒看守，日夜轮流值班。至于传递军情，其法令又规定“令边堠举放烽炮，若见敌一、二人至百余人，举放一烽一炮;五百人二烽二炮、千人以上三烽三炮;五千人以上四烽四炮;万人以上五烽五炮”。每座烽火台，通常都配备有旗帜、鼓、弩、软梯、炮石、火药、火箭、狼粪、牛粪、柴草等。
据钟侃研究员回忆：1963年，著名考古学家裴文中教授在与考察发掘水洞沟文化遗址时，曾住在红山堡。2007年宁夏考古研究所对红山堡东北角和瓮城进行了考古调查、发掘。长城博物馆和演武场正在建设中。
