北阳山为喜马拉雅造山运动由海地凸起的喀斯特地貌，距今约4亿年。山峰叠连，峰顶为灰色含生物化石的变质岩形状如剑如刺，常年云雾缭绕，半年积雪，雪影峰景，银装素裹，冰清玉洁，十分壮观。峰间腹地星罗密布，深不见底有的天坑可听见汨汨地下河水流声。山峰间隔处为下陷圆锅形“麻当”，面积较大的约几千平方米，形似外星飞碟；圆锅内聚有沃土，麻当中有蓄水池，人们在此耕地生活，北阳山海洋生物化石琳琅满目。常见的生物化石有刺毛虫、鱼类、贝类等遍布山野。西口镇、米粮镇的珊瑚大理石多为红色、白色、黑色，打磨后鱼、贝类化石清晰可见。传说圆明园石雕柱座所用的就是这里的珊瑚大理石。1987年西口镇在采珊瑚大理石矿时，曾发现一具大形贝壳化石，锤园形，约五平米胸径。

北阳山与南阳山相隔45公里，南北相望。山南有子房洞，山顶有张良庙，山中有逍遥寺。张良庙西有“一仗口”，是太平天国顺天兵战败当地乡勇的战场。为了纪念张良、汉高祖刘邦，有许多地方以“子房”、“迎驾”为地名，如迎驾岭、公馆、落驾河、子房洞、子房河、子房沟等。

北阳山群峰林立，溶洞多，有较发达的地下河流。由于为喀斯特地形，经过四亿年的雨水侵蚀，日晒风吹，整个山体为大型溶洞群，千奇百怪，洞中河流密布。有些地下河出口，每逢清明时节，鱼游涌出，称“鲤鱼跳龙门”；有的出口形成天然喷泉，犹如银柱；有的出口在悬崖之巅，自上而下形成瀑布，状似银河，景色十分壮观。石景村千佛溶洞、马家溶洞、安家溶洞、甘沟溶洞等，洞内钟乳石扑朔迷离，五花八门，妙趣横生，浑然天成。这些溶洞之幽，面积之大，气势壮丽，洞内奇石异物保存完好，洞外自然风光美丽，为西北罕见的地理景观！