城址由石城和土城组成。石城踞于山顶，依山势用天然青石筑就，呈不规则形，周长880米，城北墙、西墙、南墙外侧均为悬崖峭壁，唯东墙外侧为缓坡山岗，城内有居住址、小广场、水井等遗迹，东城墙中部有一个城门，宽4米，高4.2米。从城门两侧可见到墙底部宽11米，城墙的最高处在城门一带，城门外有通向山腰土城的道路。

　　土城在东侧山腰上，与石城相连接，呈不规则形，分南北两个城区，北城区周长904米，南城墙东南部有一个瓮城，周长70米，城南区周长440米。城内出土文物有唐、辽金时期铁器、陶罐、纺轮及北宋景德元宝，表明其延续时间较长。

　　小四方山城是我国现存东北地区古代少数民族沃沮族的重要城址遗址。小四方山城址保存现状良好，具有很高的原真性和完整性。小四方山城修筑理念、方式、方法，具有鲜明的民族和区域特点。自战国时代始建之后一直沿用至唐、辽金时期，持续使用时间之长，十分罕见，是研究我国东北地区民族谱系之肃慎系发展演变的珍贵实物史料，对研究东北古代民族发展史及其政治、经济、文化、军事、习俗等有重要价值。

　　1986年，小四方山城址被黑龙江省人民政府公布为黑龙江省重点文物保护单位；2006年5月，国务院公布其为第六批全国重点文物保护单位。小四方山城址为全国重点文物保护单位。