白马寺整个寺庙坐北朝南，为一长形院落，总面积约4万平方米。主要建筑有天王殿、大佛殿、大雄宝殿、接引殿、毗卢阁等，均列于南北向的中轴线上。虽不是创建时的“悉依天竺旧式”，但寺址都从未迁动过，因而汉时的台、井仍依稀可见。有五重大殿和四个大院以及东西厢房。
整个寺庙布局规整，风格古朴。寺大门之外，广场南有近些年新建石牌坊、放生池、石拱桥，其左右两侧为绿地。左右相对有两匹石马，大小和真马相当，形象温和驯良，这是两匹宋代的石雕马，身高1.75米，长2.20米，作低头负重状。相传这两匹石雕马原在永庆公主(宋太祖赵匡胤之女)驸马、右马将军魏咸信的墓前，后由白马寺的住持德结和尚搬迁至此。走进山门，西侧有一座《重修西京白马寺记》石碑。这是宋太宗赵光义下令重修白马寺时，由苏易简撰写，淳化三年(992)刻碑立于寺内的。碑文分五节，矩形书写，人称“断文碑”。山门东侧有一座《洛京白马寺祖庭记》石碑，这是元太祖忽必烈两次下诏修建白马寺，由当时白马寺文才和尚撰写，至顺四年(1333)著名书法家赵孟頫刻碑，立于寺内的，人称“赵碑”。
白马寺山门采用牌坊式的一门三洞的石砌弧券门。“山门”是中国佛寺的正门，一般由三个门组成，象征佛教“空门”、“无相门”、“无作门”的“三解脱门”。由于中国古代许多寺院建在山村里，故又有“山门”之称。明嘉靖二十五年(1546)曾重建。红色的门楣上嵌着“白马寺”的青石题刻，它同接引殿通往清凉台的桥洞拱形石上的字迹一样，是东汉遗物，为白马寺最早的古迹。
山门内东西两侧有摄摩腾和竺法兰二僧墓。五重大殿由南向北依次为天王殿、大佛殿、大雄殿、接引殿和毗卢殿。每座大殿都有造像，多为元、明、清时期的作品。毗卢殿在清凉台上，清凉台为摄摩腾、竺法兰翻译佛经之处。东西厢房左右对称。整个建筑宏伟肃穆，布局严整。此外，还有碑刻40多方，对研究寺院的历史和佛教文化有重要价值。