位于朝阳区西部。东起日坛路与日坛公园相邻，西至南下坡，北始朝外二条东巷，南至雅宝路。据云，一杜姓人家在此盖楼，故称。民国时已有其称。

杜家楼西南是南下坡，地势自北向南突然低落，故名。1969年在此建简易楼，多回民。西南角有清真寺，正殿为硬山勾连搭。为区级文物保护单位。

杜家楼之北是朝外二条，原称观音寺，其东朝外二条东巷，称观音寺东巷。旧时为回民坟地，俗称杨德子坟地后身，1965年改今称。有两幢简易楼，余皆平房。