Người Cờ Lao chuyển cư tới Việt Nam cách đây khoảng 150 - 200 năm. Người Cờ Lao thường sống thành từng làng khoảng 15 - 20 nóc nhà ở vùng núi đất huyện Hoàng Su Phì, hoặc núi đá tai mèo ở huyện Ðồng Văn (Hà Giang). Nhà ba gian hai trái, mái lợp cỏ gianh hoặc các ống vầu, nứa bổ đôi xếp úp ngửa.