Некоторые историки предполагают, что крепость была построена в V-VI веках как защитное сооружение для караванов, которые путешествовали по пустыне. Другие считают, что она была использована для торговли и обмена товарами с близлежащими народами.
Однако, наиболее распространенной версией считается то, что Ксар Драа была построена в VIII-X веках как крепость для защиты от нашествий племен Туарегов, которые часто нападали на путешественников и караваны. Крепость была расположена на высоком плато, чтобы обеспечить легкую оборону и прекрасный обзор окружающей местности.
Однако, когда в XII веке Туареги перестали быть угрозой, крепость была покинута и оставлена наедине с пустыней. С тех пор Ксар Драа была забыта и только в начале XX века ее обнаружили европейские путешественники.
В настоящее время Ксар Драа служит туристической достопримечательностью и национальным памятником Алжира. Ее уникальная архитектура и красивые виды привлекают множество туристов, а также исследователей, которые до сих пор пытаются разгадать загадку ее происхождения и истории.