Al parecer se construyó en dos fases; la primera entre 661 y 684, y la segunda en torno a 710, época del grafito que hay en las escaleras superiores, por el califa omeya Walid I. Es probable que en este lugar hubiera una construcción anterior griega o bizantina.

A pesar de denominarse castillo, sus funciones no están claras, ya que no parece haber tenido uso militar y las rendijas que existen en las paredes de muchas habitaciones no son aspilleras sino que sirven para ventilación. Parece más bien un palacete y podría haberse usado como caravasar para descanso de los viajeros, pero no hay fuentes de agua corriente y no se encuentra en ninguna ruta conocida.

 Interior del Qasr Kharana, mostrando las influencias sasánidas.

En los últimos siglos el castillo fue abandonado y dañado por diversos terremotos. Fue redescubierto por el explorador austro-checo Alois Musil en 1901 y reconstruido a partir de 1970 bajo la supervisión del arqueólogo Stephen Urice. El castillo puede visitarse por completo, aunque en el piso superior hay que tener cuidado en las escaleras y no se puede ascender al tejado.