A sua origem remonta à Pré-História: o primeiro povoamento da Andaluzia data do período paleolítico. Por volta de 1000 a.C., estabeleceram-se diversos povos na região, entre eles os fenícios, gregos e cartagineses. Reino de Tartessos foi o nome pelo qual os gregos denominaram a região que tinha, por linha central, o vale do rio Tartessos, que, depois, os romanos chamaram de Bétis e os árabes de Guadalquivir. No século VI a.C., Tartessos desapareceu abruptamente e, quando os romanos lá chegaram, o reino já não existia mais. Os cartagineses abandonaram a região quando Cartago foi derrotada pelos romanos na Segunda guerra púnica.

Os romanos dominaram a região e lhe deram o nome de Bética, ficando ali até as invasões dos vândalos e visigodos. Na época do domínio romano, a região era rica e exportava vinho e, principalmente, azeite de oliva. Enquanto os vândalos permaneceram por pouco tempo na região, os visigodos fundaram um reino que durou até a chegada dos muçulmanos oriundos do Norte de África e do Próximo Oriente.

Em 711, os árabes invadiram a região, num domínio que durou oito séculos e que deixou marcas na população e na cultura da Andaluzia. Estabeleceram um emirado com capital em Córdova que se tornou independente de Damasco no ano de 929. Este período foi de grande prosperidade sociocultural. A agricultura desenvolveu-se muito, tal como as indústrias naval, de papel, do vidro, dos tecidos e da cerâmica. Provavelmente o nome Andaluzia seria uma denominação dos árabes relacionada aos vândalos.

Durante o século XI, o califado debilitou-se em guerras civis, sendo a região conquistada pelos Reis Católicos, facto conhecido como a conquista de Granada, em 1492. A presença árabe na região pode ser constatada por vários monumentos (como as fortalezas de Alhambra e mesquitas como a de Córdova), assim como palavras incorporadas ao dicionário espanhol.

A gênese da cultura andaluza moderna pode ser rastreada até a última fase da Reconquista e os dois séculos que se seguiram (séculos XIII a XVII), quando houve uma maior adoção do cristianismo católico pela população. As outras religiões que haviam sido encontradas na região durante os sete ou oito séculos anteriores declinaram, nomeadamente o islamismo sunita e o judaísmo sefárdico, principalmente devido a política de conversão forçada da inquisição espanhola. Também coincidiu com a chegada dos ciganos no meio do século XV, que também contribuíram para a cultura da Andaluzia moderna. A Andaluzia foi fortemente reassentada pelos castelhanos, leoneses e outros povos das regiões central e norte da Espanha e é hoje talvez a região mais fervorosa da Espanha.

Depois da conquista castelhana, o território da atual Andaluzia estava ocupado por quatro reinos: Sevilha, Córdoba, Jaén e Granada. Porém, na época o termo Andaluzia só designava os reinos de Jaén, Sevilha e Córdoba. O que é conhecido como território atual só se formou após a Guerra das Alpujarras de 1570-72, quando se deu a total expulsão dos mouriscos da região. Primeiro, os mouriscos (espanhóis descendentes de muçulmanos) se dispersaram pelo Reino de Castela, sendo depois totalmente expulsos da Península Ibérica em 1609. A expulsão foi levada a cabo durante 7 anos, até 1616. Nessa data terminou a existência dos mouriscos na Espanha, que foram quer expulsos ou transladados. A grande maioria dos que foram expulsos permanentemente se estabeleceram a margem ocidental do Império Otomano e no Reino de Marrocos.

Já outros decidiram emigrar para as colônias espanholas nas Américas junto com outros espanhóis.

Os andaluzes formaram o principal componente da imigração colonial espanhola para certas partes do Império Espanhol nas Américas e Ásia e foram também o maior grupo na participação da colonização das ilhas Canárias. Principalmente, os andaluzes e os seus descendentes predominam nas ilhas Canárias (Espanha), nas ilhas do Caribe (Porto Rico, República Dominicana) e Guatemala, Costa Rica, Panamá, a costa caribenha da Colômbia (conhecida como Nova Granada nos tempos coloniais) e na Venezuela. Também foram predominantes na região do Rio de la Plata (Argentina e Uruguai) e nas áreas costeiras do Chile. Na Ásia, os andaluzes predominaram na população espanhola das Filipinas, evidenciado pelo forte componente andaluz dos colonizadores espanhóis desta nação, apesar do fato de que as Filipinas estavam sob a supervisão colonial do vice-rei de Nova Espanha (México).

A campanha de expansão castelhana na América durante o século XVI causará um período de esplendor na Andaluzia ocidental, especialmente em Huelva, Sevilha e Cádiz, devido a sua situação como porta de saída até a América. Granada, pelo contrário, tinha seus interesses no Mediterrâneo. No século XVIII, algumas partes da Andaluzia foram repovoadas por povos vindos de diversas partes de outros países europeus e da região atualmente conhecida como Espanha.

Até o século XIX, a Andaluzia viveu um período dourado, porém a Guerra pela Independência Espanhola (ou Guerra Peninsular) e a independência das colônias espanholas foram fatais. Várias revoltas surgem no território da Andaluzia, entre eles o bandoleirismo (quadrilhas que atacavam viajantes). A grave crise econômica conduziu aos andaluzes a apoiar a revolução de 1868 ("la Gloriosa" ou "la Setembrina") que acabou por destronar a rainha Isabel II. A Primeira República Espanhola fracassa, a monarquia é restituída, assumindo Afonso XII, filho de Isabel II.

Em 1883, é aprovada a Constituição Federal de Antequera, que foi um intento falido por dotar a Andaluzia de um estado independente que se integraria voluntariamente como estado federal em uma federação hispânica. Foi fruto das convulsões vividas desde a revolução de 1868. É neste momento que muitos situam o nascimento do nacionalismo andaluz.

Com apoio do rei Afonso XIII, o general Primo de Rivera inicia uma ditadura na Espanha que durou de 1923 a 1930 mas foi só com a proclamação da Segunda República Espanhola que se tentou resolver alguns problemas da Andaluzia (analfabetismo e reforma agrária). Em 1939 após a Guerra Civil Espanhola, o General Francisco Franco assumiu o poder espanhol e os pequenos avanços feitos a favor da reforma agrária se perderam. Houve avanços na região com desenvolvimento da indústria, turismo e transporte. Com a morte de Franco, a Espanha institui o regime de monarquia parlamentarista e começou uma transição para a democracia.

Em 1980, a Andaluzia adquiriu sua condição atual de comunidade autônoma espanhola e começou sua lenta recuperação. Em 1992, inaugurou-se o trem de alta velocidade entre Sevilha e Madri e se celebrou a Exposição Universal de Sevilha.