Ze současné fauny patří žraloci k nejstarším skupinám živočichů. První žraloci byli ve fosilních záznamech nalezeni již ve vrstvách ordoviku, čili ve vrstvách z doby před 450-420 miliony lety, tedy dříve než se objevili první suchozemští obratlovci a před kolonizací kontinentů rostlinami. Z prvních žraloků byly objeveny jen čelisti a ne všichni paleontologové jsou přesvědčeni, že se jednalo o pravé žraloky. Nejstarší obecně uznávané žraločí čelisti byly objeveny ve vrstvách starých 420 milionů let, tedy ze siluru. Tehdejší žraloci byli ovšem odlišní od současných žraloků. Většina současných žraloků lze vysledovat zpět až do doby před 100 miliony lety.
Většina fosilních nálezů jsou žraločí zuby, často ve velkém množství. Odhady naznačují, že žralokům rostou desetitisíce zubů po celý život, což vysvětluje tak velké množství nálezů zubů. Hromadný nález žraločích zubů v sedimentech ovšem neznamená hromadný úhyn žraloků, ale je důsledkem naplavení vypadlých zubů vodními proudy.
Mezi nejstarší primitivní žraloky patří Cladoselache, žralok žijící zhruba před 370 miliony lety v oblasti prvohorního Ohia, Kentucky a Tennessee. V tehdejších dobách se v oněch místech nacházelo rozlehlé mělké moře. Cladoselache byl jen asi metr dlouhý žralok s tuhými trojúhelníkovitými ploutvemi a úzkými čelistmi. Jeho zuby byly několikrát lomené a opotřebovávaly se používáním. Z relativně malého množství celkem nalezených zubů je zřejmé, že cladoselache své zuby pravidelně neobměňoval, jako je tomu u moderních žraloků. Jeho ocasní ploutev byla podobného tvaru, jaké má žralok bílý a žralok mako. Fosilní nálezy naznačují, že šlo o rychlého a hbitého plavce.
Většina fosilních žraloků pocházejících ze sedimentů o stáří 300 až 150 milionů let může být zařazeno do jedné ze dvou skupin. Xenacanthida byli takřka exkluzivně sladkovodní. Než tato skupina žraloků vyhynula (před 220 miliony lety) rozšířila se po celém světě. Druhá skupina, hybodontiformes, se objevila přibližně před 320 miliony lety a většinou se jednalo o mořské žraloky, ačkoliv se mezi nimi nalézaly i sladkovodní druhy.
Moderní žraloci se začali objevovat přibližně před 100 miliony lety. Fosílie obrounů se datují do období spodní křídy. Jedna z nejmladších skupin žraloků jsou kladivouni (čeleď Kladivounovití), kteří se objevili v eocénu. Nejstarší nalezené zuby žraloka bílého jsou datovány do doby před 60-65 miliony lety, z období vymření dinosaurů. V samém počátku jejich evoluce se objevily dvě vývojové větve. Jedna větev představuje bílého žraloka s hrubě vroubkovanými zuby a pravděpodobně z těchto se vyvinul moderní velký bílý žralok. Druhá větev představovala žraloky s jemně vroubkovanými zuby. Tito žraloci dosáhli obrovských rozměrů a patří k nim i vyhynulý Carcharodon megalodon, který žil v oceánech neogénu ještě před 1,5 milionem let, tedy v době našeho prapředka člověka zručného. Stejně jako většina vyhynulých žraloků, je i megalodon známý především z nálezů zubů a čelistí. Tito obří žraloci dosahovali délky kolem 16 metrů, přičemž mohli pravděpodobně dorůst až do délky 20 metrů, starší odhady dokonce uváděly až 30 metrů. Paleontologické nálezy naznačují, že se jednalo o aktivního predátora tehdejších kytovců.
