Перперикон е разположен на доминиращ връх в местност, известна сред местното население като Джин тепеси (Планината на духовете).
Най-ранните следи от човешка дейност са от късната каменно-медна епоха (халколит/енеолит) в кр. на V – нач. на IV хил. пр. Хр., когато хората започват да почитат и поднасят дарове на Скалата. Главните находки от каменно-медната епоха произлизат от няколко грубо изсечени в скалата ями и една изцяло проучена скална цепнатина. От този период са намерени части от керамични съдове със стени, рисувани с червена паста в комбинация с украса от врязани линии. Други пък са с характерна за периода украса с графит. От глина са изработени и други уникални предмети като фрагменти от култови масички, части от идоли, съдче във вид на яребица, където според известните аналогии са били съхранявани опиати, употребявани от жреците за изпадане в транс. От халколита са няколко великолепни ножа от жълт восъчен кремък, като един от тях е дълъг 20 см. Според специалистите тази суровина се намира единствено в днешна Североизточна България, откъдето е внесена като скъпа стока. Може би е била разменена за самородно злато, с което Източните Родопи са богати.. Трябва да се отбележат и двете „калъпести” брадви с идеално полирани страни.
Развитието на скалния комплекс продължава и през бронзовата и желязна епоха. Единствена по рода си е колекцията от 15 триъгълни култови стрелички от полускъпоценен камък със съвсем малки размери датиращи от ранната бронзова епоха. Със сигурност може да се твърди, че в късната бронзова епоха XVIII-XII в. пр. Хр., Перперикон преживява първия си голям разцвет. Това е епохата на крито-микенската цивилизация. Изключително интересна е откритата късно бронзова керамика, представена с многобройни фрагменти и няколко цели съда. Някои от тях са малки чаши, а други са високи и извити дръжки, присъщи на своето време. Украсата на керамиката е в характерната техника „фурхенщих” – врязване по стените на съда на красиви изображения, запълвани с бяла паста. Сред тях изобилстват различни изображения на Слънцето и на негови символи като петолъчки, свастики и др. Намерени са и също така фрагменти от импортна керамика от крайбрежието на Мраморно море, датирана в XVIII в. пр. Хр. – белег за търговските контакти на Перперикон.
Особен интерес предизвиква уникалния фрагмент от каменен надпис, върху който са оцелели три знака от критското линеарно писмо А. Това е една от най-старите човешки писмености, използвана в Средиземноморието през XV-XIV в. пр. Хр. Тя може да се чете само фонетично, а смисълът на езика не е разгадан. Доскоро се смяташе, че линеарното писмо А е употребявано изключително на Крит и околните острови. Намереният надпис на Перперикон поставя въпроса за тесните връзки на свещеното място с великата крито-микенска или минойска цивилизация.
Мощното развитие на култовите съоръжения на хълма през къснобронзовата и ранножелязната епоха създават от Перперикон едно грандизно светилище. Находките от провежданите разкопки дават основание на изследователите да изкажат хипотезата, че точно на Перперикон се намира прочутото в античността прорицалище на бог Дионис. Гръцкия историк Херодот дава сведения за родопското светилище. Той описва похода на персийския цар Ксеркс срещу Гърция в V в. пр. Хр. Някъде в Беломорието, между днешните градове Алексондропулис и Кавала, персийският владетел се установява на лагер и започва да приема многобройните пратеници на тракийските племена, населяващи вътрешността. Не дошли единствено пратеници на сатрите, обитаващи Свещената планина – Родопи. Това бил най-сводолюбивият тракийски народ, който никога не приел чужда власт. Точно тези планинци поддържали известния храм на бог Дионис. Техни жреци били бесите (по-късно с това име се наричат и всички сатри) и те охранявали светилището. В него живеела прорицателка, която правела предсказания, които с нищо не се отличавали от прочутите ясновидения на жрицата от храма на Аполон в Делфи.
Второто сведение е на римския историк Светоний. Той разказва за един поход на бащата на първия римски император Октавиан Август (63 г. пр. Хр.-14 г. сл. Хр.). Когато воювал някъде в Тракия, пълководецът посетил прочутото светилището на Дионис. Светоний не пояснява местонахождението, но затова пък дава по-точно описание на ритуала. Върху голям кръгъл олтар първо се е изливало виното, а после лумвал огнен пламък, по чиято височина се гадаело бъдещето. Късноримският автор Макробий пък уточнява, че олтарът се е намирал в голяма овална зала. Това е т.нар. винено-огнен обред, засвидетелстван и при други храмове на бог Дионис. Светоний продължава, че бащата на Октавиан Август получава предсказание, че синът му ще завладее света. Същото пророчество преди това получил само един човек – Александър Велики, тръгвайки да покорява Азия.
Друг римски историк, Дион Касий, разказва за похода на пълководеца Марк Лициний Крас през 29-28 г. пр. Хр. Изпратен вече лично от самия Октавиан Август, той отнел от бесите храма на Дионис и го дал на другото голямо тракийско племе – одрисите. През 11 г. пр. Хр. за светилището избухва война между двата големи тракийски народа. Това сведение е важно доказателство за локализирането на светилището на Перперикон, защото се знае, че границата между беси и одриси минавала някъде източно от днешния Кърджали.
Едно откритие се покрива като съдържание с направеното описание на прочутото светилище. В северозападната част на Перперикон е разкрита огромна зала. Помещението е с овална форма с диаметър около 25 м. Стените са грубо обработени. В самия център е издялан величествен кръгъл олтар с диаметър почти 2 м. Той се извисява на близо 3 м. над пода. По неговата повърхност са открити многобройни, издълбани в скалата, полукръгли ями с натрошена керамика, римски монети от III-I в пр. Хр. Североизточно от олтара е оформена почти квадратна площадка, отново изсечена в скалата, за култовите действия на жреците. До това култово съоръжение се е достигало по изсечен в скалите 100-метров проход. Става дума за класически „път към храма”, водещ към двореца по южния склон на хълма. Широчината на прохода е 3-4 м., а височината на страничните канари на места достига 7-8 м.
Цялата околност на Перперикон е покрита със скални изсичания във вида на корита с издълбани отвори, канали за оттичане на някаква течност. Това са т.нар. „шарапани”, преси за изстискване на гроздовия сок за производство на ритуално, свещено вино. Самото правене на винотo е също свързано с култа към бог Дионис.
По време на т.нар. елинистическа епоха IV-I в. пр. Хр. култовите действия на хълма силно намаляват, а живота почти замира.
През 45 г. цяла Тракия е покорена от Римската империя. Започва мощен процес на романизация. Този процес обхваща и Перперикон. През I-IV изсечените в скалите съоръжения добиват завършен, класически вид. Скалният венец е защитен с мощна крепост – Акропол, чийто стени са дебели до 2,8 м. По всяка вероятност твърдината е построена още в ранните периоди, но в римската епоха е обновена и допълнително укрепена. Двете стени на крепостта са оформени от масивни каменни блокове с идеално издялана предна част. Между двата реда блокове има пълнеж от натрошени камъни, уплътняващ отлично вътрешността.
До този момент са проучени две от портите на Акропола, но се предполага наличието на поне още две. Южната порта е особена интересна, възникнала е още в късната бронзова епоха. Първоначално е била изсечена в скалите и до нея се стига по груби каменни стъпала. Нагоре стените са изградени от огромни каменни блокове. Това е т.нар. „циклопски” градеж. Южната порта е преустройвана няколко пъти през Античността, а в Средновековието е преградена със зид и престава да функционира.
По склоновете на хълма от север и юг със столетията се развиват огромни квартали, застроени с множество храмове и постройки. Приземните етажи на тези сгради са изцяло изсечени в скалите.
Т.нар. „Малък дворец” разполагащ се на Акропола е комплекс с правоъгълен план. Дължината му е 28 м., а широчината не може да се изчисли точно. Дворецът има два тържествени входа – от север и от юг, а във вътрешността са разположени 17 помещения. Според хипотеза, това е дворецът на римския наместник, назначен на Перперикон от централната имперска власт.
Друга монументална дворцова сграда се намира непосредствено яжно под Акропола. В нея е проучена тридесетметровата церемониална зала, намираща се източно от изсечен в скалите вътрешен двор. От запад залата е изцяло изсечена в скалите, а на изток е продължавала върху дървен гредоред, поддържан от два масивни зида. Входът към церемониалната зала е оформен с тържествено петстъпално стълбище и двукрила врата, охранявана някога от дворцова стража. В най-отдалечените западна и източна част на двореца се откриват две крипти, скрити дълбоко под повърхността на скалите. В едната има 15, а в другата – 5 саркофага, оформени с масивни каменнни плочи. За съжаление, гробниците са ограбени още в древността и може само да се гадае кои са били погребани в тях. Важно е да се отбележи, че понятията „дворец” и „храм” не трябва да се противопоставят. Известно е, че тракийският владетел едновременно е бил и първожрец в своята държава. Където се е намирала неговата резиденция, там е бил и неговия храм.
Върху северната страна на вътрешния двор направо в скалата е изсечен масивен каменен трон със стъпало за краката и облегалки за ръцете. Югозападното помещение получи условното наименование „банята”, защото в камъка са издълбани плитки корита, редуващи се с пейки за сядане. Особено интересно е оформеното легло за огромна макара на подземния етаж под церемониалната зала. Не е изключено това да е подемен механизъм за изкачване на храна и други предмети.
През 378 г. племето на готите нахлува в балканските предели на Византия и опустошава Тракия и цялата Родопска област. Перперикон също е превзет и изгорен в тези смутни времена. Част от крепостните стени са разрушени, а много от храмовете и сградите са опожарени. Градът се възстановява през V-VI в. С приемането на християнството на хълма се появяват черкви. Важно откритие от този период е великолепна еднокорабна базилика, намираща се недалеч от главното водохранилище в най-високата част на хълма. Тя е дълга 17 м. и е градена от добре обработени каменни блокове. Първоначално подът е бил покрит с масивни каменни плочи. В олтарната част са запазени седалките на т.нар. синтрон, където висшите свещенослужители сядат по време на литургия. Намерен е и великолепно съхранен епископски амвон – трибуната откъдето архиерите произнасят своите проповеди.
Съществува хипотеза, че покръстването на родопското население тръгва от Перперикон. То е извършено от Никета Ремесиански през 393-398 г. Ако това е вярно, то също така свещените книги са преведени на езика на бесите, за да може по-лесно да приемат новата вяра. Превеждането най-вероятно е станало в сградите от комплекса край базиликата.
Към началото на VIIв. Перперикон е почти изоставен. Към този период се причисляват намерени рисунки с култов характер – символична игра на „дама” и ритуално изобразяване на женски полови органи. Последните вероятно са свързани с образа на тюркската богиня на плодородието Умай. Тези рисунки са свързани с прабългарите на вожда Кубер.
През IX в. във Византийската империя, следователно и на Перперикон се наблюдава подем в архитектурата, изобразителното изкуство.
Крепостта на Перперикон отново добива важно значение през XII-XIVв., когато се създава новата административна единица Ахридос, За кратко време се наблюдава изключително интензивно строителство на нови и възстановяване на стари градове, оформили инфраструктурата на Ахридос. Знае се и византийското название на Перперикон – Хиперперакион.
Особено нараства значението на хълма през XIII-XIVв. През 1339 г. в писмото на Вселенската патриаршия той е обозначен като епископски център, очевидно отделил се от старата катедра Ахридос. Богатствата на Перперикон предизвикват чести сблъсъци между България и Византия, съперничещи си за Източните Родопи. При царете Калоян и Иван Асен II територията е в рамките на българската държава, но техните наследници я губят. През 1254 г. цар Михаил Асен прави опит да си възвърне Ахридос. Той превзема Перперикон и другите градове, но обсадата на тогавашния областен център крепостта Мнеакос край днешния Кърджали, завършва без успех и българите се оттеглят.
От проведените разкопки става ясно, че през XII-XIVв. животът на Перперикон е интензивен, но няма блясъка на Античността. Върху останките на късноантичния храм в източната част на скалното било е построена нова черква, вече изцяло изградена от ломени камъни, споени със здрав бял хоросан. Нейните размери са доста скромни – 6,5/3,6 м. Храмът е еднокорабен. Наоколо се оформя масивен некропол, даващ представа за значителния брой на населението. Открива се много керамика, предмети и монети, като особено интересни са изключително редките за този район сребърни монети на цар Иван Александър, регистриращ неговата кратка власт в Перперикон.
През този период на Перперикон е построена още една крепост. В най-високата част край водохранилището е изградена мощна цитадела за последно убежище на населението при обсада. В нея се е влизало от изток през порта, фланкирана от две четириъгълни кули. Главна е била масивната осмостенна кула, издигната след XII в. край старата Западна порта. Кулата е куха и се е извисявала на няколко етажа. Фортификационното съоръжение е запазено добре и във височина достига до 7,8 м. Най-вероятно кулата е представлявала самостоятелно звено в отбраната – т.нар. „донжон”, където са се приютявали оцелелите защитници при превземане на основната крепост.
Цитаделата обаче не е успяла да спаси местното население през втората половина на XIV в. когато османските турци нахлуват на Балканския полуостров. Първо пада основната крепост, а защитниците се затварят зад здравите стени на цитаделата. От яростните битки са останали стотици върхове на стрели, копия, боздугани, фрагменти от начупени мечове и ятагани. След като превземат крепостта турците оставят свой гарнизон за известно време. Намерени са множество сребърни османски монети, които не надхвърлят хронологически последните десетилетия на XIV в. Твърдината е била необходима, за да се организират оттам нападенията срещу отстоящите на север и североизток български градове. След тяхното превземане тя става излишна за нашествениците и е изоставена. Животът в древния град не се възражда повече, но в подножието се създават няколко малки селища.