Μετά την κατάληψη του νησιού από τους Ρωμαίους, η Πάτμος γνωρίζει την παρακμή! Οι περισσότεροι κάτοικοι την εγκαταλείπουν και το νησί χρησιμοποιείτε πλέον από τους Ρωμαίους ως τόπος εξορίας! Το 95 μ.χ ο αγαπημένος μαθητής του Χριστού Ιωάννης, ήλθε εξόριστος στην Πάτμο από τον αυτοκράτορα Δομητιανό. Έτσι ξεκινάει η μεταχριστιανική ιστορία της Πάτμου.
Από τότε όμως μέχρι και τον 11ο αιώνα παρουσιάζεται ένα ιστορικό κενό. Τον 11ο αιώνα, η παρουσία του μοναχού Χριστόδουλου του Λατρηνού και η ανέγερση της Ιεράς Μονής του Αγίου Ιωάννου του Θεολόγου αλλάζουν τα δεδομένα και διαμορφώνουν τον πολιτισμό που αναπτύσσεται κατόπιν. Η φιλομάθειά του, διαμορφώνει την πρώτη βιβλιοθήκη της Μονής και αναπτύσσονται οικισμοί στο βόρειο μέρος του νησιού. Τον 13ο αιώνα, δίδεται η άδεια να κτιστούν σπίτια κοντά στη Μονή για να προστατεύονται οι κάτοικοι από τις πειρατικές επιθέσεις που ταλανίζουν το Αιγαίο. Τα πρώτα σπίτια κτίζονται στο Νότιο μέρος και είναι μονώροφα στην αρχή και κατόπιν ζηλευτά άνω κάτωγα.
Η άλωση της Κωνσταντινούπολης από τους Τούρκους το 1453, θα φέρει στην Πάτμο έναν άλλο "αέρα" και στη Χώρα τον συνοικισμό "Αλλοτινά" στα δυτικά της Μονής. Τα σπίτια εφάπτονται στα τείχη της Μονής για να μπορούν οι κάτοικοι, σκαρφαλώνοντας στα δώματα των σπιτιών τους να κλείνονται σ' αυτήν και να προστατεύονται από τους πειρατές. Μπορεί οι κάτοικοι να ξανοίγονται στα πελάγη και να φέρνουν πλούτη στο νησί, αλλά η κοινωνία της Χώρας είναι αναγκασμένη να ζει εγκλωβισμένη κάτω απ' "τα καμαρικά" της. Οι πειρατές, Ανατολίτες και Ευρωπαίοι, αν δεν τα καταφέρνουν να μείνουν έξω από το "πεντάπορτο" τείχος της εισβάλλοντας, χάνονται στα δαιδαλώδη και σκοτεινά στενά σοκάκια. Η αστική κοινωνία της Πόλης λοιπόν, μεταφέρει τον πολιτισμό της και οργανώνει το διαμετακομιστικό εμπόριο. Τα παιδιά τους σπουδάζουν σε πόλεις της Δύσης. Ανασυντάσσεται το δυναμικό της Μονής με μορφωμένους μοναχούς, που φθάνουν τους 60. Χτίζονται σπίτια μεγάλα, πλούσια. Στολίζονται με σκαλιστά έπιπλα και κεντήματα. Το τέλος των βενετοτουρκικών πολέμων και η ύφεση στις πειρατικές επιδρομές, η αξιοποίηση της ναυτικής παράδοσης και η απουσία των Τούρκων, που απλά εισπράττουν τους φόρους τους και στηρίζουν όμως το Μοναστήρι, διαμορφώνουν μια πολιτεία ζηλευτή. Από το λιμάνι του νησιού περνούν έμποροι από την Βενετιά, την Γαλλία, την Αγγλία, την Ιταλία και την Ολλανδία. Οι Πάτμιοι χτίζουν αρχοντόσπιτα στο Βορινό φρύδι της Χώρας, νέες μεγάλες εκκλησίες και μοναστήρια όπως οι Άγιοι Απόστολοι, η Μονή της Ζωοδόχου Πηγής και του Ευαγγελισμού.
Το 1630 ήδη το νησί κατά τον περιηγητή STOCHOVE, έχει ένα λιμάνι μεγάλο και σίγουρο. Η πρώτη μαρτυρία για την Σκάλα, που αναπτύσσεται σταδιακά σε οικισμό.
Ο περιηγητής A. De la Monraye αναφέρει πως την περίοδο αυτή η Πάτμος έχει περίπου 4.000 κατοίκους, 93 μοναχούς και πάνω από 100 εκκλησίες και ένας περιηγητής μετρά οκτακόσια σπίτια στη Χώρα και διακόσιες πενήντα εκκλησιές. Διαμορφώνονται οι πλατείες της Αγίας Λεβιάς και του Δημαρχείου. Το κέντρο εμπορικών συναλλαγών δημιουργείται από τη είσοδο της Μονής, περνά τα Κρητικά και φτάνει στην Αγία Λεβιά. Επίσης από το αρχοντικό Καλλιγά ως το αρχοντικό των Νατάληδων.
Ο ελληνιστής και ελληνολάτρης Jacgues Lacarriere ο οποίος στο βιβλίο του "Το Ελληνικό Καλοκαίρι" (L ?t? grec Une Gr?ce guotidienne de 4000 ans) υμνεί την Πάτμο σε εκατομμύρια αναγνώστες του, σημειώνει με θαυμασμό: "Σε μερικά σπίτια είδα δουλεμένες κασέλες, ζωγραφισμένα χωρίσματα, παλαιά πορτραίτα, οπάλινα λαμπογυάλια, ένας ολόκληρος κόσμος περασμένης πολυτέλειας που μου θυμίζει τα γερασμένα σαλόνια του Αθω...". Όσο για το τοπίο σημειώνει: "Κομπολόι από δροσιές όπου είναι ωραία να ξαποσταίνεις μέσα σ' ένα άρωμα από ξεθυμασμένο λιβάνι...".