La première architecture connue dans l'histoire humaine se trouve dans la période préhistorique appelée l'âge paléolithique supérieur.
L'architecture précoce est difficile à reconstruire car la plupart des structures ont été créées avec des matériaux végétaux qui se dégradent au fil du temps.
De l'époque mésolithique à l'époque néolithique, l'architecture s'est développée plus complètement. Les gens ont commencé à domestiquer des animaux et des graminées sauvages, ce qui signifie que la vie était moins nomade, ce qui nécessitait des habitations plus permanentes. Au fur et à mesure que les humains commençaient à cultiver, les tâches collectives étaient réparties de manière plus sophistiquée, et les villages reflètent cette augmentation de la collaboration humaine avec un système architectural structurellement plus complexe. La plupart des bâtiments pendant ce temps étaient en bois avec un système structurel de linteaux, dans lequel le bois formait un toit plat qui couvrait la largeur de la pièce et était soutenu par des poteaux.
Les structures cérémonielles en pierre ont également commencé à apparaître au néolithique. Des alignements de grandes pierres peuvent être trouvés en Europe, comme l'alignement de menhirs de Carnac, en France, vers 3700 avant notre ère. Ici, apparaissent des rangées de grandes roches placées verticalement.
Des arrangements en pierre circulaire sont également trouvés en Europe, et ils sont appelés "cromlechs". Ces sites ont certainement une fonction de cérémonie comme les structures de tombeaux mégalithiques permanents qui apparaissent également dans la période néolithique. Le site de la tombe à Newgrange en Irlande est le système le plus élaboré de tombes connu aujourd'hui. Ce complexe date d'environ 3000 avant notre ère et se compose d'une série de chambres funéraires faites de grandes roches placées verticalement dans le sol et ensuite recouvertes de roches et de pierres plus petites pour créer un monticule. Les pierres de construction ont été gravées avec des motifs géométriques abstraits de cercles et de spirales. Les passages étroits d'entrée, qui donnent le nom «passage grave», mènent dans la chambre funéraire centrale, qui est alignée de sorte que, lors du solstice d'été, un rayon de soleil brille directement dans le centre de la chambre funéraire.