Architektúru cloud computingu môžeme rozdeliť na front-end a back-end:
Táto časť obsahuje všetko to, čo vidí a využíva používateľ. Zvyčajne to je internetové pripojenie, počítač/tablet/mobil a samotnú aplikáciu, ktorá umožňuje prístup do “cloudu”.
Ide o takzvanú “cloudovú” časť. Môže obsahovať počítače, fyzické a virtuálne servery, úložiska dát, softvér na správu...
Celý systém je spravovaný centrálnym systémom (manažmentom), ktorý monitoruje služby, fyzické a virtuálne servery, prevádzku na sieťových uzloch, požiadavky používateľov, atď. Ako prostredia pre beh aplikácií sa v súčasnosti využívajú virtualizačné technológie na úrovni servera, operačného systému, aplikačného prostredia (chroot).
Každé riešenie cloud computingu nevyhnutne vyžaduje disponovať aspoň dvakrát tak veľkým úložným priestorom, ako je reálne využívané. Je to z dôvodu, že cloud computing systémy uchovávajú údaje od veľkého množstva používateľov a tak vzniká potreba mať všetky používateľské dáta zálohované, aby pri poruche nedošlo k strate dát, ide o takzvané zachovanie redundancie údajov. Z tohto dôvodu majú cloud služby vyšší štandard dostupnosti a spoľahlivosti dát ako lokálne inštalácie v kancelárii/datacentre [57].
Na využitie plného potenciálu fyzických serverov sa v súčasnosti masovo využíva virtualizácia. Znamená to, že jeden fyzický (dedikovaný) server vieme využiť na beh viacerých virtuálnych s vlastným operačným systémom a podpornými aplikáciami.
Výhodami sú utilizácia (efektívnejšie využívanie zdrojov), lepšia správa (aplikácie sú na osobitných serveroch - reštart systému neovplyvňuje iné servery), jednoduchšia migrácia na iný fyzický server, ľahšia škálovateľnosť výkonu virtuálnych serverov, nezávislosť od použitého typu HW.