Najważniejszymi elementami składowymi ogrodów są wszelkiego rodzaju konstrukcje kamienne, wodne oraz roślinne. Kamień ma szczególne znaczenie w filozofii Dalekiego Wschodu, ponieważ symbolizuje wieczność, trwałość i odporność na różnego rodzaju warunki. Dlatego też ułożenie kamieni w ogrodzie nie może być przypadkowa, ale podlegająca ścisłym zasadom. Wszystkie kamienie muszą leżeć w ogrodzie dokładnie w takiej samej pozycji, w jakiej leżały w naturze. Nie mogą być one także układane w proste linie, muszą spoczywać w naturalny sposób. Wielkość, kształt i kolor kamieni także mają znaczenie. Powinny być duże, posiadać naturalne kolory i ciekawą teksturę. Ich ilość w kompozycji musi być równa dwóm – ułożonym po przekątnej, trzem lub stanowić skupisko uzyskane z nieparzystej ich liczby. Można je także układać w kształt łuku lub półkola. Kamień służy w sztuce japońskich ogrodów także do układania ścieżek, wodospadów, strumyków i brzegów oczek wodnych. Popularne jest także stosowanie żwiru odzwierciedlającego ruchy fal.
Jeśli już mowa o elementach wodnych, których zresztą w ogrodach japońskich nie brakuje, warto pamiętać, że one także podlegają pewnym zasadom. Oczka wodne powinny mieć nieregularne kształty, przypominające brzegi mórz na kartografii, strumienie powinny dosłownie wić się pomiędzy pagórkami ogrodu (mają przypominać rzeki). W ogrodach cechujących się aranżacją suchą, kamienną, pozbawioną wody, wrażenie rzek oraz jezior można uzyskać poprzez specyficzne rozsypanie żwiru o odpowiednim kolorze. Zatem nawet, jeśli ogród pozbawiony jest wody w sensie dosłownym, nie może jej zabraknąć w znaczeniu symbolicznym.
Ostatnim ważnym elementem ogrodu japońskiego jest roślinność. Jednak trzeba pamiętać, że stanowi ona jedynie dopełnienie uzyskanego obrazu. Poza tym i ona podlega symbolicznym zasadom. Jeśli ogród nie posiada stawu ani oczka wodnego, to w jego miejsce sadzi się 9 judaszowców, a jeśli brak mu strumienia, to 9 wierzb. Oczywiście, najpopularniejszym drzewem stosowanym w ogrodzie japońskim jest sosna. Bywa sadzona w centralnym jego punkcie i ma znaczenie szczególne, ponieważ w Japonii postrzega się ją jako symbol siły i długowieczności. Istotną cechą roślinności jest jej zdolność do obfitego kwitnienia. Takie są wiśnie, magnolie, rhododendrony czy glicynie. Wskazana jest jednak także obecność drzew nie posiadających licznych pąków kwiatowych, np. klonów i miłorzębów japońskich. Nie należy także zapominać o kolorystyce roślinności w poszczególnych porach roku.
Projektując ogród japoński w naszym kraju warto pomyśleć również o rodzimej roślinności. Nie chodzi przecież o dosłowne przeniesienie „kawałka” Japonii wraz z jej roślinnością do Polski, ale wykorzystanie zasad tworzenia ogrodu zgodnego z harmonią otaczającej przyrody.
Projektowanie ogrodu japońskiego wiąże się z koniecznością poszanowania kilku zasad. Przede wszystkim każdy ogród musi mieć charakter symboliczny. Symboliczność otrzymujemy dzięki specyficznemu ułożeniu kamieni lub skojarzenie tworzywa z konkretnym symbolem. W ogrodzie nie mogą być obecne żadne linie proste lub rzędy. Ogród ma odzwierciedlać porządek panujący w przyrodzie, a nie stanowić porządek stworzony przez rękę ludzką. Według japońskiej filozofii człowiek jest tylko jedną z części świata, a nie jego władcą. Przestrzeń ogrodu powinna łączyć się z przestrzenią domostwa i posiadać niemal niezauważalną granicę, co można uzyskać tylko dzięki idealnej kompozycji ogrodu z otaczającym go terenem. Poszczególne elementy ogrodu powinny być dobrane i ulokowane według „zasady trzech elementów”. Chodzi o łączenie ich w poszczególne grupy dobrane pod względem jakości, kształtu i wysokości. W ten sposób odzwierciedlano porządek, w którym najwyższy element symbolizuje Niebo, średni Człowieka, a niski Ziemię. I choć ogród ten powinien być jednolity w stylu, to jednak zauważalne muszą być odrębne kompozycje, stanowiące swojego rodzaju obraz różniący się od innych nastrojem czy kolorystyką. Wszystko musi być jednak wykonane z prostotą, w miarę możliwości powinno posiadać zredukowaną ilość roślinności i mieć przemyślane praktyczne rozwiązania. Nieodzowną jednak zasadą jest optyczna manipulacja przestrzenna, osiągalna dzięki odpowiednim kompozycjom, przez które widz ma mieć wrażenie nieskończoności ogrodu. W Polsce ogrody najczęściej są otoczone wysokimi drzewami czy krzewami, by przestrzeń tę odgrodzić od pozostałego otoczenia, podczas gdy w japońskich ogrodach wysokie drzewa sadzi się po środku, by granica pomiędzy ogrodem a dalszym terenem po prostu zniknęła lub była słabo zauważalna.
Od początku istnienia sztuki ogrodowej w Japonii obecna była nierozerwalna więź pomiędzy przyrodą, pięknem naturalnych form w niej występujących oraz wierzeniami pierwotnymi. To właśnie one oraz filozofia buddyjska leżą u podstaw właściwego projektowania ogrodów. Kult drzew, kamieni, wody, jako osobliwych elementów mających dobroczynny lub negatywny wpływ na człowieka są także obecne w ogrodach jako elementy kamienne, roślinne oraz wodne. Japończycy spore znaczenie przypisywali także stronom świata. Każda z nich miała odrębne znaczenie i tak dla przykładu, uważano że oczka wodne powinny być usytuowane na południe od budynku znajdującego się na terenie działki. Przez wiele stuleci charakter ogrodów ulegał jednak pewnym zmianom. Najstarszym modelem ogrodu jest ogród z okresu z okresu Heian (794 – 1185 r. n.e.). Był to klasyczny ogród stawowo-wzgórzowy. Charakteryzował się obecnością stawów o nieregularnych kształtach (symbolizujących morza i jeziora), pełen był krętych ścieżek i strumieni oraz pagórków (symbolizujących góry). Do dziś stanowi jeden z najpopularniejszych ogrodów w stylu japońskim. Drugi bardzo popularny choć odmienny styl ogrodu miał swoje początki w okresie Kamakura (1185 – 1333 r. n.e.), cechował się prostotą, surowością, czystością i pustką. Był to ogród suchy, wręcz pustynny, z dużą ilością kamieni. Ciekawą cechą jest efekt trójwymiarowości przestrzeni, jaką osiągano przy jego budowie. Dzięki mniejszym i ciemniejszym przedmiotom ustawionym na drugim planie i jasnym dużym na pierwszym, uzyskiwało się wrażenie nieograniczonej przestrzeni. Iluzję perspektywy uzyskiwano również zwężając ogrodowe ścieżki i sadząc karłowe gatunki drzew w dalszej perspektywie, a bliżej spacerującego po ogrodzie rośliny o jasnych barwach i większych kształtach. W okresie 1333 – 1573 r. n.e. ogrody nabierają cech typu krajobrazowego i medytacyjnego. Są one harmonijnie powiązane z budynkami mieszkalnymi. Stąd ważna rola rozsuwanych drzwi do ogrodu. Potem w latach 1573- 1603 r. n.e. powstał znany nam dzisiaj styl ogrodów herbacianych, oczywiście związany z ceremonią picia herbaty. W ogrodzie tym zazwyczaj istniały dwa pawilony. Potem pawilonów w ogrodzie było coraz więcej, a i same ogrody zwiększały swoją powierzchnię. Pewnym zaskoczeniem może być fakt, że w latach 1868 – 1912 w projektowanych ogrodach Japonii zaczęły się licznie pojawiać wzorce i idee zaczerpnięte z kultury europejskiej. Na szczęście trend ten nie trwał długo i japończycy szybko powrócili do korzeni projektowania zielonych przestrzeni.

Ogród japoński musi posiadać wewnętrzną harmonię. Oczywiście nie może się on stać miejscem bitwy dobrych i złych emocji, ponieważ takie zaburzenia energii na pewno nie będą wpływały poprawnie na ludzi i gości ogrodu, a przecież w samej idei takiego ogrodu chodzi o to aby można w nim było znaleźć ukojenie i cisze wewnętrzną. Najważniejsze w ogrodzie w stylu Japońskim jest oczywiście harmonia, wyrażana przez feng shui, która pomoże nam się zrelaksować i przede wszystkim odpocząć. Ogrody japońskie są bardzo różne oczywiście zależy to od projektanta i właściciela. Jeżeli fascynuje go kultura orientalna, to na pewno będzie on chętny aby się zająć takimi właśnie sztukami, a jeżeli będzie miał to ogólnie nie na uwadze, to taki ogród nie będzie zbyt imponujący no chyba, że zajmie się nimi ktoś inny w imieniu właściciela, ale to oczywiście będzie kosztowało, ponieważ nie można stworzyć niczego za darmo, a tym bardziej nie znajdziemy nigdzie człowieka, który będzie dla nas pracował za darmo lub za bardzo małe pieniądze.

Roślinność to bardzo ważna sprawa w ogrodach. Często można w nich spotkać drzewka, które są bardzo małe i trudno e wyhodować, ponieważ potrzebują one szczególnej uwagi, a co za tym idzie nie można ich zostawić samych sobie, ponieważ bardzo szybko się zniszczą i najczęściej skończy się to dla nich śmiercią, co nie będzie zbyt wielkim powodem do dumy ich właściciela czy osoby, która miała za zadanie się nimi opiekować. Mowa tutaj o drzewkach, które noszą nazwę bonsai. Są to drzewka bardzo drogie, ponieważ wyhodowanie go wiąże się z wieloma wyrzeczeniami. Musimy wiedzieć jak i gdzie przyciąć drzewko, ponieważ jeżeli będzie ono posiadało zbyt wiele pędów, które jednak nie będą potrzebne, to drzewko będzie traciło zbyt wiele sił życiowych na utrzymywanie takich pędów i gałęzi zamiast starać się jak najlepiej zasilić te zdrowe i chętne do rozwoju pędy i gałęzie. Czasami możemy nawet się spotkać z tym że w ogrodach japońskich spotyka się inną roślinność ale to już większa rzadkość i raczej abstrakcja.