Estos dos elementos resultan a veces difíciles de lograr en el diseño de jardines. La armonía es en cierta forma subjetiva, un poco como la belleza, y depende mucho del ojo que la planifica. No obstante, en sentido general es posible alcanzar unidad y armonía entre un elemento y otro o entre un grupo de plantas y otro dentro del propio jardín y, lo que es igualmente importante, entre el jardín y su entorno inmediato o arquitectura adyacente.
Con estos dos elementos bien conjugados se puede lograr que un jardín sugiera una extensión de la casa, o al revés, ofrezca la sensación de que tanto la casa como el jardín se diseñaron juntos, con un resultado mucho más logrado.
Es posible lograr la unidad y armonía entre la arquitectura adyacente y el jardín, mediante la elección de materiales que son comunes a ambos. En la construcción de senderos o muros del jardín pueden usarse ladrillos o piedras similares a los del edificio. Se pueden repetir en diferentes lugares ciertas plantas de forma, color o textura características, lo que logrará dar unidad y ayudará a que el jardín sea un sistema cohesionado.
Los esquemas de plantación en los que los colores armonizan son mucho más descansados que aquellos donde los colores contrastan. Algunos contrastes son buenos, pero no cuando se convierten en una sucesión de golpes visuales.
