Aside from jes, in spoken language you will often hear something similar to yeah (jee?), probably due to English influence or similar, although if one were to simplify the Esperanto word it would probably become something like that also.
Another possibility is to say simply bone or o kej, which fits in certain contexts, such as to express contentment with or acceptance of a stated idea. Other contexts might allow for mi konsentas or konsentite (to express explicit agreement), and in yet other contexts, kompreneble or klare (to express understanding), although these of course are now more complicated expressions rather than ones even more informal than jes.
You can indeed say ja often times as you suggest (works especially when contrasting the agreement with a perceived possibility for disagreement), and you can combine the two for enthusiasm or emphasis by saying jes ja!.
Oh, and since you were asking specifically about a softer way to say yes where jes is too strong, you can always add modifiers like nu and similar (nu, jes, mi supozas, eble...).
Krom jes, en elparolata lingvo oni ofte aŭdas ion similan al yeah (jee?), verŝajne pro angla influo aŭ io tia, kvankam se oni simpligus la esperantan vorton, ankaŭ tiu verŝajne iĝus io tia.
Alia eblo estas diri simple bone aŭ o kej, kiu taŭgas en kelkaj kuntekstoj, kiel por esprimi kontentecon pri aŭ konsenton kun dirita ideo. Aliaj kuntekstoj povas permesi mi konsentas aŭ konsentite (por esprimi specifan konsenton), kaj en eĉ aliaj kuntekstoj, kompreneble aŭ klare (por esprimi komprenon), kvankam tiuj kompreneble fakte estas pli komplikaj esprimoj anstataŭ esprimoj eĉ pli familiaraj ol jes.
Oni ja povas diri ja laŭ via sugesto (funkcias speciale por kontrastigi la konsenton kun kredita eblo de malkonsento), kaj oni povas kunigi la du pro entuziasmo aŭ emfazo per diri jes ja!
Ho, kaj ĉar vi demandis specife pri pli mola maniero diri yes kiam jes estas tro forta, oni ĉiam povas aldoni vortojn kiel nu kaj similajn (nu, jes, mi supozas, eble...)