From the Plena Manlibro de Esperanta Gramatiko
Komo estas uzata ene de frazoj en lokoj, kie povas esti nature iom paŭzi, ekz. antaŭ subfrazo, kaj anstataŭ la vortoj kaj kaj aŭ en elnombrado de pluraj aferoj. Komo estas iafoje uzata anstataŭ punkto inter ĉeffrazoj, kiuj iel kunapartenas. Komo estas ankaŭ uzata antaŭ decimaloj en nombroj: 3,14 (= “tri komo unu kvar”, “tri kaj dek kvar centonoj”). [emfazo estas mia]
Translation:
A comma is used inside sentences in places where it can be natural to somewhat pause, for example before a subclause, and instead of the words kaj and aŭ in listing of several things. A comma is sometimes used instead of a period between main sentences, which are in some way dependent on each other. A comma is also used before decimals in numbers: 3,14 (="three comma one four", "three and fourteen hundredths"). [emphasis is mine]
Note the word "anstataŭ" ("instead of"). A comma before a conjunction is not "instead of", thus we conclude that it is standard not to use the Oxford Comma. However, some Esperantists (including myself) do use it, and I have never seen a miscomprehension, or even a flamewar, result from such usage.
In summary, if you want to follow the PMEG, don't use the Oxford Comma. But if you do it's not a big deal.