Yes, you just say komencis paroli with no extra particle. If you search for this in the Tekstaro there are many examples, such as this one from Zamenhof’s translation of Andersen’s fables:
Nun unu el la burĝoj komencis paroli pri la terura pesto, kiu furiozis antaŭ kelke da jaroj
It’s the same for fini. Here is an example from Gerda Malaperis.
Gerda sentas sin pli bone. Ŝi ĵus finis manĝi.
I think the only time where you would translate the to before an infinitive in English is when it could be replaced with “in order to”. In that case you can add por before the infinitive. For example “I jumped to avoid the car” could become:
Mi saltis por eviti la aŭton.