O primeiro contato de Zé Maria com uma organização política foi no Sindicato dos Metalúrgicos de Santo André no fim dos anos 70, período em que conheceu a Liga Operária. Ajudou na fundação do PT e da Central Única dos Trabalhadores (CUT). Em 1980, José Maria e um grupo de militantes, entre eles o então sindicalista Luiz Inácio Lula da Silva, foram presos pela ditadura militar. Ficou detido por mais de um mês.
Quatro anos depois vai morar em Minas Gerais, onde passa a militar no sindicato dos metalúrgicos do estado. Em 1992, é expulso do PT. Segundo biografia, o rompimento ocorreu por ter sido um dos líderes da campanha Fora Collor, para o fim do governo de Fernando Collor de Mello, o que desagradou alguns dirigentes petistas. Dois anos depois, fundou o PSTU.
Nos anos posteriores, participou de greves do funcionalismo público, de petroleiros e marchas contra a reforma da Previdência Social, o escândalo do mensalão e o Fundo Monetário Internacional (FMI) e defendeu as ações dos trabalhadores sem terra. Participou ativamente das campanhas da Coordenação Nacional de Lutas (Conlutas).
Não é a primeira vez que José Maria de Almeida disputa um cargo eletivo. Em 1982, concorreu a deputado estadual por São Paulo. Em seguida, deputado federal (1994) em Minas Gerais, e, pela terceira vez, para presidente da República: concorreu em 1998, 2002 e é candidato este ano. No pleito de 2006, apoiou a candidata do P-SOL, a ex-senadora Heloísa Helena.