Fiz um parecido só que criei uma classe chamada calculadora com as quatro operações aí no código onde criei objeto calculadora fiz um Switch case com as operações que o usuário escolheu.
Tive a ideia de criar um ouvinte de ação para os botoes de +-/-= e no método do ouvinte usar um laço for e if, mas não estou conseguindo usar o evento.getComponent() para buscar o componente do evento.