Qual a diferença entre Multicast, Broadcast e Unicast? 

Deixa eu te dar uma resposta curta e a resposta longa. Resposta curta. Sim, é isso mesmo, tem que adicionar um endereço de multicast por camera. Resposta longa. Para mim, usar multicast é igual receber um transplante de coração: você só faz em caso de vida ou morte, quando não tem outra maneira. Existe uma dificuldade grande de se obter documentação dos fabricantes (switch, camera, NVR, etc) de como fazer isso funcionar, além disso muitos não implementam direito, mas não sabem porque ninguém nunca usou (hoje em dia é muito raro alguém usar de verdade). Mas se você quiser realmente testar, precisa ter certeza que TUDO suporta multicast, as câmeras, os switches, o NVR e o software de visualização do NVR. Tenho certeza que você vai divertir por horas e horas tentando colocar isso para funcionar :)

Simplificando TI já usei isso em empresas com tecnologia cisco com CME express ... O áudio da fila de espera ficava em um streaming de Multicast . Não participei dessa implementação.. tenho interesse de fazer o mesmo com o asterisk mas os endpoints são o problema .. obrigado pelas respostas !!

Aparentemente você já está com o Multicast habilitado, então provavelmente o seu problema é falta de banda ou falta de poder processamento nos roteadores e/ou switches. O Multicast serve para otimizar o tráfego quando temos vários usuários/estações vendo as mesma câmeras, ele não ajuda quanto temos uma estação vendo várias câmeras.

Simplificando TI como vou tem certeza disso?