É errado você distratar uma pessoa por uma característica imutável dela. Esse é um princípio básico que acaba com a maior parte dos preconceitos por ai. E como você distratar uma pessoa pela cor da pele dela, seja branca ou preta, fere esse princípio, essa pode ser considerada uma atitude errada, independentemente se tiver nomenclatura de racismo ou não.