Problemas con la importación de imágenes desde csv

Hola a todos… les escribo porque me está sucediendo lo siguiente.
Intro.
Tengo que cargar un producto (una prenda de vestir) que tiene variaciones de talle y color. La misma por ejemplo tiene 2 colores (rojo y negro) y 4 talles por color (S, M, L, XL). Yo dispongo de 2 imágenes (una para cada color). Cargo las imágenes en el servidor y compongo el csv llamando a la url de cada imagen. En consecuencia, repito la url de la imagen roja para las 4 variaciones de talle y lo mismo hago con la negra.
Que me sucede?
Lo que hace el sitio como resultado de la importación es duplicar la imagen de cada color tantas veces como talles existan, quiere decir que donde yo tenía 2 imágenes, luego de la importación tengo 8 (4 para el rojo y 4 para el negro).
Esto me está poniendo muy pesado el sitio y me obliga a tener que eliminar manualmente las imágenes que se duplicaron luego de la importación.
Dicho esto, la consulta puntual sería,
Cómo armo el csv para que no se dupliquen las imágenes y el importador utilice una sola imagen de producto para cada variación de talle?

Gracias por la ayuda.

Saludos