En principio no tendria que pasar nada, pero hay varias cosas que no son eficientes, uno lo que comentaba Albertomi de castear datos, ademas de eso tenes que tener en cuenta de un tipo de dato string ocupa mucho mas memoria que un double, el double son 8 bytes y un string en VB son 4 + 4 + 1 * chars + 1.
Todo esto sin tener en cuanta que en muchos casos podrias necesitar hacer calculos con los datos.