nunca me ha pasado tal cosa, ni se de alguien que le haya pasado, y tengo un proyecto bien grande con unos 5 usercontrols, y son bien grosos estos controles, hablo de que usan muchisimas apis, pero eso no tiene nada que ver, si las apis la usa local el usercontrol no puede interferir con otros, cada uno es una clase y es un objeto aparte, sino imaginate el mismo windows colapsaria si todos los controles estan accediendo a la misma api...el que te dijo eso estaba chupao.
puede que mientras estas en el IDE, estos se hagan un poco lento si tenes muchos controles, pero eso es normal, aparte hay que ver si esos controles estan bien programados, ya que hay algunos que tienen miles de bugs, no descargan los objetos correctamente y eso lo hace pesado y hasta pueden crashear si tienen subclasificacion o hooks activos.
por mi parte no prefiero compilarlo a ocx, a no ser que sea de vida o muerte, aparte de esta forma lo haces mas portable a tu programa.