No se si hay un api para hacer esto, me parece que cuando alguna app usa la camara esta crea un handle (no puedo testearlo aca) pero si es asi podes usar NtQuerySystemInformation y NtQueryObject para enumerarlos y buscar si esta abierto.
Otra es usar el api para la camara.. no tengo una aca asi que no puedo testearlo.