OpenVINO™ tiempo de inferencia aumenta al ejecutar varios procesos

El tiempo de inferencia duplica al ejecutar dos procesos para inferir el mismo modelo.

• Usar OpenVINO™ para inferir un modelo.
• El tiempo de inferencia es de aproximadamente 300 ms cuando se ejecuta un solo proceso.
• Cuando se utilizan dos procesos, el tiempo de inferencia para ambos procesos se convierte en 600 ms.

1. Agregue el siguiente comando en el script main.cpp .

   ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")

2. Cree la demostración.

• El valor predeterminado de la configuración de KEY_CPU_BIND_THREAD es SÍ.
• En Linux*, esto hace que los dos procesos se vinculen al mismo núcleo de CPU y duplique el tiempo de inferencia.
• Configuración de la configuración KEY_CPU_BIND_THREAD en NO se unbinds inferencia de subprocesos desde núcleos de CPU en Windows* y Linux*.

Consulte Parámetros de configuración admitidos para obtener más información sobre los parámetros de configuración para el complemento de CPU.