Introducción: Integración e implementación de la IA en la atención médica
VITEC se encargó de integrar e implementar modelos de IA dentro de un dispositivo de procesamiento de video existente utilizado en quirófanos. El dispositivo utiliza tecnología FPGA para el procesamiento de video.
Los modelos de IA entrenados realizaron las siguientes funciones de asistencia en tiempo real:
- Detección de la fase de operación para informar y proporcionar información al equipo de enfermería en tiempo real, garantizando un flujo de trabajo eficiente y la seguridad del paciente en la sala de operaciones.
- Automatizar la detección y evacuación de impurezas en el campo quirúrgico para ayudar significativamente a mejorar la esterilidad y la seguridad de los procedimientos quirúrgicos
Los científicos de datos de un laboratorio médico desarrollaron y entrenaron los modelos de IA utilizando su propio conjunto de datos disponible, y los diseñadores de FPGA de VITEC ayudaron a integrar e implementar el modelo en un dispositivo de procesamiento de video en una FPGA que ya se utiliza en la sala de operaciones. Los científicos de datos utilizaron el flujo de software FPGA AI Suite para convertir su modelo de IA entrenado a FPGA IP de inferencia de IA y los diseñadores de FPGA utilizaron flujos de diseño de FPGA del software Quartus® Prime estándar para integrar y validar sin problemas el modelo e implementarlo en un Arria® 10 FPGA.
El video se ha convertido en el centro de la sala de operaciones, ofreciendo constantemente a los cirujanos nuevas funciones de asistencia relacionadas con el video. La proliferación de fuentes y monitores de vídeo en los quirófanos ha dado lugar a plataformas cada vez más potentes con más entradas/salidas. El soporte para señales de video en formato HDR ha revolucionado la calidad de las imágenes disponibles para el cirujano durante la operación y ha llevado al desarrollo de nuevas funciones de asistencia en tiempo real.
Reto: Colaboración interfuncional
Uno de los desafíos es integrar FPGA IP de inferencia de IA en un dispositivo de procesamiento de video ya existente. El algoritmo de procesamiento de video tenía que ejecutarse en paralelo con la IP de inferencia de IA. Por lo tanto, VITEC tuvo que implementar la IP de inferencia de IA junto con el diseño actual sin afectar la funcionalidad y el rendimiento de ambos.
Una vez que se había integrado la PI de inferencia de IA, el diseño tenía que ser validado. El principal desafío fue establecer procesos de transferencia adecuados entre los dos equipos para asegurarse de que los resultados de precisión vistos por el equipo de científicos de datos en el laboratorio médico coincidieran con lo que el equipo de diseño FPGA de VITEC vio después de integrar la IP de inferencia en el FPGA.
Solución: FPGA AI Suite cierra la brecha
FPGA AI Suite permite la facilidad de uso y la generación de IP de inferencia de IA con solo pulsar un botón para dispositivos FPGA Altera.
El equipo de científicos de datos convirtió el modelo de IA entrenada para FPGA IP de inferencia de IA utilizando el kit de herramientas de código abierto OpenVINO™ y FPGA AI Suite. OpenVINO es la interfaz de usuario de FPGA suite de IA y ayuda a convertir los modelos de IA desarrollados en cualquier marco estándar, como PyTorch, TensorFlow, etc., en una representación intermedia que FPGA suite de IA utiliza para convertirla a IP de inferencia de IA.
VITEC ayudó a integrar la IP de inferencia de IA con el resto del diseño del FPGA utilizando la herramienta de integración del sistema Platform Designer, cerró la sincronización en Quartus y luego validó el diseño.
Refiriéndose a la Figura 1. los científicos de datos utilizaron la siguiente metodología para su desarrollo de IA.
Paso 1. Desarrolle y entrene su modelo de IA con marcos populares.
Paso 2. Utilice el kit de herramientas OpenVINO para optimizar el modelo y convertirlo a un formato de datos de representación intermedia (IR).
Paso 3. Use FPGA AI Suite para ejecutar una estimación rápida de FPGA desempeño y uso lógico para ver si el modelo cumple con las métricas objetivo.
Paso 4. Si el paso 3 cumple con las métricas objetivo, utilice OpenVINO para ejecutar emulación de software a fin de comprobar la precisión de la FPGA IP generada por AI Suite.
Paso 5. Si el paso 3 no cumple con las métricas objetivo, utilice la función de optimización automática dentro de FPGA AI Suite para cambiar la arquitectura FPGA IP a fin de lograr el objetivo de rendimiento deseado y el uso lógico. Iterar según sea necesario y continuar con el paso 4.
Nota: Actualmente, la emulación de software solo está disponible para Agilex 5 y Agilex 3 FPGAs. La precisión de otras familias de FPGA Altera se puede determinar ejecutando el diseño en hardware.
En relación con la Figura 2, los ingenieros de VITEC utilizaron los siguientes pasos para integrar la nueva IP de inferencia de IA con el diseño de procesamiento de imágenes de FPGA existente.
Paso 1. Obtenga la FPGA IP generada por AI Suite de los científicos de datos de laboratorios médicos.
Paso 2. Utilice la herramienta Platform Designer dentro del software Quartus Prime para integrar la IP de inferencia de IA con todos los demás bloques de IP y/o lógica RTL personalizada. Utilice el proceso típico para terminar el diseño del FPGA (síntesis, lugar y ruta, sincronización de cierre, simulaciones de finalización, análisis de energía, etc.) y generar el FPGA secuencia de bits.
Paso 3. Utilice la utilidad de programación Quartus Prime Software para programar el hardware basado en FPGA con el nuevo diseño basado en IA para realizar más pruebas/validaciones.
El dispositivo de procesamiento de video se controla a través de una API a la que se han agregado las funciones y comandos de control de IP de inferencia de IA. Las funciones de control incluyen la capacidad de cargar la red, configurarla, ejecutar inferencias en imágenes de la CPU y recuperar los resultados. Para las dos aplicaciones, las redes de IA se cargaron a través de la API para la ejecución en tiempo real.
El dispositivo Arria 10 FPGA en el que se implementa el diseño de procesamiento de video tenía suficientes recursos sin usar para que encajaran las PI de inferencia de IA, lo que facilitó agregar la IP de inferencia de IA al diseño de FPGA existente. El equipo de científicos de datos estableció los objetivos de área apropiados para ser utilizados por la IP de inferencia de IA en la herramienta FPGA AI Suite y ejecutó la herramienta optimizadora de arquitectura para obtener el mejor rendimiento antes de entregarla al equipo de FPGA.
La integración de la IP de inferencia de IA fue como la integración de cualquier otra PI en Quartus. Una vez que el equipo de FPGA integró la IP de inferencia de IA, el siguiente paso fue validar el diseño. Esto implicó verificar que la IP de IA estuviera correctamente integrada y ejecutar inferencias en ella. El plan de prueba también incluyó múltiples ciclos de carga / descarga, inicialización / desinicialización de tarjetas y docenas de inicios / apagados del sistema para garantizar que el sistema fuera estable y confiable.
Los científicos de datos proporcionaron imágenes de prueba rotuladas con la IP de inferencia de IA. El equipo de diseño de FPGA validó la ejecución de estos datos. Esto implicó ejecutar repetidamente inferencias en las imágenes de prueba y verificar que los resultados siempre se ajustaran a la tabla.
El plan de prueba de integración también tenía que garantizar que la adición de la PI de inferencia de IA no afectara a las operaciones de procesamiento de imágenes existentes validadas en el diseño de FPGA actual. El plan de prueba se basó en casos de uso típicos.
Resultados: Implementación exitosa en quirófano
La agilidad de aplicación de la solución FPGAi de Altera permite a los ingenieros diseñar y desarrollar soluciones de IA para mantenerse a la vanguardia de la tecnología mediante el uso de reprogramabilidad FPGA, ciclos de vida extendidos del producto y opciones versátiles de E/S.
VITEC mejoró con éxito sus dispositivos de procesamiento de video al agregar potentes funciones impulsadas por IA. Integradas en dispositivos y flujos de trabajo existentes, estas características son directamente operativas y mejoran significativamente la eficiencia durante los procedimientos quirúrgicos, agregando valor a las plataformas existentes basadas en FPGA.
Los flujos de IP de inferencia de IA de un solo botón de FPGA AI Suite combinan a la perfección el flujo de trabajo de software utilizado por los científicos de datos y el flujo de hardware utilizado por los ingenieros de FPGA en un flujo de trabajo de IA genérico de extremo a extremo, lo que permite una colaboración eficiente entre ellos. Usar Altera® FPGAs y el flujo de software con OpenVINO y FPGA AI Suite ayuda a preparar los diseños para el futuro y adaptarse rápidamente a los nuevos cambios.