医疗应用中的人工智能和机器视觉

Medical-AI-Image

随着人工智能(AI)的兴起,医疗设备和仪器在感知、分析和判断特定情况方面变得更加智能。人工智能的目标是让软件能够像人类一样更智能地运行,从而提高硬件的自主性。计算机视觉是一种与人工智能相关的具体技术。计算机视觉系统尝试基于光学传感器传输的数据作出主动决策,就像人类基于视觉感知作出决策一样。

下载技术指南
下载关于多光谱成像的技术指南。

Watch the webinar
观看关于多光谱成像的网络研讨会

在医学成像领域,人工智能正迅速渗透到放射学和全心脏运动跟踪等领域,但在其他应用医学领域,具有可见光和/或近红外光灵敏度的光学传感器可以帮助临床医生进行病患监护、诊断、数字病理学研究、光学相干断层扫描、外科手术等。

虽然许多机器学习方法为不同的目的而开发,但它们都有一个共同的目标,那就是通过帮助机器进行改进和学习来实现特定目标。在计算机视觉人工智能领域中,最流行和最突出的一种机器学习方法是深度学习,它可以在数据中发现一些甚至医学专家都无法察觉的结构和模式。

深度学习算法需要海量数据才能发挥作用。大多数医学成像应用会生成大量的图像数据,这些数据适合用于对非常复杂的算法进行训练,从而解决特定的问题。可针对实时的非侵入性应用对此类算法进行训练。

将深度学习应用于医学图像数据可以使许多应用获益,包括人体组织成像和光在组织内的传播。在尝试开发新的诊断方法时,后者是医疗成像中的一个重要问题。

生物组织在组成方面属于异质结构,在光学性质上有多种空间变化。进入生物组织的光会出现不同程度的散射。组织可以吸收的波长取决于它的分子组成。光谱治疗窗内和窗外对光的吸收可作为特定组织层的光谱指纹。

多光谱相机可用于捕获组织复杂的叠加结构,深度学习可以在这方面派上用场。将两者结合可以打造一种更高效、更智能的模式匹配方法,可用于识别正确的组织材料并测试人工智能决策过程的稳健性。

人工智能和计算机视觉的另一个颇有前景的应用是手术辅助。这可能涉及到多光谱成像或单传感器相机。现今的外科医生通常需要借助各种光学系统的组合来开展救治工作,比如显微镜和相机。将手术现场的图像输入人工智能引擎后,可以自动高亮显示图像的特定区域,如血管或肿瘤。

通过使用正确的光学和示踪物质(如ICG),专为手术辅助工作而设计的多光谱相机以及人工智能驱动的传统RGB相机,可以高效地在荧光技术辅助手术中指出目标组织。

外科手术中使用的相机必须提供高帧率,以及高质量的图像(在合适的分辨率下具有出色对比度和颜色渲染)。这些相机最低必须支持至少1280 x 720像素的高清分辨率,以及30帧/秒(fps)或更高的速度。

更常见的是提供帧速率为60 fps的全高清分辨率(1920 x 1080),为外科医生提供的图像可与家里标准平板电视上所显示的图像相媲美。一些手术室采用具备4K分辨率的显示器,以便更清晰地显示微小细节。水平分辨率至少为3840至4096像素的相机分辨率用于生成在4K屏幕上显示的图像。

几种不同的相机分辨率(包括800万像素、1200万像素、2000万像素和2500万像素),都可以达到这种水平的显示效果,许多相机能够达到60 fps的帧速率并提供流畅的视频采样,远高于人眼的最低视觉感知频率。

在不久的将来,一些外科手术实时显示器将能够以60 fps的帧速率提供8K分辨率。这将要求相机具有4500万或更高的像素分辨率和超高速接口,以保持出色的帧速率。但即使全高清和4K选项在如今已成为现实,高分辨率实时视频系统也意味着必须将大量数据传输到处理和显示单元。

在图像数据通过人工智能引擎的情况下,根据涉及的智能流程,可以对图像数据进行减少、修改、选择和转换操作,以满足应用需求。在任何情况下,原始数据可以通过高速接口在相对较长的距离上实现无间断传输,例如使用10GigE Vision(使用铜电缆或光纤电缆)或CoaXPress(使用同轴电缆)。类似的方法也适用于数字病理学、幻灯片扫描和计算机辅助病理学。数字WSI(全幻灯片成像)通过结合利用高速机器视觉相机和人工智能,对数字化图像进行检测、分割、诊断和分析。

早期的医学成像系统主要使用RGB传感器,而如今更多的系统开始使用多光谱相机。这些系统并不局限于可见光谱。它们可捕捉多个位置彼此分离的光谱波段的信息,包括可见光范围内和范围外的波段。这可以显示在可见光谱中看不到的特性,并且可以与各种NIR荧光技术一起使用,从而以明显方式“标记”或突出肿瘤、血管或其他外科医生感兴趣的特征。

多光谱成像将光谱学和机器视觉进行有机结合,为成像领域带来了新的发展机会。在多光谱成像系统中添加人工智能来提取和解释可见光谱以外的图像数据,是一项非常强大的工具。新款棱镜式多光谱相机现在支持对多光谱波段的大小和位置进行灵活定制。这简化了不同光谱配置的创建工作,进而为特定应用提供所需支持。

无论是RGB、单色还是多光谱成像系统,当与人工智能引擎结合时,它们都可以观察和评估超出人类感知能力的情况,从而扩展和提高临床医生的能力。通过将机器视觉相机与Nvidia Jetson、Nvidia Xavier等嵌入式平台相结合,人工智能引擎可以成为机器视觉硬件的一部分。

更多资源:

设计您的多光谱面阵扫描相机,探索隐藏在应用中的成像数据:

JAI-Fusion-Flex-Eye-multispectral-area-scan-camera

关于JAI多光谱定制技术:
您现在可以借助Flex-Eye为视觉系统设计理想的多光谱相机。JAI的Flex-Eye概念让您能够定制单个2-CMOS或3-CMOS Fusion系列相机中光波段(可见光和近红外光)的宽度和位置,并收集所需的精确成像数据。选择320万像素或160万像素的传感器,可通过高速10 GigE接口进行多流输出。棱镜设计意味着无论运动或观看角度如何,都能精确地配准波段。非常适合用于食品分类、农业、制药、医疗以及许多其他应用中的视觉系统。
了解关于Fusion Flex-Eye的详细信息

详细了解JAI Fusion系列中的多光谱相机
适用于多光谱成像的Fusion相机系列

下载技术指南:多光谱成像:
下载此免费技术指南,深入了解适用于医疗和工业机器视觉系统的多光谱成像技术。
下载技术指南

观看网络直播:将棱镜式相机用于多光谱应用
如果您是视觉系统设计人员,而且需要多光谱成像功能来完成项目,这个免费的网络研讨会可帮助您确定棱镜式多光谱相机是否为理想选择。目前有几种不同类型的多光谱相机可供选择,您所选择的相机类型对于项目成功至关重要。
Watch the webinar

联系JAI寻求帮助:
让我们帮您寻找理想的相机,满足您在医疗和生命科学应用方面的应用要求。
联系JAI工程师