ISCC智能药房机器人

ISCC智能安全药房机器人对抗赛

引言

研究背景与意义

药房机器人在智慧医疗中的应用前景日益广阔，尤其在药品配送和自动化药房管理方面具有巨大潜力。随着医疗服务的需求不断增加，药房机器人的研究和应用不仅能够提高药品配送的效率，还能降低人工操作的错误率，提升整体服务质量。

需求分析

1. 药物需求识别与获取:
机器人需要具备自主识别当前药物需求的能力，并能够精准地获取所需药物的种类以及相应的配送目的地。这要求机器人能够实时监控药品库存，并根据需求变化做出迅速反应，确保配送任务的及时执行。

2. 自主导航与路径规划:
为了高效完成药物配送，机器人必须具备自主导航和路径规划功能。这意味着机器人应能够在没有人为干预的情况下，依据药房的空间布局和药物需求情况，智能地规划最优配送路线，从而提高配送效率并减少路径偏差。

3. 实时定位与避障:
在复杂的药房环境中，机器人必须实时获取自身的精确位置，并能够识别周围的动态环境信息。通过精确的定位和实时数据分析，机器人能够智能避开障碍物，如人员和其他物品，确保配送任务的安全和顺利进行。

总体项目框架图

药房机器人软件技术方案设计

药房机器人是一种集药品识别、路径规划、自动导航及信息交互功能于一体的智能系统。其技术方案设计主要包括以下内容：通信机制、核心功能模块以及系统协调逻辑。

• Master节点：负责管理各功能节点的注册与通信，提供系统的整体协调功能。

• 功能节点：实现具体功能，包括药片检测、预测分析、导航控制以及视频数据处理。

• 消息机制：通过话题发布与订阅，实现检测数据、预测结果和运动控制信息的传递。

• Bag文件：用于存储通信过程中的数据，便于调试和后续分析。

本设计方案通过模块化和解耦的方式，提高了系统的扩展性和可靠性。

单片机驱动方法与底盘控制

系统概述

机器人系统主要由阿克曼底盘、STM32控制器、树莓派4B、激光雷达、摄像头和上位机组成。树莓派4B作为核心计算单元，运行Ubuntu和ROS系统，用于处理传感器数据、规划路径以及与上位机的通信。

单片机驱动方法

STM32控制器负责控制底盘电机的驱动以及激光雷达、摄像头等传感器的数据采集。电机的转速由PWM信号控制，通过传感器获取的环境数据进行实时处理，并将处理结果传送至树莓派4B，以便进一步决策。

底盘控制模型

底盘控制模型采用经典的PID控制算法，通过调整速度和方向，实现精确的移动控制。PID控制算法在行驶过程中不断调节机器人的运动状态，以确保其能够准确地完成指定任务。

硬件连接

系统硬件的主要连接方式如下：

• 阿克曼底盘与STM32控制器相连，用于实现底盘运动控制。

• 激光雷达和摄像头连接至树莓派4B，树莓派4B运行ROS系统，用于处理传感器数据和控制指令。

• 上位机通过网络与树莓派4B通信，实现数据传输和远程控制。

EPRobot 的硬件组成框图

计算机视觉与路径规划

计算机视觉的识别原理

计算机视觉在药品识别中起着至关重要的作用，主要通过图像处理技术对输入的图像进行分析与识别。以下是关键的图像处理步骤及其实现方法。

图像预处理

图像预处理的目的是简化图像，减少干扰信息，使后续的轮廓检测和特征匹配更加准确。在本项目中，我们采用了灰度化和二值化处理方法。

• 灰度化：
  将彩色图像转换为灰度图像，以减少计算复杂度，并为边缘检测做准备。

• 二值化：
  通过阈值化操作将图像转换为二值图像，确保图像中的前景（药品）与背景能够清晰分离。

具体实现代码如下：

# 图像预处理：灰度化和二值化
gray_imgA = cv2.cvtColor(imgA, cv2.COLOR_BGR2GRAY)
gray_imgB = cv2.cvtColor(imgB, cv2.COLOR_BGR2GRAY)
gray_imgC = cv2.cvtColor(imgC, cv2.COLOR_BGR2GRAY)
gray_imgD = cv2.cvtColor(imgD, cv2.COLOR_BGR2GRAY)    
_, binary_imgA = cv2.threshold(gray_imgA, 127, 255, cv2.THRESH_BINARY)
_, binary_imgB = cv2.threshold(gray_imgB, 127, 255, cv2.THRESH_BINARY)
_, binary_imgC = cv2.threshold(gray_imgC, 127, 255, cv2.THRESH_BINARY)
_, binary_imgD = cv2.threshold(gray_imgD, 127, 255, cv2.THRESH_BINARY)

通过这段代码，图像被转换为灰度并进行二值化处理，为接下来的边缘检测和轮廓提取打下基础。

轮廓检测与筛选

为了从图像中提取药品的轮廓，我们使用了Canny边缘检测算法。Canny算法可以有效地检测出图像中的边缘，是图像识别中的常用工具。

• Canny边缘检测：
  使用Canny算法检测图像的边缘，边缘检测有助于找到物体的轮廓。

• 轮廓提取：
  使用’cv2.findContours()’函数来提取图像中的轮廓信息，帮助后续的药品定位和识别。

实现代码如下：

# 轮廓检测与提取
grayImg = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(grayImg, 50, 150, apertureSize=3)
_, contours, _ = cv2.findContours(edges, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

首先，将每一帧视频流图像（’frame’）转换为灰度图像（’grayImg’）。然后，使用’cv2.Canny()’算法检测边缘。接着，通过’cv2.findContours()’提取图像中的轮廓信息。

通过这些预处理和边缘检测步骤，我们能够准确地从图像中提取出药品的轮廓，并为后续的分类和定位任务提供有效支持。

结果展示

以下展示了通过上述方法检测到的药品轮廓。通过对视频流中的每一帧图像进行处理，系统能够实时识别药品的位置和类型。

识别药品代码

如图所示，展示了五种药片的样本图像。通过观察这些图像，可以明显看到药片在颜色和形状上的差异。由于样本集较小，训练过程中可能存在一定的偏差，因此我们选择使用卷积神经网络（CNN)进行模型训练。具体而言，我们的predict函数会输出如下类别信息：

{cls_name} = ['0', '1', '2', '3', '4']

其中，类别分别代表：0 - 单色胶囊，1 - 双色胶囊，2 - 椭圆药丸，3 -鱼肝油，4 - 圆形药片。

然而，在实际应用中，我们发现由于小车摄像头的拍摄位置和清晰度问题，所拍摄的样本图像可能存在一定的误差。这些误差影响了模型的预测效果。为了提高识别准确性，我们决定采集实际的样本图像来重新训练模型。

我们采用裁剪后的图像进行训练，利用卷积神经网络（CNN）进行优化，从而显著提升了模型的准确率。经过实际样本的检验，模型的识别准确率可以达到九成以上。

图像裁剪预处理代码及原理

在图像预处理中，裁剪是为了去除多余的背景区域，从而更准确地将药片区域输入到分类模型中。以下是核心裁剪代码及其解释：

def cut(path):
img = cv2.imread(path)
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
lower_white = np.array([0, 0, 50])
upper_white = np.array([180, 80, 255])
mask = cv2.inRange(hsv, lower_white, upper_white)
# 寻找最大黑色区域并裁剪
h, w = img.shape[:2]
num_labels, labels, stats, centroids = cv2.connectedComponentsWithStats(mask)
max_area_idx = np.argmax(stats[1:, cv2.CC_STAT_AREA]) + 1
max_area_mask = (labels == max_area_idx).astype(np.uint8) * 255
contours, _ = cv2.findContours(max_area_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
x, y, w, h = cv2.boundingRect(contours[0])  
return img[y:y + h, x:x + w]

原理解析

• 颜色空间转换：代码先将图像从BGR转换到HSV色彩空间。HSV色彩空间将颜色信息（色调）和亮度分开，这样在分割时更容易通过阈值选择特定的颜色范围（这里是白色）。

• 颜色阈值分割：利用cv2.inRange()函数设定白色范围阈值（lower_white和upper_white），将药片区域以白色（或浅色）背景分离出来，生成一个二值掩膜图像mask。在这个掩膜图像中，药片区域为白色（255），背景为黑色（0）。

• 最大连通区域检测：使用cv2.connectedComponentsWithStats()找出所有连通区域。每个连通区域代表一块相连的白色区域，可能对应一个药片或其他背景区域。通过计算区域面积，选择面积最大的连通区域（药片的轮廓区域）作为目标区域。

• 轮廓提取与裁剪：从最大连通区域中提取轮廓，利用cv2.boundingRect()获取该轮廓的边界矩形。然后用这个边界矩形对图像进行裁剪，以获得去除背景的药片图像。

通过这种方法，可以有效去除无关背景部分，使输入图像聚焦于药片区域，从而提升后续分类模型的准确性。

分类模型加载及核心代码

以下是加载预训练模型和预测的核心代码：

model = models.mobilenet_v2(pretrained=True)
model.classifier = nn.Sequential(
nn.Dropout(p=0.5),
nn.Linear(model.last_channel, len(cls_name)),  # 输出类别数量
)
model.load_state_dict(torch.load(model_path))
model.eval()

原理解析

• 加载预训练模型：这里使用的是mobilenet_v2，一种轻量化的卷积神经网络，适用于实时图像分类任务。使用预训练模型可以加速训练并获得更好的分类效果。

• 调整输出层：为了适应药片分类的任务，代码修改了模型的输出层，使输出节点数与药片类别数量一致。这样，模型可以根据每类药片的特征给出分类预测。

• 模型预测：将模型设置为评估模式（model.eval()），这样可以防止在预测时应用训练时特有的正则化操作（如dropout），从而提高预测的稳定性。

以上代码展示了图像预处理与分类模型的关键步骤，通过裁剪聚焦药片区域，再使用轻量化的分类模型进行预测，实现对药片类型的自动分类识别。

路径规划与地图构建

为了实现 EPRobot在已知的二维障碍物地图中的自主运行，我们首先进行地图构建。构建地图是路径规划的首要任务，本节介绍基于Cartographer 算法的 SLAM 建图过程以及 A* 路径规划的应用。

地图构建与规划

Cartographer分为局部SLAM和全局SLAM两个子系统：

• 局部SLAM： 构建局部一致的子地图。设置文件位于’trajectory_builder_2d.lua’ 和 ‘trajectory_builder_3d.lua’。

• 全局SLAM： 通过回环检测将子地图全局一致地连接起来。设置文件位于’pose_graph.lua’。

局部SLAM生成子地图，全局SLAM负责连接这些子地图，保证整体一致性。

输入与预处理

范围传感器（如LIDAR）提供多方向的深度信息，Cartographer通过带通滤波器筛选有效数据，避免噪声干扰。

• 距离范围： ‘TRAJECTORY_BUILDER_nD.min_range’ 和’TRAJECTORY_BUILDER_nD.max_range’

• 数据单位： 所有距离单位为米

局部SLAM

局部SLAM通过扫描匹配将数据插入子地图，采用以下两种策略：

• CeresScanMatcher： 快速、适用于传感器设置良好的情况。

• RealTimeCorrelativeScanMatcher：适用于缺少其他传感器或不信任其他传感器的情况。

在使用 Cartographer 算法构建地图时，尽管我们得到了一个 2D地图，但由于激光雷达的精度和扫描线数的限制，地图的平整度和精度不尽如人意。因此，我们决定放弃使用激光SLAM构建地图的方法，转而采用人工方式，基于”5cm/像素”的换算比例，将实际的物理地图手动绘制为一个76*98 像素的 ROS 栅格地图。同时，我们将起点位置写入 YAML 文件，以确保map_server能正确读取该栅格地图，从而提高全局地图的准确性，并减少定位误差。

路径规划算法

地图构建完成后，使用 A*算法进行路径规划，确保小车避开障碍物并完成药品配送任务。路径规划过程包括：

• 环境建模： 使用网格图建模，标记障碍物和空闲区域。

• 最短路径计算： 使用A*算法计算从起点到终点的最短路径。

• 避障功能： 动态调整路径，避免碰撞。

该系统使小车能够在已知障碍物地图中自主导航，完成任务。

由于dijkstra算法在实际运行中产生的问题

最后是小车的行进路线图

为了解决小车在使用Dijkstra算法进行路径规划时，由于最短路径选择导致转弯路径过于贴近墙壁而容易在拐角处卡死的问题，本文提出了一种优化方案。原始路径如图中绿色线所示，小车在不添加目标点E和F的情况下生成的路径会紧贴墙壁，在转弯处存在较高的卡死风险。

为改善这一情况，在地图上新增了目标点E和F。通过引入这两个目标点，小车在路径规划时重新计算最短路径。优化后的路径如图中红色线所示。可以明显观察到，红色路径较绿色路径更加平滑，且在转弯处远离墙壁。这种调整显著降低了小车在转弯时卡死的概率，从而提升了导航的鲁棒性和可靠性。

这一方法通过在关键位置引入额外的路径节点，改变了Dijkstra算法的最短路径规划结果，解决了贴壁转弯的缺陷，为实际场景中的移动机器人路径优化提供了有效的参考方案。

信息安全防护措施与技术实现

信息安全防护措施

为了保护药房机器人系统的数据安全，我们采用了以下几种信息安全防护措施：

• SSL加密技术：使用SSL（Secure SocketsLayer）协议对系统数据传输进行加密，确保数据在传输过程中的保密性和完整性。通过建立安全的通信通道，SSL防止了数据在网络中被窃听和篡改，提升了数据传输的安全性。

• 身份认证与访问控制：采用基于角色的访问控制（RBAC）系统，对系统用户进行严格的身份认证和授权管理。只有通过认证的用户才能访问系统中的敏感数据和功能，从而防止未授权的访问行为。此外，系统还实施了多因素认证（MFA），进一步提高账户安全性。

• 数据备份与恢复：定期备份药房机器人系统中的重要数据，并存储在安全的异地服务器中。一旦发生数据丢失或系统故障，能够迅速恢复数据，保证药房运营的持续性。

• 防火墙与入侵检测系统：通过部署硬件防火墙和入侵检测系统（IDS），我们可以实时监测和防范外部恶意攻击和内部网络威胁，及时发现潜在的安全风险并采取措施。

防护技术的应用与案例

具体的防护技术在药房机器人系统中得到了广泛应用，以下是一些关键技术和实施案例：

• RSA加密技术：为了保护药房机器人系统的通信链路，我们采用了RSA（Rivest-Shamir-Adleman）加密算法。该算法基于公钥和私钥的非对称加密机制，可以有效防止数据在传输过程中被窃取或篡改。所有敏感信息，如药品库存、订单信息等，都通过RSA加密进行传输，确保信息的保密性和完整性。

• TLS协议的使用：除了SSL，我们还采用了TLS（Transport Layer Security）协议，作为SSL的升级版，提供了更高安全性的加密传输。TLS协议通过使用强大的加密算法，如AES（高级加密标准）和HMAC（基于哈希的消息认证码），进一步提高了系统通信的安全性，防止中间人攻击和重放攻击。

• 多因素认证：为了增强用户身份验证的安全性，我们在药房机器人系统中实施了多因素认证（MFA）。系统要求用户在登录时提供密码、动态验证码和生物识别信息（如指纹或面部识别），通过多重验证确保只有授权人员能够访问敏感数据。

• 数据完整性校验：为了防止数据在传输过程中被篡改，我们采用了数据完整性校验技术，如哈希值校验和数字签名。每条数据在传输前都会生成一个哈希值，在接收端进行对比，确保数据在传输过程中未被篡改。

• 案例：药品管理系统中的数据加密：在药品管理系统中，药品的采购、库存、销售等敏感数据都通过加密技术进行保护。例如，订单信息通过AES加密后存储在数据库中，确保数据即使被黑客窃取，也无法直接读取。

• 案例：身份认证与访问控制：在药房机器人系统中，管理员和普通用户拥有不同的权限。管理员可以查看和修改药品信息，而普通用户仅限于查询药品库存。在此基础上，系统通过OAuth2.0协议实现了基于角色的访问控制（RBAC），确保不同用户只能访问其权限范围内的资源。

通过上述信息安全防护技术的实施，我们有效提高了药房机器人系统的安全性，保障了药品管理、订单处理及数据传输的安全性，防止了潜在的网络攻击和数据泄露风险。

网络安全隐患与应对

网络安全隐患分析

在智慧医疗领域，随着技术的进步和设备的智能化，网络安全隐患也日益严重。药房机器人系统作为一种关键的智能化医疗设备，面临着诸多潜在的网络安全威胁。主要的网络安全隐患包括：

• DDoS攻击：分布式拒绝服务（DDoS）攻击通过大量恶意流量淹没目标服务器，导致系统资源耗尽，从而使系统无法提供正常服务。在药房机器人系统中，这种攻击可能会导致系统服务的中断，影响药品管理和配送。

• 恶意软件攻击：黑客可能通过恶意软件（如病毒、木马、勒索软件等）侵入系统，获取敏感数据，甚至控制机器人系统的运行。例如，勒索软件通过加密药房机器人系统的数据并要求赎金，可能导致系统无法正常运行。

• 数据篡改与窃取：数据篡改和窃取是药房机器人系统面临的另一大安全威胁。黑客可能通过未授权的访问篡改药品库存数据、修改订单信息或窃取患者隐私数据。这样的攻击不仅会影响系统的正常运行，还可能导致法律责任和信誉损失。

• 中间人攻击（MITM）：中间人攻击指攻击者在通信双方之间截取并篡改数据。这种攻击可以发生在药房机器人系统的远程通信中，尤其是如果数据传输没有加密，攻击者可以篡改药品信息或用户指令。

• 未授权访问与内鬼攻击：除了外部攻击，内部员工或系统管理员的滥用权限也可能导致信息泄露或系统故障。例如，未经授权的员工可能通过盗取账户信息访问敏感数据或故意破坏系统。

网络攻击的预防与对抗

为了应对上述网络安全隐患，我们采用了一系列防范措施，确保药房机器人系统的安全性和可靠性：

• 防火墙与入侵检测系统（IDS）：我们通过部署防火墙和入侵检测系统（IDS）来防止未经授权的访问和恶意攻击。防火墙可以过滤不合法的网络流量，而IDS则用于监测网络流量，及时识别异常活动并报警。例如，当检测到来自未知IP地址的大规模请求时，IDS会立即报告并触发安全响应流程。

• 定期安全审计与漏洞扫描：我们定期进行系统安全审计，检查软件、硬件和网络配置中的潜在漏洞。通过自动化漏洞扫描工具，我们可以及时发现并修补系统中的安全漏洞，防止被攻击者利用。

• 数据加密与传输保护：所有的敏感数据（包括药品信息、订单记录等）都通过强加密算法进行加密存储和传输。例如，使用AES加密对药品数据进行加密存储，使用TLS协议对通信链路进行加密，确保数据传输的安全性，防止中间人攻击。

• 多层身份认证与访问控制：在药房机器人系统中，采用了多层身份认证机制，确保只有经过验证的用户可以访问敏感数据。除了传统的用户名和密码认证外，还采用了多因素认证（MFA），例如短信验证码、指纹或人脸识别技术，防止未经授权的人员访问系统。

• DDoS防护与流量清洗：针对DDoS攻击，我们采用了DDoS防护系统，该系统通过流量清洗技术筛选正常流量，阻止恶意流量进入系统。防火墙和负载均衡设备的结合可以有效分担流量压力，保证系统的正常运行。

• 零信任架构：我们采用了零信任安全架构（Zero Trust Architecture,
  ZTA），即始终假定网络中的所有用户和设备都是不可信的，必须经过验证才能访问系统资源。该架构强调最小权限原则和动态访问控制，减少了内外部威胁的风险。

• 定期备份与灾难恢复：为了应对潜在的数据丢失或勒索软件攻击带来的风险，我们定期对药房机器人系统进行数据备份，并存储在异地数据中心。当系统遭遇攻击或发生故障时，可以迅速恢复数据并减少业务中断时间。

• 员工安全培训与意识提升：内部员工是网络安全防护的关键环节。因此，我们定期对员工进行安全培训，提高他们对钓鱼攻击、社会工程学攻击等常见网络安全威胁的识别能力，确保员工在面对网络攻击时能够采取正确的应对措施。

案例：防止数据篡改与泄露

在某次药房机器人系统的安全演练中，我们模拟了一个攻击者通过恶意软件入侵系统并尝试篡改药品库存数据的场景。通过防火墙、入侵检测系统和实时数据完整性校验技术，成功阻止了该次攻击并立即对攻击源进行了隔离。系统管理员迅速恢复了数据，并通过加密日志文件追踪到攻击者的IP地址。最终，该攻击未能对药房运营造成实质性影响。

通过持续的安全措施和技术改进，药房机器人系统能够有效抵御网络攻击，确保系统的稳定性与数据的安全性。

结论与展望

技术总结

本报告详细描述了药房机器人技术方案的设计与实现过程，涵盖了关键技术模块的选择、代码实现及测试结果。

未来发展方向

随着技术的不断进步，未来药房机器人将更加智能化与自动化，能够承担更多的任务，如药品的自动分配与配送。