如何使用 AWS IoT Greengrass 在边缘安装面部识别模型 | AWS 上的物联网

编者按：本文由全球客户解决方案架构师之一的 Gong Xinyue 共同撰写。

您可能已经了解如何使用 AWS IoT Core 和 AWS IoT Greengrass 进行远程设备通信和控制。通过 AWS IoT Greengrass 机器学习 (ML) 推理，您可以在本地设备上运行机器学习模型，而且不会出现任何传输延迟。在这篇博文中，我将向您展示如何在 Raspberry Pi 上使用 AWS IoT Greengrass ML 推理来执行本地面部识别，以满足家庭监控需求。

通过使用 Amazon Echo Dot（连接到 Alexa Voice Service）作为 Raspberry Pi 摄像头的控制设备，您将能够对门外的人进行拍照，然后根据照片，使用部署到 Raspberry Pi 的预先训练好的 ML 模型执行面部检测并与本地数据集进行对比。虽然对比结果也可以用于门锁或其他智能设备，但这些使用案例不在本文讨论范围之内。

先决条件

在 Raspberry Pi 设备上安装 AWS IoT Greengrass Core 软件。创建 IoT Greengrass 组和核心。有关说明，请参阅《AWS IoT Greengrass 开发人员指南》中的 AWS IoT Greengrass 入门。在部署中会用到在此创建的组和核心。

在本文中，我将使用一个预先训练好的面部检测模型，使用 TensorFlow 对其进行训练，然后将其部署到装有 AWS IoT Greengrass 的 Raspberry Pi 中。您可以使用与此相同的模型，也可以使用 Amazon SageMaker 训练自己的模型。有关如何使用 Amazon SageMaker 准备模型的信息，请参阅《Amazon SageMaker 开发人员指南》中的“入门”部分。

安装以下依赖项。

• OpenCV 3.3
• TensorFlow
• Numpy
• Scipy
• Scikit-learn
• Dlib
• 所有图像处理库

使用以下命令安装图像处理依赖项。

sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev pkg-config graphicsmagick

使用以下命令安装 OpenCV 3.3。

git clone https://github.com/Itseez/opencv.git
git clone https://github.com/Itseez/opencv_contrib.git
cd opencv
git checkout 3.1.0
cd ../opencv_contrib/
git checkout 3.1.0
cd ..
cd opencv
mkdir release
cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr/local \
-D INSTALL_PYTHON_EXAMPLES=ON \
-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \
-D BUILD_EXAMPLES=ON ..
make -j4
sudo make install
sudo ldconfig

本文使用的 ML 模型是 TensorFlow。使用以下命令将 TensorFlow 安装在您的 Raspberry Pi 上。

# Install Wheel
wget https://github.com/samjabrahams/tensorflow-on-raspberry-pi/releases/download/v1.0.1/tensorflow-1.0.1-cp34-cp34m-linux_armv7l.whl
sudo pip install tensorflow-1.0.1-cp34-cp34m-linux_armv7l.whl
sudo pip install mock
#Install Pip3
sudo apt install libatlas-base-dev
pip install tensorflow

使用以下命令安装 Numpy、Scipy 和 Scikit-learn。

pip install numpy scipy scikit-learn

使用以下命令安装 Dlib。

#Modify your swapfile
sudo nano /etc/dphys-swapfile

change CONF_SWAPSIZE = 100 to CONF_SWAPSIZE=1024
change virtual memory from 100M to 1G

sudo /etc/init.d/dphys-swapfile restart

sudo raspi-config
#Change you boot Options
1)Boot Options => Desktop / CLI => Console Autologin
2)Advanced Options => Memory Split => change GPU to 16

#Doanload your Dlib
download Dlib to your device : http://dlib.net/
sudo python setup.py install

ML 模型和 AWS Lambda 函数

您将在 GitHub 上找到两个 ML 模型。

• 面部检测模型
  |—-haarcascade_frontalface_default.xml
• 面部识别模型
  |—–train_faces.model-500.data-00000-of-00001
  |—–train_faces.model-500.index
  |—–train_faces.model-500.meta
  |—–checkpoint

您还将找到描述本文所用的 Lambda 函数的注释。

AWS IoT Greengrass 上的 FaceDetection Lambda 函数

#open camera
cam = cv2.VideoCapture(0)
while True:
# capture an image from video stream
_, img = cam.read()
# convert RBG image to grayscale image
gray_image = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# detect face
dets = detector(gray_image, 1)
if not len(dets):
# detect face failed
key = cv2.waitKey(30) & 0xff
if key == 27:
sys.exit(0)
# start recognition
for i, d in enumerate(dets):
x1 = d.top() if d.top() > 0 else 0
y1 = d.bottom() if d.bottom() > 0 else 0
x2 = d.left() if d.left() > 0 else 0
y2 = d.right() if d.right() > 0 else 0
face = img[x1:y1, x2:y2]

face = cv2.resize(face, (size, size))
# compare image with dataset and compose JSON format message
record_data = {}
record_data['result'] = is_my_face(face)
prepared_record_data = json.dumps(record_data)
# send MQTT message to “record/webcam” topic
client.publish(topic = 'record/webcam', payload = prepared_record_data)
break;

Alexa 触发器 Lambda 函数

def get_welcome_response():
# public a message to IoT core
client.publish(
topic='listening/record',
payload="Hi",
qos=1
)
# return message of this Alexa Skill
session_attributes = {}
card_title = "Welcome"
speech_output = "Sure.I will check the camera now."
# If the user either does not reply to the welcome message or says something
# that is not understood, they will be prompted again with this text.
reprompt_text = "Sure.I will check the camera now."
should_end_session = True
return build_response(session_attributes, build_speechlet_response(
card_title, speech_output, reprompt_text, should_end_session))

开始使用

本文描述的示例架构如下所示。用于创建 AWS Lambda 函数以进行识别的面部识别模型和数据集已上传到 Amazon S3 存储桶中。AWS IoT Greengrass 会将所需文件同步到 Raspberry Pi。Echo Dot 作为触发器运行。在听到“Alexa, open Monitor”等命令时，Echo Dot 将调用 Alexa Skil 以向 AWS IoT Core 发送一条消息。AWS IoT Core 会调用识别 Lambda 函数，该函数部署在 Raspberry Pi 本地存储上，如果 Lambda 函数识别出客人的身份，门就会打开。

下面我们来准备将在 Raspberry Pi 上部署的资源。

首先，创建一个 AWS Lambda 函数，该函数将捕获 Raspberry Pi 摄像头的帧，将这些帧转换为 JPG 文件，然后调用本地 ML 模型进行分析。AWS Lambda 函数会将 JSON 格式的分析结果发送到 AWS IoT Core。

在 AWS Lambda 控制台中，选择创建函数，然后选择从头开始创建。为您的 AWS Lambda 函数指定一个类似于 greengrassFaceRecognization 的名称。对于运行时，选择 Python 2.7。由于此 Lambda 函数将部署在边缘设备上，因此您可以选择任何角色，而不会影响其在 Raspberry Pi 上的功能。

在函数代码区域中，选择上传 ZIP 文件的选项，然后从 GitHub 上传为此 Lambda 函数提供的 ZIP 包。从操作中，发布新版本。AWS IoT Greengrass 不支持 $LATEST 作为 Lambda 别名的版本，因此请确保为 Lambda 函数分配一个版本号（例如，版本 1）。

在 Lambda 函数运行时，它会调用用于面部识别的本地 ML 模型。使用以下值配置 Lambda 函数：

Lambda 函数需要在 Raspberry Pi 上调用一些本地设备。将这些设备添加到您的 AWS IoT Greengrass 资源。

在 AWS IoT Core 控制台中，选择 AWS IoT Greengrass。选择组，然后选择您的 Greengrass 组（例如，greengrassFaceReco）。在左侧的导航窗格中，选择资源。在本地选项卡上，选择添加本地资源。

由于本文中的示例使用 Raspberry Pi 摄像头，因此要在 Greengrass 组中添加两台设备：

• videoCoreSharedMemory
• videoCoreInterface

按如下方式填写字段：

完成后，您的设备配置应如下所示：

将 ML 模型添加到此 Greengrass 组。在左侧导航窗格中，依次选择资源、机器学习和添加机器学习资源。

在本例中，模型存储在 S3 存储桶中。如果您使用 Amazon SageMaker 训练模型，请选择 Amazon SageMaker 作为您的模型源。本地路径是边缘设备上用来存储模型的目录。请谨慎配置此路径。否则，您的模型将无法在边缘设备上使用。您会看到您的模型已添加到 Greengrass 组中：

现在创建一个订阅，以便可将本地分析结果发送到 AWS IoT 云进行处理。例如，将结果存储在 Amazon DynamoDB 中以及在 Amazon EMR 中执行结果分析。如果您有另一台本地设备连接到 Raspberry Pi，则可以使用 AWS IoT Greengrass Core 根据分析结果通过 AWS Lambda 对其进行控制。在本例中，通过 MQTT 消息将结果发送到 AWS IoT 云。

现在，您可以部署 Greengrass 组。从操作中选择部署。部署时间因模型大小而异。部署完成后，结果将显示在控制台中，如下所示。

您的 Raspberry Pi 现在应该能够识别 Pi 摄像头捕捉到的面部照片。使用 Echo Dot 对 Pi 摄像头进行语音控制以获取图像。

创建另一个 Lambda 函数，以通过 MQTT 消息触发 AWS IoT Greengrass 本地面部检测 Lambda 函数。触发器 Lambda 函数将通过 AWS IoT Core 向 Greengrass Core 发送一条 MQTT 消息。AWS IoT Greengrass 将通过本地面部检测 Lambda 函数处理此消息，然后触发照片分析。您可以在 GitHub 上找到这一基于 Python 2.7 的 Lambda 代码。记下此 Lambda 函数的 ARN。配置 Alexa 技能时会用到。

打开 Amazon 开发人员门户。依次选择 Alexa、Your Alexa Consoles、Skills 和 Create Skill。有关创建自己的 Alexa 技能的信息，请参阅使用 Alexa Skills Kit 构建技能。

最后，通过使用 Echo Dot 向 Raspberry Pi 发送语音控制消息，启动本地面部识别过程，构建智能家庭监控系统。结果将通过 MQTT 消息发送回 AWS IoT 云。

小结

通过使用本文中的示例，您可以在装有 AWS IoT Greengrass 的 Raspberry Pi 设备上构建小型家庭监控系统。然后，您可以通过训练其他 ML 模型并将其部署到您的 AWS IoT Greengrass 设备来进一步探索。