《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于體感交互的智能家居控制與監護系統
基于體感交互的智能家居控制與監護系統
2019年電子技術應用第6期
趙 琳1,方艷紅1,2,張紅英1,2,王學淵1
1.西南科技大學 信息工程學院,四川 綿陽621010;2.特殊環境機器人技術四川省重點實驗室,四川 綿陽621010
摘要: 為實現通過手勢對家居電器設備的控制,并對室內危險情況進行實時監測和報警,設計了基于體感交互的智能家居系統。該系統利用Kinect設備捕獲RGBD圖像信息,將識別出的手勢信息作為控制信號,通過ZigBee局域網對家居設備進行控制;同時對場景中可能出現的老人或小孩摔倒情況進行實時檢測判定,對危險情況報警。實驗結果表明,該系統能滿足通過手勢對家居設備進行控制的需求,并且對摔倒情況能進行檢測和報警。
中圖分類號: TN919.5;TP399
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.190091
中文引用格式: 趙琳,方艷紅,張紅英,等. 基于體感交互的智能家居控制與監護系統[J].電子技術應用,2019,45(6):101-103.
英文引用格式: Zhao Lin,Fang Yanhong,Zhang Hongying,et al. Smart home control and monitoring system based on somatosensory interaction[J]. Application of Electronic Technique,2019,45(6):101-103.
Smart home control and monitoring system based on somatosensory interaction
Zhao Lin1,Fang Yanhong1,2,Zhang Hongying1,2,Wang Xueyuan1
1.Faculty of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,China; 2.Key Laboratory of Sichuan Province for Robot Technology Used for Special Environment,Mianyang 621010,China
Abstract: In order to realize the control of home appliances by gesture and real-time monitoring including alarming of indoor hazards,a smart home system based on somatosensory interaction is designed. The system captures RGBD image information by Kinect device, takes the recognized gesture information as control signal, and controls the household equipment through ZigBee LAN. At the same time, it detects the falls of the elderly or children in the scene in real time, and alarms the dangerous situation. The experimental results show that the system can meet the need of controlling the household equipment by gesture, and can detect and alarm the falling situation.
Key words : somatosensory interaction;gesture recognition;home control;fall detection

0 引言

    隨著科學技術的日益發展和社會的進步,人們對美好生活的需求日益增長,對生活質量也有越來越高的要求。人們的家電控制方式從最初的按下按鈕使開關閉合發展為紅外遙控,甚至到手機小程序應用。現今甚至可以進一步脫離手機應用程序,利用體感技術來實現對家居設備的控制[1]

    本文在現有的智能家居技術的理論基礎上[2-3],設計了一種基于體感交互的智能家居控制與監護系統,用戶可以通過簡單的手勢實現對家居設備的控制。對于有老人或小孩的家庭,當出現有人突然摔倒等危險情況時,系統會自動報警并且將現場實際情況發送給監護人。

1 系統整體結構設計

    系統主要由感知終端模塊、核心處理模塊和信號處理模塊組成,系統整體結構框圖如圖1所示。

jsj2-t1.gif

    由圖1可知,系統在感知終端獲取視頻圖像信息后,傳遞給核心處理模塊,在核心處理模塊中完成手勢判定和摔倒檢測,之后,一方面將檢測到的摔倒信息利用網絡發送到用戶預留的地址;另一方面將手勢識別信號通過串口發送給上位機微控單元(MCU),在ZigBee局域網中的下位機MCU接收上位機發出的控制信息,實現對電器設備的控制。

2 系統設計及實現

    系統的設計流程圖如圖2所示。

jsj2-t2.gif

    在圖2的系統設計流程中,感知終端采用Kinect傳感器實現信息采集;核心處理端依據骨骼關節點空間信息進行動作判定,并對動作做出響應;當用戶需要完成家居控制服務時,將信息傳輸給MCU,實現家居設備的控制,當發現危險情況時,通過網絡將信息發送給監護人。

2.1 信息采集

    系統的信息采集使用Kinect傳感器獲取人體20個骨骼節點信息,依據骨骼節點的三維位置信息創建對應人體骨架,對相應的人體骨架進行坐標定位。

2.2 信息處理

    信息處理包括實時對接收的數據進行手勢判定[4-6]和摔倒檢測[7-8]

2.2.1 手勢判定

    Kinect傳感器的信息采集頻率是30幀/s,當連續30幀的右手骨骼點坐標變化超出閾值時,認為手勢發生并提取數據流,與模型對比完成分類。

    以右手骨骼點到脊柱骨骼點以及左右肩骨骼點的歐式距離作為手勢判別的特征數據,歐式距離計算公式為:

    jsj2-gs1.gif

式中,d為歐式距離數值大小,(x1,y1,z1)、(x2,y2,z2)分別為空間中任意兩點的三維坐標。

    對獲取的數據進行擬合得到待匹配序列。將待匹配序列與模板序列比對,當差值在閾值范圍內則匹配到當前模板,完成手勢分類。

    系統中預先定義了兩個模板,每個模板保存有右手骨骼點到左右肩以及脊柱關節點的距離,定義了e1、e2、e3、e4、e5、e6用于保存待匹配序列與模板序列骨骼點相對距離的誤差,計算公式為:

    jsj2-gs2.gif

其中,E為右手骨骼點到左右肩節點或脊柱節點的誤差,ai為模板中存放的某一骨骼點相對距離大小,bi為實時獲取的對應骨骼點相對距離大小。

    e1、e2、e3分別表示右手到模板一脊柱、左肩、右肩的距離誤差,e4、e5、e6分別表示右手到模板二脊柱、左肩、右肩的距離誤差,系統設定的誤差閾值(單位:m)分別為4、3、3、3、3、5。當有待匹配序列滿足某一模板設定的閾值條件時,認定該模板所代表的手勢發生。

2.2.2 摔倒檢測

    受文獻[7]和文獻[8]中利用加速度傳感器檢測摔倒的啟發,本文利用采集的骨骼點空間位置信息,在被監護者不佩戴任何儀器設備的情況下獲得其活動加速度數據。

    以脊柱中心骨骼點為例,根據基本物理運動學知識,加速度計算公式為:

    jsj2-gs3.gif

其中,at表示第t幀中骨骼點的加速度大小,xt+1、xt-1分別表示與前后幀骨骼點的變化量,Δt是采樣時間間隔,本文的采樣間隔時間是1/30 s。

    由于一些比較劇烈的運動可能會產生較大的加速度而導致誤判,因此本文進一步檢測關節的距離變化來提高檢測的準確性。整體的摔倒檢測實現流程如圖3所示。

jsj2-t3.gif

    由圖3可知,摔倒判定需同時滿足加速度超出閾值和骨骼距離小于閾值兩個判定條件。其中,骨骼距離是指髖骨和膝蓋在豎直方向上的相對位置。經過多次摔倒測試,本文設置的加速度閾值設定為0.05 m/s2,骨骼點距離閾值設定為0.5 m。

2.3 信息傳輸

    信息傳輸包括與移動端的遠程通信和與MCU的串口通信。

2.3.1 遠程通信

    當檢測到有摔倒情況發生后,通過網絡將報警信息和當前圖片信息發送到第三方云端服務器,服務器將信息發送到用戶手機端,使在外的家人能夠及時獲知危險情況,如圖4所示。

jsj2-t4.gif

2.3.2 串口通信

    當需要完成家居控制服務時,核心處理單元通過USB串口向MCU發送信息,MCU根據接收到的信息對家居電器進行判斷操作。

    系統使用CC2530作為微控單元MCU。CC2530是TI公司推出的一款芯片,里面包含了51單片機的內核與ZigBee技術。其中的ZigBee是一種短距離局域網無線通信技術,工作在2.4 GHz頻段,傳輸速率10 kb/s~250 kb/s,傳輸距離10~100 m[9],具有低功耗、低成本的特點[10]

    CC2530需要完成的信息處理分為上位機與下位機兩部分。上位機主要接收核心處理單元的數據信息,處理分析,通過局域網方式將信息傳送到下位機。下位機控制電器設備。圖5所示是用CC2530實現家居智能開關的設計流程。

jsj2-t5.gif

    在圖5所示的CC2530設計流程中,上位機協調器實時接收從串口發送來的字符,并通過ZigBee無線協議把字符發送到下位機終端,終端根據收到字符控制家電開關。

3 實驗及結果分析

    將系統硬件設備連接,其中Kinect設備通電并連接到PC,ZigBee協調器通過USB數據線連接到PC串口,對受控終端供電。在室內自然光條件下進行測試,依次打開上位機控制程序、手勢識別程序。工作區顯示ZigBee成功組網,Kinect攝像頭正常工作。進行兩組手勢控制測試,每組30次,結果記錄見表1。

jsj2-b1.gif

    如表1數據所示,兩組測試實驗的控制成功率分別為86.7%和80%,能夠滿足日常家居控制的設計需求。

    摔倒檢測實驗中,當出現有人異常摔倒情況時,系統提示“fall detection”,并將報警信息和當前圖像(如圖6所示)發送到監護人手機端。

jsj2-t6.gif

4 結束語

    本文介紹了基于體感交互的智能家居系統,該系統集智能家居控制、實時檢測危險狀況于一體,使用戶脫離了遙控器、手機APP等終端,只需通過手勢就可以控制家居設備;當家中有老人或小孩意外摔倒時,系統會自動檢測危險狀況并及時向監護人報警。系統采用Kinect作為信息采集設備,檢測范圍較大且不易受室內光線強度影響,即使在夜間光量不足的情況下也能使用。

參考文獻

[1] 傅大梅,倪瑛.基于Kinect的智能家居體感控制系統的研究與設計[J].價值工程,2016,35(32):166-168.

[2] 張嘉慶.淺析中國智能建筑中智能家居的現狀及未來[J].中國戰略新興產業,2018(4):47.

[3] 吳杰文,左宸羽,倪銀堂,等.智能家居的研究現狀綜述與展望[J].中國戰略新興產業,2017(16):6.

[4] 管珊珊.基于Kinect的手勢識別研究進展[C].中國計算機用戶協會網絡應用分會2018年第二十二屆網絡新技術與應用年會論文集,2018.

[5] 陳紅梅,賴重遠,張洋,等.基于深度數據的手勢識別研究進展[J].江漢大學學報(自然科學版),2018,46(2):101-108.

[6] 徐軍,劉春花,孟月霞,等.可穿戴手勢識別控制器[J].電子技術應用,2016,42(7):68-71,75.

[7] 彭亞平,賀乾格,柯希垚,等.一種基于加速度傳感器的摔倒檢測腰帶[J].電子測量技術,2018,41(11):117-120.

[8] 徐慧慧,楊淼,錢超瑜.基于三軸加速度傳感器的摔倒檢測系統[J].黑龍江科技信息,2017(6):76.

[9] 廖慧,陽序仁.基于CC2530的LED智能照明系統的設計與實現[J].電力電子技術,2018,52(11):33-35.

[10] 李建勇,李洋,劉雪梅.基于ZigBee的糧庫環境監控系統設計[J].電子技術應用,2016,42(1):65-67,71.



作者信息:

趙  琳1,方艷紅1,2,張紅英1,2,王學淵1

(1.西南科技大學 信息工程學院,四川 綿陽621010;2.特殊環境機器人技術四川省重點實驗室,四川 綿陽621010)

精准三半单双中特