基于機(jī)器視覺的細(xì)紗接頭機(jī)器人紗線斷頭定位方法

周其洪, 彭軼, 岑均豪, 周申華, 李姝佳

作者單位：東華大學(xué)機(jī)械工程學(xué)院、東華大學(xué)數(shù)字化紡織服裝技術(shù)教育部工程研究中心、廣州盛原成自動化科技有限公司

引文格式：周其洪, 彭軼, 岑均豪, 等. 基于機(jī)器視覺的細(xì)紗接頭機(jī)器人紗線斷頭定位方法[J]. 紡織學(xué)報(bào), 2022, 43(5): 163-169.

ZHOU Qihong, PENG Yi, CEN Junhao, et al. Yarn breakage location for yarn joining robot based?on machine vision[J]. Journal of Textile Research, 2022, 43(5): 163-169.

研究背景

紡紗是紡織產(chǎn)業(yè)鏈的重要工序之一,環(huán)錠紡紗以其生產(chǎn)品種范圍廣、紡紗質(zhì)量優(yōu)良等特點(diǎn)得到了廣泛應(yīng)用。據(jù)統(tǒng)計(jì),我國紡紗總產(chǎn)量中,環(huán)錠紡紗產(chǎn)量占到了85%。近年來,環(huán)錠細(xì)紗機(jī)技術(shù)正變得更加高速化、品種寬廣化、自動化和智能化,但細(xì)紗斷頭問題仍然是目前制約細(xì)紗機(jī)生產(chǎn)效率的主要問題之一,在環(huán)錠紡紗行業(yè),接頭工作大都由人工完成,存在效率低,勞動強(qiáng)度大等問題。

近年來,圖像處理與機(jī)器人技術(shù)得到了極大的發(fā)展,相關(guān)的硬件性能也不斷提升,在各領(lǐng)域都得到了廣泛的應(yīng)用。這些成功案例也為機(jī)器視覺技術(shù)應(yīng)用于細(xì)紗接頭機(jī)器人創(chuàng)造了技術(shù)和硬件條件。結(jié)合環(huán)錠紡紗機(jī)工作空間緊湊的特點(diǎn)及接線動作靈活性的需求,利用視覺技術(shù)配合工業(yè)機(jī)器人實(shí)現(xiàn)接線動作。首先利用機(jī)器視覺技術(shù)實(shí)現(xiàn)紗線斷頭的定位,定位完成后,再引導(dǎo)機(jī)械手進(jìn)行抓取,該方法不僅能夠減少紗線與設(shè)備產(chǎn)生的接觸摩擦,減少紗線被污染,同時(shí)也可以簡化裝置的機(jī)械結(jié)構(gòu),提高系統(tǒng)的自動化、智能化水平,對接頭機(jī)器人的整機(jī)設(shè)計(jì)具有重要意義。本文在前期研究的基礎(chǔ)上,提出了利用機(jī)器視覺技術(shù)進(jìn)行紗線斷頭的識別與夾取的方案。通過工業(yè)相機(jī)采集紗線圖像,開發(fā)了基于圖像處理的紗線識別及定位專用算法,可以準(zhǔn)確提取紗線的位置和角度信息,為機(jī)械手的夾取奠定基礎(chǔ)。

研究內(nèi)容

接線過程中,接頭機(jī)將出現(xiàn)斷頭的紗筒從細(xì)紗機(jī)的錠子上取出之后,控制紗筒自轉(zhuǎn),負(fù)載裝置工作產(chǎn)生負(fù)壓,通過吸嘴將紗線斷頭吸入,并控制紗筒移動至離吸嘴10 cm處,同時(shí)使紗線緊靠定位柱。實(shí)驗(yàn)裝置示意圖如圖1所示。相機(jī)位于紗線一側(cè)并正對紗線,機(jī)械手處于另一側(cè)。由于紗線斷頭在紗筒上的位置未知,紗線被吸入吸嘴后位置也并不固定,通過機(jī)器視覺技術(shù)實(shí)現(xiàn)對紗線的定位,機(jī)械手根據(jù)定位信息夾取紗線,之后進(jìn)行后續(xù)接線動作。

圖1??裝置示意圖

注:1—機(jī)械手; 2—黑色擋板; 3—紗筒; 4—相機(jī);5—光源; 6—紗線; 7—定位柱;?8—吸嘴。

圖2為機(jī)器人基坐標(biāo)系Y方向上的正視圖。令機(jī)械手末端執(zhí)行器的夾取點(diǎn)為ui與紗線的交點(diǎn),利用圖像處理算法求出夾取點(diǎn)q(ui,vi)以及紗線與像素坐標(biāo)系U軸正方向的夾角α,通過公式可求得機(jī)械手的目標(biāo)位姿信息,傳入機(jī)械手的位置寄存器引導(dǎo)機(jī)械手進(jìn)行夾取。

?

圖2? 定位原理圖

被吸入吸嘴的紗線穩(wěn)定之后,通常情況下會趨于一條直線,但由于裝置工作過程中引起的紗筒以及吸嘴抖動、吸嘴與紗筒之間的風(fēng)場不穩(wěn)定等原因,紗線會出現(xiàn)抖動的現(xiàn)象,結(jié)果如圖3所示。可知,紗線在無抖動的情況下,特征較為明顯,易于識別,在圖3(b)所示紗線存在抖動的情況下,紗線特征不明顯,會出現(xiàn)弱邊緣特征。紗線的識別與定位精度對后續(xù)機(jī)械手的夾取至關(guān)重要。為保證算法的可靠性,本文以紗線抖動時(shí)的狀態(tài)來進(jìn)行紗線的識別與定位算法研究,該算法同樣適用于對無抖動的紗線的定位。

圖3? 紗線狀態(tài)圖

在對圖像進(jìn)行處理前,提取感興趣區(qū)域(ROI)可有效減少圖像處理的復(fù)雜度。理論上,ROI的區(qū)域越小,圖像處理的速度越快,但也會導(dǎo)致關(guān)鍵特征信息的丟失。相機(jī)的拍攝視野固定,同時(shí)考慮最大程度保留紗線有效信息,ROI的左右兩側(cè)分別選取左右定位柱的邊緣向中間偏移5像素,上下兩側(cè)分別選取紗筒的上下邊界,由此確定出ROI區(qū)域。

相機(jī)采集到的圖像為包含了R、G、B三通道的彩色圖像,處理時(shí),需要對3個(gè)通道進(jìn)行運(yùn)算,時(shí)間消耗大。由于本文中紗線檢測只需要形態(tài)學(xué)信息,為提高圖像處理的效率,先將彩色圖像轉(zhuǎn)換為灰度圖,再進(jìn)行后續(xù)處理。由于紗線較細(xì)以及光照不勻等因素,背景為黑色時(shí),部分紗線特征尤其是波動狀態(tài)下的紗線在圖像中會呈現(xiàn)出灰白色,不利于后續(xù)的邊緣檢測,因此需要對圖像進(jìn)行灰度增強(qiáng),增大紗線與背景的對比度。系統(tǒng)在不同位置工作時(shí),圖像的背景環(huán)境是存在變化的,本文采用可適用于不同背景環(huán)境的改進(jìn)灰度增強(qiáng)算法,以獲得更好的圖像增強(qiáng)效果。

圖4示出改進(jìn)灰度增強(qiáng)過程圖?？煽闯?經(jīng)過改進(jìn)灰度增強(qiáng)算法處理后,紗線特征與背景的對比度明顯提高,紗線特征更加明顯,同時(shí)抑制了噪聲。

圖4??改進(jìn)灰度增強(qiáng)過程圖

圖5示出閾值分割和Canny檢測對比圖。閾值分割是常用的圖像分割方法,可有效去除圖像中的無效信息,但在處理圖5(a)紗線抖動圖像時(shí),由于紗線抖動部分顏色較淺,屬于弱邊緣,難以與背景實(shí)現(xiàn)有效分離。經(jīng)過二值化分割之后,損失了大量紗線特征信息,因此采用Canny邊緣檢測來最大限度保留紗線信息,見圖5(c)。

圖5??閾值分割和Canny檢測對比圖

經(jīng)過邊緣檢測后的紗線具有明顯的直線特征,霍夫變換是常用的直線檢測算法,具有很好的魯棒性,本文選擇霍夫直線檢測算法進(jìn)行紗線特征的提取,霍夫變換的原理如下。

在直角坐標(biāo)系下,直線的斜截式方程為y=kx+b,得到霍夫變換示意圖如圖6所示。圖中r為原點(diǎn)到該直線距離,θ為原點(diǎn)到直線的垂線與X軸正方向的夾角,0<θ<π。將參數(shù)k、b用r、θ來表示,有k=-cosθ/sinθ,b=r/sinθ，經(jīng)過變換,斜截式可轉(zhuǎn)化為霍夫空間下的參數(shù)方程:r=xcosθ+ysinθ。因此對于圖像上的任一像素點(diǎn)(x0,y0),代入上述參數(shù)方程,可得到1個(gè)正弦曲線,曲線上的每個(gè)點(diǎn)都代表1條經(jīng)過(x0,y0)的直線。當(dāng)霍夫空間下多條曲線相交于一點(diǎn)時(shí),表明這些點(diǎn)可能為1條直線。

?

圖6??霍夫變換示意圖

通過上述原理可知,霍夫直線檢測的缺點(diǎn)在于角度檢測范圍廣,并且需要將參數(shù)坐標(biāo)轉(zhuǎn)換到直角坐標(biāo)系下,計(jì)算量大。理論上進(jìn)行檢測的角度步長越小,檢測直線的精度越高,但會導(dǎo)致占用較多的資源,耗時(shí)長。

如霍夫變換原理所述,本文結(jié)合實(shí)際圖像的特點(diǎn),對霍夫變換直線提取進(jìn)行優(yōu)化。紗線被吸入吸嘴中,以吸嘴中心軸線為界,上側(cè)和下側(cè)的θ角是在有限范圍內(nèi)進(jìn)行變化的,如圖7所示。將圖像分為上下2個(gè)ROI區(qū)域,上側(cè)區(qū)域在θUmax和θUmin之間變化,下側(cè)區(qū)域在θDmax和θDmin之間變化,進(jìn)行霍夫變換直線檢測時(shí),可通過不檢測這2個(gè)區(qū)間之外的角度來提高程序運(yùn)行效率,減少運(yùn)算時(shí)間。

圖7??上下ROI區(qū)域θ角極限位置示意圖

本文實(shí)驗(yàn)根據(jù)圖7所示原理進(jìn)行擺放紗線斷頭的位置,收集紗線在極限位置和非極限位置下的圖像,通過處理圖像收集紗線特征在上下ROI區(qū)域內(nèi)的r和θ參數(shù)。上下ROI區(qū)域內(nèi)隨機(jī)選取7個(gè)圖像的r和θ參數(shù),結(jié)果如表1所示。通過對所得數(shù)據(jù)進(jìn)行分析以及考慮容錯性,確定上ROI區(qū)域的θUmax和θUmin范圍為(35°,95°),下ROI區(qū)域的θUmax和θUmin范圍為(85°,145°)。

表1?ROI區(qū)域r和θ參數(shù)表

本文以感興趣區(qū)域圖像原點(diǎn)沿U軸偏移140像素作為ui求取坐標(biāo)點(diǎn)進(jìn)行實(shí)驗(yàn),部分處理結(jié)果圖像如圖8所示,圖中白點(diǎn)表示坐標(biāo)點(diǎn)。

?

圖8??部分紗線圖像坐標(biāo)提取圖
系統(tǒng)的實(shí)時(shí)性非常重要,由霍夫直線檢測角度范圍確定可知,與傳統(tǒng)算法每個(gè)邊緣點(diǎn)的檢測角度為0°~180°相比,基于本文的優(yōu)化紗線邊緣直線檢測算法(OHT)通過劃分上下2個(gè)ROI區(qū)域使得2個(gè)區(qū)域的檢測角度均減小到大小為60°的區(qū)間內(nèi),降低了霍夫運(yùn)算的復(fù)雜度,程序運(yùn)行時(shí)間得到了縮短。OHT與傳統(tǒng)的直線擬合在完成預(yù)處理之后,進(jìn)行紗線定位步驟的耗時(shí)對比以及算法總耗時(shí)如表2所示?？芍?OHT在進(jìn)行紗線定位時(shí)平均耗時(shí)為23 ms,直線擬合平均耗時(shí)高達(dá)478.6 ms,本文提出的經(jīng)過優(yōu)化的直線提取算法平均耗時(shí)為63.1 ms,總耗時(shí)在10-1s數(shù)量級上,具有較高的響應(yīng)速度,算法計(jì)算效率高。

表2 算法總耗時(shí)

研究結(jié)論

本文提出利用機(jī)器視覺技術(shù)對細(xì)紗接頭機(jī)器人的紗線斷頭進(jìn)行定位的方法,并給出了圖像識別與定位算法。首先基于改進(jìn)的灰度增強(qiáng)方法增強(qiáng)紗線與背景的對比度,然后利用Canny邊緣檢測算法提取紗線信息,最后利用優(yōu)化的霍夫直線檢測配合定位算法實(shí)現(xiàn)對目標(biāo)紗線的位置信息提取。實(shí)驗(yàn)證明,該算法能準(zhǔn)確提取所需紗線位置信息,與手動標(biāo)注的結(jié)果相比,坐標(biāo)點(diǎn)誤差為1.42像素,紗線與圖像U軸正方向夾角α的誤差為0.60°,程序整體平均運(yùn)行時(shí)間在10-1s數(shù)量級上,實(shí)時(shí)性好,利用機(jī)器視覺技術(shù)實(shí)現(xiàn)紗線定位應(yīng)用于細(xì)紗接頭機(jī)器人以及為細(xì)紗接頭機(jī)器人的進(jìn)一步完善開發(fā)提供參考。