技術(shù)支持
光度立體技術(shù)及其應(yīng)用隨著計(jì)算機(jī)視覺理論的逐漸成熟,從圖像中獲取物體表面的三維信息的算法己經(jīng)達(dá)到了實(shí)際應(yīng)用的階段。立體視覺技術(shù)、Shape From X技術(shù)、光度立體技術(shù)(Photometric Stereo)等一系列圖形算法可以自動(dòng)從單幅或多幅真實(shí)物體照片中提取出其三維結(jié)構(gòu)的信息,而這些技術(shù)實(shí)施簡(jiǎn)便,設(shè)備易于獲取,核心部件僅需一臺(tái)數(shù)碼相機(jī)即可。所以,通過應(yīng)用計(jì)算機(jī)視覺理論,從真實(shí)物體的照片中重建物體的三維結(jié)構(gòu)的技術(shù)是目前得到真實(shí)物體3D模型的比較廉價(jià)的手段。光度立體法光度立體法是SFS(Shape From Shading)陰影恢復(fù)形狀方法的一個(gè)分支,與SFS不同的是,光度立體法使用多幅圖像來還原物體表面的三維結(jié)構(gòu),它要求物體和攝像機(jī)的相對(duì)位置不變,然后使用不同方向的光源照射物體,從而產(chǎn)生不同的明暗效果。由于有多幅不同的光源下的圖像,計(jì)算物體表面的向量場(chǎng)就相對(duì)容易了許多,而且不受物體表面反射系數(shù)的影響。光度立體技術(shù)的優(yōu)點(diǎn)測(cè)量任何給定像素的高度不是光度立體技術(shù)的主要考慮因素。相反,該技術(shù)通過使用3D表面取向及其對(duì)反射光的影響產(chǎn)生對(duì)比度圖像,突出局部3D表面變化。使用傳統(tǒng)的2D成像時(shí),顯示的變化可能是不可見的。當(dāng)使用光度立體技術(shù)時(shí),不需要知道測(cè)試對(duì)象和相機(jī)之間的精確3D關(guān)系,也不必使用兩個(gè)相機(jī)來捕獲3D數(shù)據(jù)。而是使用具有多個(gè)照明源的單個(gè)相機(jī)系統(tǒng)。通過在不同光照條件下觀察物體,計(jì)算其表面。該方法是利用表面相對(duì)于光源,從傳感器觀察到的表面反射的光量來進(jìn)行計(jì)算的。由于光度立體算法的出現(xiàn),人們?cè)絹碓揭庾R(shí)到良好的照明以及低成本的多光解決方案是機(jī)器視覺成功的關(guān)鍵,例如Smart Vision Lights的LED燈管理器(LLM)(允許通過以下方式控制四個(gè)燈)基于瀏覽器的簡(jiǎn)單界面,成本低于幀抓取器或智能相機(jī)分線盒,光度立體學(xué)在工業(yè)中的應(yīng)用越來越受到關(guān)注,其獨(dú)特優(yōu)點(diǎn)使得許多以前難以或不可能解決的常見工業(yè)檢測(cè)應(yīng)用成為可能。 光度立體技術(shù)的應(yīng)用輪胎和夾子例如,無論零件是卡車輪胎還是汽車夾,在零件上讀取凸起的字母對(duì)于機(jī)器視覺系統(tǒng)來說總是有問題的。在這個(gè)例子中,塑料連接器表面具有多種特征,以及數(shù)字"2"和方向符號(hào)。從組成圖像中可以看到,包含剪輯的材料和凸起的字母之間沒有區(qū)別,因此沒有對(duì)比度。在較大的物體(如輪胎)上,通常使用激光三角測(cè)量系統(tǒng)創(chuàng)建 3D 曲面圖。用于 3D 測(cè)量的激光掃描系統(tǒng)已變得更加集成和有效,但仍是成本高昂的解決方案,并且通常要求對(duì)象在檢查過程中移動(dòng),從而增加了自動(dòng)化解決方案的成本和復(fù)雜性。在這些照片中,黑色塑料夾由位于輪胎周邊 90 度、180 度、270 度和 360 度的線性微型 (LM) LED 燈照亮,并由 LED 燈管理器 (LLM) 控制。當(dāng)相機(jī)觸發(fā)每次曝光時(shí),LLM 會(huì)從不同的方向觸發(fā)光線。相機(jī)將每個(gè)圖像導(dǎo)入帶有光度立體算法的 PC 中,該算法從每個(gè)圖像中獲得最佳像素,并將它們組合成一個(gè)合成圖。(圖片由Matrox Imaging提供)合成皮革穿孔在這個(gè)例子中,顯示了四張合成皮革材料的圖片。人造革,與其模仿的有機(jī)材料類似,具有相當(dāng)大的表面紋理。人眼幾乎不可能在整個(gè)圖像上可視化100%的表面紋理。
液態(tài)鏡頭技術(shù)液態(tài)鏡頭是在工業(yè)領(lǐng)域迅速普及的一項(xiàng)新技術(shù),在多種應(yīng)用中它們比傳統(tǒng)鏡頭具有許多優(yōu)勢(shì)。實(shí)際上,正是它們的多功能性和靈活性成為成功采用它們的主要?jiǎng)恿Α5鞘裁词且簯B(tài)鏡頭技術(shù)?它是如何工作的?它的作用是什么?液態(tài)鏡頭用于卓越的自動(dòng)對(duì)焦對(duì)于數(shù)字圖片,精確控制焦點(diǎn)是獲得高質(zhì)量圖像的唯一方法。圖像的主體必須非常清晰,而背景的其余部分則更加模糊。自動(dòng)對(duì)焦功能是拍攝優(yōu)質(zhì)照片的核心,而液態(tài)鏡頭為自動(dòng)對(duì)焦帶來了全新的功能。液態(tài)鏡頭可用于多種應(yīng)用,例如:l 數(shù)碼攝影l(fā) 工業(yè)數(shù)據(jù)采集l 條形碼讀?。ㄒ痪S和二維)l 生物特征數(shù)據(jù)采集本質(zhì)上,液態(tài)鏡頭可用于物距變化很大,需要快速自動(dòng)對(duì)焦的任何應(yīng)用。液態(tài)鏡頭如何工作?液態(tài)鏡頭采用電潤(rùn)濕工藝來實(shí)現(xiàn)卓越的自動(dòng)聚焦功能。透鏡本身是一個(gè)內(nèi)部裝有水和油的密封電池。電潤(rùn)濕過程可將油滴快速準(zhǔn)確地塑造成有效的鏡片。該過程是連續(xù)的,可逆的,并且對(duì)于大小聚焦步驟都同樣快速。液態(tài)鏡頭改變其形狀的速度似乎很神奇,但實(shí)際上是非??茖W(xué)的。如果將一滴液體放置在疏水表面(排斥液體的表面)上,則液體中的分子將結(jié)合在一起并形成珠子,因?yàn)樗鼈儽槐砻娴氖杷运懦狻.?dāng)向該液體和疏水性阻擋層另一側(cè)的另一種導(dǎo)電材料(如鋁)施加電場(chǎng)時(shí),液體會(huì)靜電吸附到鋁上。組成液體的分子在試圖到達(dá)鋁時(shí)會(huì)散開,導(dǎo)致水滴急劇改變形狀。此過程稱為電潤(rùn)濕,它是液態(tài)鏡頭的重要基礎(chǔ)。施加的電場(chǎng)越強(qiáng),液體對(duì)導(dǎo)電材料的吸引力就越大。這意味著水將盡其所能地越過障礙物傳播到更遠(yuǎn)的范圍,從而進(jìn)一步擴(kuò)散。通過改變用電量,可以迫使液體采取多種形狀。如果將這種液體用作透鏡,則其變成不同形狀時(shí)將具有不同的焦距,從而可以大大改變傳感器拍攝的圖像。為什么要使用液態(tài)鏡頭技術(shù)?液態(tài)鏡頭的主要優(yōu)點(diǎn)是其靈活性,可以同時(shí)用于多種不同的應(yīng)用。這在不同尺寸物體的大批量生產(chǎn)環(huán)境中尤其有用。例如,一家制藥公司可能對(duì)不同類型的膠囊、藥丸、凝膠片等使用機(jī)器視覺檢查。對(duì)于傳統(tǒng)的鏡頭,將需要設(shè)置多個(gè)圖像系統(tǒng)來檢查每種產(chǎn)品,或者一個(gè)圖像系統(tǒng)必須焦點(diǎn)深度不斷變化。使用液態(tài)鏡頭,一個(gè)圖像系統(tǒng)可以完成多個(gè)圖像系統(tǒng)的工作,可以在圖像系統(tǒng)中編程不同的物距,從而無需停止生產(chǎn)來更改焦深或設(shè)置多個(gè)不同的圖像系統(tǒng)。液態(tài)鏡頭技術(shù)在很大程度上得益于其提供的靈活性,在工業(yè)領(lǐng)域已迅速普及。液體透鏡非常適合廣泛的應(yīng)用,甚至可以提供比許多機(jī)械選件更高的圖像質(zhì)量?!緛碓矗汗饣⒁曈X內(nèi)部培訓(xùn)資料】
圖像畸變的產(chǎn)生及消除畸變的方法什么是圖像畸變?畸變作為光學(xué)系統(tǒng)中經(jīng)常提到的一個(gè)參數(shù),是限制光學(xué)量測(cè)準(zhǔn)確性的重要因素之一。它是光學(xué)系統(tǒng)對(duì)物體所成的像相對(duì)于物體本身而言的失真程度,只引起像的變形,對(duì)像的清晰度并無影響。對(duì)于理想光學(xué)系統(tǒng),在一對(duì)共軛的物像平面上,放大率是常數(shù)。但是對(duì)于實(shí)際的光學(xué)系統(tǒng),僅當(dāng)視場(chǎng)較小時(shí)具有這一性質(zhì),而當(dāng)視場(chǎng)較大或很大時(shí),像的放大率就要隨視場(chǎng)而異,這樣就會(huì)使像相對(duì)于物體失去相似性。這種使像變形的成像缺陷稱為畸變?;兌x為實(shí)際像高與理想像高差,而在實(shí)際應(yīng)用中經(jīng)常將其與理想像高之比的百分?jǐn)?shù)來表示畸變,稱為相對(duì)畸變,即常見的畸變類型桶形畸變:在桶形畸變中,圖像放大率隨與光軸的距離而減小,體現(xiàn)在圖像呈球體(或桶)周圍映射的效果。魚眼鏡頭具有半球形的視角,它利用這種變形來將無限寬的物平面映射到有限的圖像區(qū)域。在變焦鏡頭中,桶形畸變出現(xiàn)在鏡頭焦距范圍的中間,而在該范圍的廣角端最嚴(yán)重。枕形畸變:在枕形畸變中,圖像放大率隨距光軸距離的增加而增加。可見的效果是,未穿過圖像中心的線像枕形一樣向內(nèi)彎曲,朝向圖像中心。機(jī)器視覺中的圖像畸變圖像畸變帶來的影響光虎視覺認(rèn)為許多檢測(cè)應(yīng)用需要非常精確的測(cè)量,盡管通過亞像素插值的軟件算法可以提供非常精細(xì)的測(cè)量結(jié)果,但是如果創(chuàng)建的圖像有任何變形,它們也無法提供準(zhǔn)確或可重復(fù)的結(jié)果。所以,選擇合適的光學(xué)器件是測(cè)量系統(tǒng)能否成功的關(guān)鍵。幸運(yùn)的是,運(yùn)用一些光學(xué)原理,可以使用雙遠(yuǎn)心鏡頭,該類鏡頭可以克服物體位置的變化、物體上的高度差以及其他可能導(dǎo)致軟件處理不正確的圖像信息的問題。所以合理使用雙遠(yuǎn)心鏡頭可以很好的解決圖像的畸變問題。遠(yuǎn)心的重要性透視誤差,也稱為視差,是我們?nèi)粘sw驗(yàn)的一部分。實(shí)際上,視差是使得大腦解釋3D世界的原因。距離我們較近的物體看起來相對(duì)較大,舉個(gè)簡(jiǎn)單的例子:想象某人站在一組鐵軌,緊挨著它們的前面,兩根鐵軌相距不遠(yuǎn),看似平行。當(dāng)朝地平線看去時(shí),這些平行的軌道似乎會(huì)聚在一起。我們知道它們實(shí)際上并沒有在遠(yuǎn)處的某個(gè)地方聚集在一起,否則火車會(huì)飛離軌道,但是這種感知方式至關(guān)重要。在常規(guī)成像系統(tǒng)中也存在該現(xiàn)象,其中物體的感知尺寸(其放大率)隨著其距透鏡的距離而變化。雙遠(yuǎn)心鏡頭在光學(xué)上可以糾正這種情況,因此在鏡頭所定義的范圍內(nèi),無論距離如何,物體都保持相同的感知大小。在鐵軌的示例中,雙遠(yuǎn)心鏡頭會(huì)使鐵軌看起來相距相同的距離,而不管它們是在鏡頭的前面還是在地平線上。雙遠(yuǎn)心鏡頭的優(yōu)勢(shì)光虎視覺認(rèn)為對(duì)于許多應(yīng)用,都需要雙遠(yuǎn)心,因?yàn)樗谝欢ǖ墓ぷ骶嚯x范圍內(nèi)提供近乎恒定的放大倍率,實(shí)際上消除了視角誤差。這意味著對(duì)象移動(dòng)不會(huì)影響圖像放大率。在具有雙遠(yuǎn)心的光學(xué)系統(tǒng)中,物體離近或遠(yuǎn)離鏡頭不會(huì)導(dǎo)致圖像變大或變小。此外,沿光軸方向具有深度范圍的對(duì)象不會(huì)出現(xiàn)傾斜。例如,圓柱的軸平行于光軸的圓柱物體在遠(yuǎn)心鏡頭的像平面中看起來是圓形的。在非遠(yuǎn)心鏡頭中,同一物體看起來頂部是橢圓形的,而不是圓形的,并且側(cè)面是可見的。值得一提的是,在具有雙遠(yuǎn)心的光學(xué)系統(tǒng)中,聚焦或故意散焦的圖像平面運(yùn)動(dòng)不會(huì)改變圖像大小。雙遠(yuǎn)心鏡頭的另一個(gè)優(yōu)點(diǎn)是,它可以提供極其均勻的圖像平面照明。雙遠(yuǎn)心鏡頭在大多數(shù)情況下可以提供當(dāng)今市場(chǎng)上最低的失真水平(畸變),這大大的提高了它們提供可靠的視覺系統(tǒng)的能力。隨著當(dāng)今機(jī)器視覺系統(tǒng)的需求不斷增長(zhǎng),選擇正確的光學(xué)組件比以往任何時(shí)候都更加重要。光學(xué)系統(tǒng)是調(diào)節(jié)圖像以進(jìn)行分析的關(guān)鍵部分,因此不應(yīng)忽視。每當(dāng)需要進(jìn)行關(guān)鍵測(cè)量時(shí),都需要考慮使用雙遠(yuǎn)心鏡頭來產(chǎn)生能夠真正提供所需結(jié)果的系統(tǒng)。【來源:光虎視覺內(nèi)部培訓(xùn)資料】
像方遠(yuǎn)心、物方遠(yuǎn)心、雙遠(yuǎn)心鏡頭的區(qū)別 工業(yè)鏡頭是機(jī)器視覺系統(tǒng)中十分重要的成像元件,系統(tǒng)若想完全發(fā)揮其作用,工業(yè)鏡頭必須能夠滿足要求才行。隨著機(jī)器視覺系統(tǒng)在精密測(cè)量領(lǐng)域的廣泛應(yīng)用,普通工業(yè)鏡頭難以滿足要求,而遠(yuǎn)心鏡頭應(yīng)運(yùn)而生。 遠(yuǎn)心鏡頭主要為矯正傳統(tǒng)工業(yè)鏡頭視差而設(shè)計(jì),它可以在一定的物距范圍內(nèi),使得到的圖像放大倍率不變,從而彌補(bǔ)普通工業(yè)鏡頭“遠(yuǎn)大近小”的視覺效果,滿足精密測(cè)量的要求。遠(yuǎn)心鏡頭按設(shè)計(jì)原理可分為:像方遠(yuǎn)心光路、物方遠(yuǎn)心光路和雙側(cè)遠(yuǎn)心光路。 --------------光路原理 1)像方遠(yuǎn)心光路 像方遠(yuǎn)心光路的光路圖下圖。它是將孔徑光闌放置在物方焦平面上,像方主光線平行于光軸主光線的會(huì)聚中心位于像方無窮遠(yuǎn)。這種鏡頭的特點(diǎn)是放大倍率與像距無關(guān),可以消除像方調(diào)焦不準(zhǔn)引入的測(cè)量誤差。 2)物方遠(yuǎn)心光路 物方遠(yuǎn)心光路的光路圖如下圖。它是將孔徑光闌放置在光學(xué)系統(tǒng)的像方焦平面上,物方主光線平行于光軸主光線的會(huì)聚中心位于物方無限遠(yuǎn)。這種鏡頭的特點(diǎn)是在合理的活動(dòng)范圍內(nèi),物體的放大倍率與物距無關(guān)。即使物距發(fā)生改變,像高也并不會(huì)發(fā)生改變,即測(cè)得的物體尺寸不會(huì)變化。根據(jù)這個(gè)原理設(shè)計(jì)出來的鏡頭成為物方遠(yuǎn)心鏡頭,簡(jiǎn)稱遠(yuǎn)心鏡頭。 3)雙側(cè)遠(yuǎn)心光路 雙側(cè)遠(yuǎn)心光路就是我們常說的雙遠(yuǎn)心光路,光路圖如下圖。它綜合了像方遠(yuǎn)心和物方遠(yuǎn)心的雙重優(yōu)點(diǎn),在景深范圍內(nèi),物體離得遠(yuǎn)近或者相機(jī)離得遠(yuǎn)近,都不會(huì)影響到成像系統(tǒng)的放大倍數(shù),即像不隨物距和相距的變化而變化。根據(jù)雙側(cè)遠(yuǎn)心光路設(shè)計(jì)出來的鏡頭成為雙遠(yuǎn)心鏡頭。 鏡頭原型 正所謂“弱水三千,只取一瓢飲”。在遠(yuǎn)心鏡頭選型過程中,需要我們根據(jù)實(shí)際情況,從百萬只鏡頭中,挑選出最適合我們的那一個(gè)。在了解了遠(yuǎn)心鏡頭的光路原理之后,讓我們來康康鏡頭參數(shù)的含義吧?。?)物方遠(yuǎn)心鏡頭 前面提到,物方遠(yuǎn)心鏡頭簡(jiǎn)稱為遠(yuǎn)心鏡頭。遠(yuǎn)心鏡頭常用參數(shù)包括倍率、工作距離、物方分辨率、景深、數(shù)值孔徑NA等。在眾多參數(shù)中,可能會(huì)讓大家困惑的參數(shù),應(yīng)該是數(shù)值孔徑NA了吧。 遠(yuǎn)心鏡頭中提到的數(shù)值孔徑NA指像方數(shù)值孔徑,數(shù)值孔徑NA值越大,鏡頭分辨率和亮度越佳。數(shù)值孔徑NA與物方分辨率的對(duì)應(yīng)關(guān)系為: 物方分辨率=,λ為測(cè)試光波長(zhǎng)。一般遠(yuǎn)心鏡頭參數(shù)中,也會(huì)給出鏡頭可匹配的像元大小。如果參數(shù)中并沒有給出鏡頭的良配怎么辦呢?不慌,不慌,一個(gè)公式解決煩惱:匹配相機(jī)像元尺寸=物方分辨率*鏡頭倍率。 (2)雙遠(yuǎn)心鏡頭 雙遠(yuǎn)心鏡頭常用參數(shù)相對(duì)于遠(yuǎn)心鏡頭來說更容易理解。它包括倍率、物方分辨率、工作距離、景深、遠(yuǎn)心度等。在這些參數(shù)中,各參數(shù)的對(duì)應(yīng)關(guān)系與遠(yuǎn)心鏡頭的對(duì)應(yīng)關(guān)系相一致。需要特別解釋一下的,應(yīng)該只有遠(yuǎn)心度了。它是評(píng)價(jià)遠(yuǎn)心鏡頭和雙遠(yuǎn)心鏡頭好壞的重要參數(shù)之一。 遠(yuǎn)心度是指主光線偏離光軸的角度。角度越小,遠(yuǎn)心度越好,鏡頭的倍率誤差越小。在測(cè)量過程中的表現(xiàn)為:在景深范圍內(nèi),保證不同工作距下,物體的放大率是一樣的。它是彌補(bǔ)普通工業(yè)鏡頭“遠(yuǎn)大近小”這一弊端的重要因素。 -------------雙遠(yuǎn)心鏡頭優(yōu)勢(shì)遠(yuǎn)心鏡頭和雙遠(yuǎn)心鏡頭常用于精密測(cè)量領(lǐng)域。在解釋完他們的光路原理和參數(shù)意義后,大家有沒有困惑,遠(yuǎn)心鏡頭和雙遠(yuǎn)心鏡頭在景深范圍內(nèi),工作距離都不會(huì)影響成像倍率,且畸變值都很小。那在選型過程中,如何取舍呢?雙遠(yuǎn)心鏡頭當(dāng)然是靠實(shí)力取勝啦。 雙遠(yuǎn)心鏡頭相對(duì)于遠(yuǎn)心鏡頭景深更大。當(dāng)其他參數(shù)相同的情況下,雙遠(yuǎn)心鏡頭的工作范圍比遠(yuǎn)心鏡頭的工作范圍要大,可觀測(cè)的范圍更廣。當(dāng)我們需要觀測(cè)的物體高度差比較大時(shí),可以優(yōu)先考慮雙遠(yuǎn)心鏡頭。 雙遠(yuǎn)心鏡頭相對(duì)于遠(yuǎn)心鏡頭遠(yuǎn)心度也更高。在精密測(cè)量的選型過程中,如果對(duì)觀測(cè)物體精度要求很高時(shí),雙遠(yuǎn)心鏡頭會(huì)是一個(gè)更好的選擇。 >>光虎光電科技(天津)有限公司<< >>公司網(wǎng)址:www.andrewberkeley.com<<
什么是3D無序抓?。?D無序抓取就是利用3D成像系統(tǒng)對(duì)工件表面進(jìn)行感知和分析,計(jì)算得到物體的實(shí)時(shí)空間坐標(biāo)和姿態(tài),無需示教即可無縫驅(qū)動(dòng)機(jī)械臂可被廣泛應(yīng)用于料框堆疊工件的識(shí)別/無序抓取等多種需求。針對(duì)料框中散亂工件的上下料技術(shù)難點(diǎn)及機(jī)器代替人工的趨勢(shì),3D視覺引導(dǎo)定位機(jī)器人無序抓取系統(tǒng)解決方案采用3D相機(jī)進(jìn)行三維數(shù)據(jù)的采集、匹配、識(shí)別,并將最合適抓取工件的坐標(biāo)轉(zhuǎn)換為機(jī)器人坐標(biāo),機(jī)器人根據(jù)限定條件進(jìn)行最優(yōu)路徑規(guī)劃完成散亂工件的抓取,最終實(shí)現(xiàn)無序抓取的整個(gè)流程。為什么要使用3D無序抓???在工業(yè)上,機(jī)器人完成重復(fù)性工作已經(jīng)很常見了,但是無序的應(yīng)用環(huán)境則要復(fù)雜得多。這就意味著機(jī)器人無法依靠設(shè)定好的程序繼續(xù)執(zhí)行工作,而是需要對(duì)環(huán)境進(jìn)行感知、分析,從而再做出判斷。在沒有應(yīng)用3D視覺之前,雜亂無章的工作任務(wù)通常是用傳統(tǒng)的工裝實(shí)現(xiàn)定位的。這種方式無法滿足不同產(chǎn)品使用一個(gè)工裝定位的問題。隨著電子行業(yè)的興起,工業(yè)生產(chǎn)中無序類的應(yīng)用需求越來越多。為了解決這個(gè)問題,3D視覺就成為了最佳的選擇。專門針對(duì)散亂堆放的工件設(shè)計(jì),來高效地完成3D智能抓取,來替代傳統(tǒng)的工裝夾具。3D無序抓取在實(shí)際工業(yè)中的使用使用3D無序抓取命令,可以做到:檢測(cè)任何物體的每個(gè)位置和形狀;在盒子中檢測(cè)未分類的零件,用機(jī)器人將他們撿起來并送入生產(chǎn)機(jī)器;將盒子中每個(gè)檢測(cè)到的零件的位置發(fā)送給機(jī)器人。通過3D匹配,可以只用1個(gè)3D傳感器來配置之前的任何對(duì)象的形狀和位置。因此,可以用來無序抓取復(fù)雜形狀的零件。在這些方向上3D無序抓取也得到了應(yīng)用:>> 多品種工件的機(jī)器人3D定位抓取上料>> 料框堆疊物體3D識(shí)別定位>> 復(fù)雜多面工件的柔性化3D定位抓取>> 大型物體3D定位抓取>> 工件的無序來料3D定位>> 多工序間機(jī)器人協(xié)作3D定位抓取>> 輸送帶上物體的快速3D定位抓取>> 噴涂機(jī)器人來料3D識(shí)別定位>> 大型設(shè)備的機(jī)器人裝配3D定位3D無序抓取現(xiàn)狀及未來發(fā)展從生產(chǎn)和環(huán)境適應(yīng)性的角度來講,未來幾年的發(fā)展方向?qū)?D視覺有著更廣泛的需求。這要求3D相機(jī)能夠通過對(duì)工件3D數(shù)據(jù)的掃描,幫助機(jī)器人快速準(zhǔn)確的找到被測(cè)零件并確認(rèn)其位置,引導(dǎo)機(jī)械手準(zhǔn)確抓取定位工件,從而實(shí)現(xiàn)工業(yè)機(jī)器人自動(dòng)化生產(chǎn)線的柔性工裝。而在應(yīng)用拓展方面,除了智能抓取,當(dāng)前,機(jī)器人3D視覺在自動(dòng)化焊接、自動(dòng)化切割、自動(dòng)化裝配、自動(dòng)化碼垛等方面也有廣泛應(yīng)用?!緛碓矗汗饣⒁曈X內(nèi)部培訓(xùn)資料】
什么是自動(dòng)對(duì)焦? 自動(dòng)對(duì)焦指的是能夠根據(jù)被測(cè)物與視覺系統(tǒng)之間的距離,來自動(dòng)調(diào)整鏡頭焦距以保持影像清晰。是利用物體光反射的原理,相機(jī)上的傳感器接收反射的光,通過計(jì)算機(jī)進(jìn)行處理,帶動(dòng)電動(dòng)對(duì)焦裝置進(jìn)行對(duì)焦。自動(dòng)對(duì)焦技術(shù)通常分為兩類:主動(dòng)式和被動(dòng)式。 主動(dòng)式 指的是相機(jī)上的紅外線發(fā)生器、超聲波發(fā)生器發(fā)出紅外光或超聲波到被測(cè)物。相機(jī)上的接收器接收反射回來的紅外光或超聲波進(jìn)行對(duì)焦,其光學(xué)原理類似三角測(cè)距對(duì)焦法,即測(cè)距自動(dòng)對(duì)焦。 被動(dòng)式 即直接接收并分析來自被測(cè)物自身的反光,進(jìn)行自動(dòng)對(duì)焦的方式。這種自動(dòng)對(duì)焦方式的優(yōu)點(diǎn)是自身不需要一個(gè)發(fā)射系統(tǒng),因而耗能少,對(duì)具有一定亮度的被測(cè)物有較為理想的自動(dòng)對(duì)焦。通常為聚焦檢測(cè)自動(dòng)對(duì)焦。一般來說,工業(yè)上進(jìn)行使用多數(shù)為被動(dòng)式自動(dòng)對(duì)焦。 如何進(jìn)行自動(dòng)對(duì)焦? 配備有自動(dòng)對(duì)焦功能的相機(jī),通常使用軟件搭配液態(tài)鏡頭來調(diào)整焦距,從而達(dá)到聚焦清晰的效果。 只有在需要對(duì)焦的區(qū)域中需要達(dá)到最佳聚焦點(diǎn)時(shí)才會(huì)有作用,然后會(huì)停止自動(dòng)對(duì)焦的動(dòng)作。這就是通過接收來自被測(cè)物自身反射的信息,進(jìn)行圖像數(shù)據(jù)分析,從而達(dá)到控制液態(tài)鏡頭,改變焦距的效果。 如何判斷最佳聚焦點(diǎn)? 有不同的方法來測(cè)量圖像的清晰度,依據(jù)兩個(gè)基本原理。第一個(gè)原理是圖像的邊緣清晰度。也就是在實(shí)際獲取的圖像中,搜索相鄰像素之間的大的灰度值的跳躍,來突出顯示邊緣或者輪廓。這些邊緣輪廓的對(duì)比度則用來決定圖像的銳利度。邊緣圖像越清晰,原始圖像的清晰度越高。(具體可以參考圖像在時(shí)域和頻域的轉(zhuǎn)換中的高頻部分)。 第二個(gè)原理是基于圖像直方圖的值的分析??梢杂脕碛?jì)算圖像的平均灰度值的像素值的變化量。方差越大,現(xiàn)有的灰度值邊緣和圖像的對(duì)比度就越高。如果圖像變得不聚焦,那么之前的灰度值跳躍大的邊緣就會(huì)呈現(xiàn)斜坡形式的梯度,導(dǎo)致圖像的對(duì)比度降低。也就是說,圖像越清晰,灰度擴(kuò)散越高,圖像中的對(duì)比度也就越高,圖像也越清晰。 在使用自動(dòng)對(duì)焦,焦距在改變過程中,圖像的銳利度和方差是會(huì)實(shí)時(shí)改變的,通過軟件進(jìn)行圖像銳利度以及方差的分析處理,達(dá)到一個(gè)效果顯著的清晰圖像。 自動(dòng)對(duì)焦技術(shù)的優(yōu)勢(shì)在哪? 自動(dòng)對(duì)焦技術(shù)使用液態(tài)鏡頭來實(shí)現(xiàn),與傳統(tǒng)透鏡有所不同,液體鏡頭是一種使用一種或多種液體制成的無機(jī)械連接的光學(xué)元件,可以通過外部控制改變光學(xué)元件的內(nèi)部參數(shù),有著傳統(tǒng)光學(xué)透鏡無法比擬的性能。簡(jiǎn)單來說就是透鏡的介質(zhì)由玻璃變?yōu)橐后w。更準(zhǔn)確地來說就是一種動(dòng)態(tài)調(diào)整透鏡折射率或通過改變其表面形狀來改變焦距的新型光學(xué)元件。 就像利用玻璃制成的傳統(tǒng)光學(xué)鏡頭一樣,液體鏡頭也屬于單體光學(xué)元件,但其材質(zhì)是可以改變形狀的光學(xué)液態(tài)材料。玻璃鏡頭焦距取決于其材質(zhì)和曲率半徑。液態(tài)鏡頭也遵從相同的基本原理,但其獨(dú)特之處在于可以改變曲率半徑,從而改變焦距。這種半徑變化采用電控方式,能夠?qū)崿F(xiàn)毫秒級(jí)的變化。生產(chǎn)廠家利用從電潤(rùn)濕到形變聚合物再到聲光調(diào)節(jié)等各種技術(shù),控制液態(tài)鏡頭曲率半徑和折射率。 大多數(shù)成像鏡頭都是多元件鏡頭,單光學(xué)鏡頭的成像性能難以滿足需要。因此只使用液態(tài)鏡頭是不明智的。但在多元件設(shè)計(jì)中結(jié)合使用液態(tài)鏡頭和成像鏡頭,就可以發(fā)揮液態(tài)鏡頭的速度和靈活性優(yōu)勢(shì)。液態(tài)鏡頭能夠以毫秒級(jí)的反應(yīng)時(shí)間在近距離或光學(xué)無窮遠(yuǎn)對(duì)焦,這對(duì)于條碼讀取、包裝分類、安保和快速自動(dòng)化等需要在多個(gè)位置進(jìn)行對(duì)焦的應(yīng)用來說是一種理想選擇,這些被檢測(cè)物體要么尺寸不同,要么與鏡頭之間的距離不同。在需要快速對(duì)焦的各種應(yīng)用中,可以利用液態(tài)鏡頭提高成像系統(tǒng)靈活性。 【來源:光虎視覺內(nèi)部培訓(xùn)資料】
CoaXPress2.0 CoaXPress是專業(yè)和工業(yè)成像應(yīng)用(例如機(jī)器視覺、醫(yī)學(xué)成像、生命科學(xué)、廣播和國(guó)防)的全球最快標(biāo)準(zhǔn)。它是一種不對(duì)稱的點(diǎn)對(duì)點(diǎn)串行通信標(biāo)準(zhǔn),可通過單根或多根同軸電纜傳輸視頻和靜止圖像,CXP 1.1相機(jī)已經(jīng)面世了十年,它具有用于視頻、圖像和數(shù)據(jù)的每條電纜高達(dá)6.25 Gbps的高速下行鏈路特點(diǎn),其使用的標(biāo)準(zhǔn)連接器為75?BNC和DIN1.0/2.3;目前CXP1.1引入的單個(gè)通道最大傳輸速度為6.25Gbps,對(duì)于CXP-10,CXP 2.0將其提高到10 Gbps,對(duì)于CXP-12,CXP2.0將其提高到12.5 Gbps。 作為CXP協(xié)議的制定商之一的Active Silicon,CXP-12采集卡上行速度提高一倍,達(dá)到42Mbps,因此現(xiàn)在可以實(shí)現(xiàn)超過500kHz的觸發(fā)速率。實(shí)時(shí)觸發(fā)是CoaXPress眾所周知的優(yōu)勢(shì),并且是許多工業(yè)檢測(cè)系統(tǒng)中的關(guān)鍵功能,值得注意的是,CXP-12采集卡首選的連接器是Micro-BNC,也稱為HD-BNC,使用更小的連接器能合并到更緊湊的硬件中;CXP2.0協(xié)議引入了多目標(biāo)功能,因此可以將數(shù)據(jù)從單個(gè)攝像機(jī)輸出到位于不同PC上的多個(gè)圖像采集卡。 該標(biāo)準(zhǔn)的未來版本有望包括對(duì)GenDC的正式支持,與預(yù)期的光接口的兼容性以及對(duì)串行通信的支持。速度可能會(huì)隨著技術(shù)的發(fā)展而提升。 5GigE IEEE 802.3bz-2016的發(fā)布旨在為雙絞線以太網(wǎng)連接提供增強(qiáng)的標(biāo)準(zhǔn),速度為2.5和5 Gbps。獲得了當(dāng)前1 Gb和10 Gb以太網(wǎng)標(biāo)準(zhǔn)之間的中間速度。產(chǎn)生的標(biāo)準(zhǔn)稱為2.5GBase-T和5GBase-T,或2.5和5 GigE Vision??赏ㄟ^標(biāo)準(zhǔn)的at5eC電纜以高達(dá)5 Gbps的速度傳輸,提供更大的靈活性。使用普通的銅雙絞線,該技術(shù)可以將數(shù)據(jù)傳輸容量提高到100米,而銅雙絞線往往是傳統(tǒng)系統(tǒng)中的標(biāo)準(zhǔn)配置。 2.5G超過100米Cat5e(D類)非屏蔽雙絞線銅纜 5Gb/s超過100米Cat5e(D類)非屏蔽雙絞線銅纜 5Gb/s超過100米Cat6(E類)非屏蔽雙絞線銅電纜 10GigE 10GigE(萬兆以太網(wǎng)),一種以太網(wǎng)的傳輸標(biāo)準(zhǔn),最初在2002年通過,成為 IEEE Std 802.3ae-2002。它規(guī)范了以 10 Gbit/s 的速率來傳輸?shù)囊蕴W(wǎng),因?yàn)樗俾适?GigE以太網(wǎng)的十倍,因此得名。 10GBase-T連接中使用的標(biāo)準(zhǔn)銅纜(Cat6,Cat6a和Cat7)支持的最大長(zhǎng)度為100 m,這取決于所用電纜的類型。但是,Cat6電纜最多只能使用55 m的長(zhǎng)度,Cat6a或Cat7電纜的距離更長(zhǎng);光纖電纜可提供更長(zhǎng)距離的傳輸,但需要轉(zhuǎn)換器來生成光信號(hào)和NIC卡中的光接收器,支持以太網(wǎng)供電(PoE)和同一根電纜。 25GigE 千兆以太網(wǎng)視覺發(fā)布于2006年,傳輸距離高達(dá)100m。當(dāng)攝像頭為低分辨率甚至現(xiàn)在使用中分辨率攝像頭(例如12Mpx)和低幀速率要求時(shí),這種方法就可以工作?,F(xiàn)在,為了獲得更高的分辨率并支持更高的幀速率(即更高的帶寬),業(yè)界開始采用5、10和25 GigE視覺,這比原始GigE Vision接口快5、10和25倍。直到長(zhǎng)度為25GigE的點(diǎn)式光纜接管為止,電纜的長(zhǎng)度都會(huì)有所妥協(xié)。某些PC支持新的速度,但是實(shí)際上任何現(xiàn)代PC都可以添加相對(duì)便宜的網(wǎng)絡(luò)接口卡(NIC),能實(shí)現(xiàn)更高的速度。 25GigE SFP28接口提供了三個(gè)選項(xiàng),可以滿足所有應(yīng)用的電纜長(zhǎng)度要求。第一種選擇是使用SFP28多模光纖模塊/收發(fā)器和LC-LC多模光纖電纜,電纜長(zhǎng)度從1M到70M。第二種選擇使用SFP28單模光纖模塊/收發(fā)器和LC-LC單模光纖電纜,電纜長(zhǎng)度范圍從1M到10KM。第三種選擇是使用低成本直接連接來連接1至5米之間的電纜。相比于CXP連接器,25 GigE的連接器碩大無比。 【來源:光虎視覺內(nèi)部培訓(xùn)資料】
世界平面測(cè)量與校正 與觀察和檢查平面(平坦)表面或放置在此類表面(例如傳送帶)上的物體有關(guān)的視覺系統(tǒng)可以利用Adaptive Vision Studio的圖像到世界平面轉(zhuǎn)換機(jī)制,該機(jī)制可以: 從原始圖像上的位置計(jì)算現(xiàn)實(shí)世界的坐標(biāo)。例如,這對(duì)于與外部設(shè)備(例如工業(yè)機(jī)器人)的互操作性至關(guān)重要。假設(shè)在圖像上檢測(cè)到對(duì)象,并且需要將其位置傳輸?shù)綑C(jī)器人。檢測(cè)到的對(duì)象位置以圖像坐標(biāo)給出,但是機(jī)器人在現(xiàn)實(shí)世界中使用不同的坐標(biāo)系進(jìn)行操作,需要一個(gè)由世界平面定義的通用坐標(biāo)系。 將圖像校正到世界平面上。當(dāng)使用原始圖像進(jìn)行圖像分析不可行時(shí)(由于高度的鏡頭和/或透視失真),這是必需的。對(duì)校正圖像執(zhí)行的分析結(jié)果也可以轉(zhuǎn)換為由世界平面坐標(biāo)系定義的真實(shí)坐標(biāo)。另一個(gè)用例是將所有攝像機(jī)的圖像校正到公共世界平面上的多攝像機(jī)系統(tǒng)校正,從而在這些校正后的圖像之間提供簡(jiǎn)單且定義明確的關(guān)系,從而可以輕松疊加或拼接。 下圖顯示了圖像坐標(biāo)系。圖像坐標(biāo)以像素表示,原點(diǎn)(0,0)對(duì)應(yīng)于圖像的左上角。X軸從圖像的左邊緣開始,并向右邊緣。Y軸從圖像的頂部開始向圖像的底部開始。所有圖像像素都具有非負(fù)坐標(biāo)。 圖像坐標(biāo)中的方向和像素位置 這個(gè)世界平面是一個(gè)特殊的平面,在真實(shí)的三維世界中定義。它可以任意放置在相機(jī)上,有一個(gè)定義的原點(diǎn)和XY軸。 下面的圖像顯示了世界平面。第一幅圖像呈現(xiàn)原始圖像,這是由一個(gè)尚未安裝在感興趣物體上方的相機(jī)拍攝的。第二個(gè)圖像顯示的是世界平面,它已與物體所在的表面對(duì)齊。這允許從原始圖像上的像素位置計(jì)算世界坐標(biāo),或者進(jìn)行圖像校正,如下一幅圖像所示。 不完全定位的相機(jī)捕獲的感興趣對(duì)象 世界平面坐標(biāo)系疊加在原始圖像上 圖像到世界平面坐標(biāo)的計(jì)算 圖像校正,在世界坐標(biāo)下,將從點(diǎn)(0,0)到(5,5)的區(qū)域裁剪 如何實(shí)現(xiàn)相機(jī)標(biāo)定? 使用針孔相機(jī)模型 濾波器通過有效地最小化RMS重投影誤差(圖像上觀察到的網(wǎng)格點(diǎn)之間的平均平方距離的平方根),從一組平面校準(zhǔn)網(wǎng)格中估計(jì)攝像機(jī)的固有參數(shù)-焦距,主點(diǎn)位置和畸變系數(shù),使用估計(jì)的參數(shù)(即網(wǎng)格姿態(tài)和相機(jī)參數(shù))將關(guān)聯(lián)的網(wǎng)格坐標(biāo)投影到圖像平面上。如果至少一個(gè)校準(zhǔn)網(wǎng)格不垂直于相機(jī)的光軸,則可以通過濾鏡計(jì)算焦距。或者,可以通過inFocalLength將焦距設(shè)置為固定值。inFocalLength以像素為單位測(cè)量,可以通過傳感器和鏡頭參數(shù)計(jì)算得出: 其中f_pix焦距測(cè)量為像素,f_鏡頭焦距測(cè)量為毫米,pp-傳感器像素間距測(cè)量為每像素毫米,d-攝像機(jī)結(jié)合或/和圖像縮小因子。 InFocalLength也可以從視角獲得,對(duì)于水平情況,適用以下公式: 其中f_pix焦距以像素為單位,w-圖像寬度,α-水平視角 支持一些失真模型類型。最簡(jiǎn)單的部門支持大多數(shù)用例,即使校準(zhǔn)數(shù)據(jù)稀疏也具有可預(yù)測(cè)的行為。高階模型可能更準(zhǔn)確,但是它們需要更大的高質(zhì)量校準(zhǔn)點(diǎn)數(shù)據(jù)集,通常需要在低于0.1 pix的整個(gè)圖像量級(jí)上實(shí)現(xiàn)高水平的位置精度。當(dāng)然,這只是經(jīng)驗(yàn)法則,因?yàn)槊總€(gè)鏡頭都不同,并且有例外。 失真模型類型與OpenCV兼容,并使用標(biāo)準(zhǔn)化圖像坐標(biāo)用方程表示: 分部失真模型 多項(xiàng)式失真模型 多項(xiàng)式--薄棱鏡畸變模型其中,x’和y’不失真,x”和y”是失真的歸一化圖像坐標(biāo)。 相機(jī)模型可直接用于獲取未失真的圖像(該圖像將由具有相同基本參數(shù)的相機(jī)拍攝,但不存在鏡頭失真),但是在大多數(shù)情況下,相機(jī)校準(zhǔn)只是某些條件的先決條件其他操作。例如,當(dāng)使用照相機(jī)檢查平面(或放置在該表面上的物體)時(shí),需要照相機(jī)模型來執(zhí)行世界平面校準(zhǔn) 一組用于基本校準(zhǔn)的柵格圖像 使用OUT ReprojectionErrorSegments用于識(shí)別圖像點(diǎn)及其網(wǎng)格坐標(biāo)的不良關(guān)聯(lián)。 InImageGrids-兩分交換校準(zhǔn)網(wǎng)格的提取 相機(jī)校準(zhǔn)和圖像到世界平面的轉(zhuǎn)換計(jì)算均使用具有網(wǎng)格索引的圖像點(diǎn)陣列形式的提取的校準(zhǔn)網(wǎng)格,即帶注釋的點(diǎn)。 網(wǎng)格的實(shí)際坐標(biāo)是2D,因?yàn)槠矫婢W(wǎng)格上任何點(diǎn)的相對(duì)坐標(biāo)都是0。 Adaptive Vision Studio為幾種標(biāo)準(zhǔn)網(wǎng)格格式提供了提取過濾器(例如DetectCalibrationGrid_Chessboard和DetectCalibrationGrid Circles)。 獲得高精度結(jié)果的最重要因素是提取的校準(zhǔn)點(diǎn)的精度和準(zhǔn)確性。校準(zhǔn)網(wǎng)格應(yīng)盡可能平坦且堅(jiān)硬(紙板不是合適的支撐材料,厚玻璃是完美的選擇)。拍攝校準(zhǔn)圖像時(shí),請(qǐng)注意適當(dāng)?shù)臈l件:通過適當(dāng)?shù)南鄼C(jī)和柵格安裝座最大程度地減少運(yùn)動(dòng)模糊,防止來自校準(zhǔn)表面的反射(最好使用漫射照明)。使用自定義校準(zhǔn)網(wǎng)格時(shí),請(qǐng)確保點(diǎn)提取器可以達(dá)到亞像素精度。驗(yàn)證真實(shí)網(wǎng)格坐標(biāo)的測(cè)量結(jié)果是否準(zhǔn)確。另外,使用棋盤格校準(zhǔn)格時(shí),請(qǐng)確保整個(gè)校準(zhǔn)格在圖像中可見。否則,將不會(huì)檢測(cè)到它,因?yàn)闄z測(cè)算法需要在棋盤周圍有幾個(gè)像素寬的空白區(qū)域。請(qǐng)注意列數(shù)和行數(shù),因?yàn)樘峁┱`導(dǎo)性數(shù)據(jù)可能會(huì)使算法無法正常工作或根本無法工作。 使用圓點(diǎn)標(biāo)定板的圖片示例: 使用棋盤標(biāo)定版的圖片示例,只需要拍攝標(biāo)定板的圖片,并通過ImageObjectsToWorldPlane:Points過濾器模塊,輸入棋盤格的尺寸以及棋盤格所對(duì)應(yīng)的像素,即可實(shí)現(xiàn)相機(jī)標(biāo)定以及畸變校正。 再輸入棋盤格每個(gè)方形格的實(shí)際尺寸,即可實(shí)現(xiàn)世界坐標(biāo)轉(zhuǎn)換圖像坐標(biāo)。 【來源:光虎視覺內(nèi)部培訓(xùn)資料】
相機(jī)標(biāo)定,是一個(gè)估計(jì)相機(jī)模型參數(shù)的過程:一組描述圖像捕獲過程內(nèi)部幾何形狀的參數(shù)。
與可見光面陣相機(jī)相比,SWIR光子被對(duì)象反射或吸收,從而提供了高分辨率成像所需的強(qiáng)烈對(duì)比度。
熒光,是指一種光致發(fā)光的冷發(fā)光現(xiàn)象。
紫外線產(chǎn)生的本質(zhì)是電暈放電,它是一種局部化的放電現(xiàn)象, 在極不均勻的電場(chǎng)環(huán)境下,當(dāng)電壓還未能引起擊穿前,電離現(xiàn)象已經(jīng)非常強(qiáng)烈,大量空間的電荷積聚一起,使得間隙中的電場(chǎng)發(fā)生畸變。