光度立體技術(shù)及其應(yīng)用

光度立體技術(shù)及其應(yīng)用隨著計(jì)算機(jī)視覺(jué)理論的逐漸成熟，從圖像中獲取物體表面的三維信息的算法己經(jīng)達(dá)到了實(shí)際應(yīng)用的階段。立體視覺(jué)技術(shù)、Shape From X技術(shù)、光度立體技術(shù)（Photometric Stereo）等一系列圖形算法可以自動(dòng)從單幅或多幅真實(shí)物體照片中提取出其三維結(jié)構(gòu)的信息，而這些技術(shù)實(shí)施簡(jiǎn)便，設(shè)備易于獲取，核心部件僅需一臺(tái)數(shù)碼相機(jī)即可。所以，通過(guò)應(yīng)用計(jì)算機(jī)視覺(jué)理論，從真實(shí)物體的照片中重建物體的三維結(jié)構(gòu)的技術(shù)是目前得到真實(shí)物體3D模型的比較廉價(jià)的手段。光度立體法光度立體法是SFS（Shape From Shading）陰影恢復(fù)形狀方法的一個(gè)分支，與SFS不同的是，光度立體法使用多幅圖像來(lái)還原物體表面的三維結(jié)構(gòu)，它要求物體和攝像機(jī)的相對(duì)位置不變，然后使用不同方向的光源照射物體，從而產(chǎn)生不同的明暗效果。由于有多幅不同的光源下的圖像，計(jì)算物體表面的向量場(chǎng)就相對(duì)容易了許多，而且不受物體表面反射系數(shù)的影響。光度立體技術(shù)的優(yōu)點(diǎn)測(cè)量任何給定像素的高度不是光度立體技術(shù)的主要考慮因素。相反，該技術(shù)通過(guò)使用3D表面取向及其對(duì)反射光的影響產(chǎn)生對(duì)比度圖像，突出局部3D表面變化。使用傳統(tǒng)的2D成像時(shí)，顯示的變化可能是不可見(jiàn)的。當(dāng)使用光度立體技術(shù)時(shí)，不需要知道測(cè)試對(duì)象和相機(jī)之間的精確3D關(guān)系，也不必使用兩個(gè)相機(jī)來(lái)捕獲3D數(shù)據(jù)。而是使用具有多個(gè)照明源的單個(gè)相機(jī)系統(tǒng)。通過(guò)在不同光照條件下觀察物體，計(jì)算其表面。該方法是利用表面相對(duì)于光源，從傳感器觀察到的表面反射的光量來(lái)進(jìn)行計(jì)算的。由于光度立體算法的出現(xiàn)，人們?cè)絹?lái)越意識(shí)到良好的照明以及低成本的多光解決方案是機(jī)器視覺(jué)成功的關(guān)鍵，例如Smart Vision Lights的LED燈管理器（LLM）（允許通過(guò)以下方式控制四個(gè)燈）基于瀏覽器的簡(jiǎn)單界面，成本低于幀抓取器或智能相機(jī)分線盒，光度立體學(xué)在工業(yè)中的應(yīng)用越來(lái)越受到關(guān)注，其獨(dú)特優(yōu)點(diǎn)使得許多以前難以或不可能解決的常見(jiàn)工業(yè)檢測(cè)應(yīng)用成為可能。 光度立體技術(shù)的應(yīng)用輪胎和夾子例如，無(wú)論零件是卡車輪胎還是汽車夾，在零件上讀取凸起的字母對(duì)于機(jī)器視覺(jué)系統(tǒng)來(lái)說(shuō)總是有問(wèn)題的。在這個(gè)例子中，塑料連接器表面具有多種特征，以及數(shù)字"2"和方向符號(hào)。從組成圖像中可以看到，包含剪輯的材料和凸起的字母之間沒(méi)有區(qū)別，因此沒(méi)有對(duì)比度。在較大的物體（如輪胎）上，通常使用激光三角測(cè)量系統(tǒng)創(chuàng)建 3D 曲面圖。用于 3D 測(cè)量的激光掃描系統(tǒng)已變得更加集成和有效，但仍是成本高昂的解決方案，并且通常要求對(duì)象在檢查過(guò)程中移動(dòng)，從而增加了自動(dòng)化解決方案的成本和復(fù)雜性。在這些照片中，黑色塑料夾由位于輪胎周邊 90 度、180 度、270 度和 360 度的線性微型 （LM） LED 燈照亮，并由 LED 燈管理器 （LLM） 控制。當(dāng)相機(jī)觸發(fā)每次曝光時(shí)，LLM 會(huì)從不同的方向觸發(fā)光線。相機(jī)將每個(gè)圖像導(dǎo)入帶有光度立體算法的 PC 中，該算法從每個(gè)圖像中獲得最佳像素，并將它們組合成一個(gè)合成圖。（圖片由Matrox Imaging提供）合成皮革穿孔在這個(gè)例子中，顯示了四張合成皮革材料的圖片。人造革，與其模仿的有機(jī)材料類似，具有相當(dāng)大的表面紋理。人眼幾乎不可能在整個(gè)圖像上可視化100％的表面紋理。

【視覺(jué)知識(shí)】液態(tài)鏡頭技術(shù)

液態(tài)鏡頭技術(shù)液態(tài)鏡頭是在工業(yè)領(lǐng)域迅速普及的一項(xiàng)新技術(shù)，在多種應(yīng)用中它們比傳統(tǒng)鏡頭具有許多優(yōu)勢(shì)。實(shí)際上，正是它們的多功能性和靈活性成為成功采用它們的主要?jiǎng)恿Α５鞘裁词且簯B(tài)鏡頭技術(shù)？它是如何工作的？它的作用是什么？液態(tài)鏡頭用于卓越的自動(dòng)對(duì)焦對(duì)于數(shù)字圖片，精確控制焦點(diǎn)是獲得高質(zhì)量圖像的唯一方法。圖像的主體必須非常清晰，而背景的其余部分則更加模糊。自動(dòng)對(duì)焦功能是拍攝優(yōu)質(zhì)照片的核心，而液態(tài)鏡頭為自動(dòng)對(duì)焦帶來(lái)了全新的功能。液態(tài)鏡頭可用于多種應(yīng)用，例如：l 數(shù)碼攝影l(fā) 工業(yè)數(shù)據(jù)采集l 條形碼讀取（一維和二維）l 生物特征數(shù)據(jù)采集本質(zhì)上，液態(tài)鏡頭可用于物距變化很大，需要快速自動(dòng)對(duì)焦的任何應(yīng)用。液態(tài)鏡頭如何工作？液態(tài)鏡頭采用電潤(rùn)濕工藝來(lái)實(shí)現(xiàn)卓越的自動(dòng)聚焦功能。透鏡本身是一個(gè)內(nèi)部裝有水和油的密封電池。電潤(rùn)濕過(guò)程可將油滴快速準(zhǔn)確地塑造成有效的鏡片。該過(guò)程是連續(xù)的，可逆的，并且對(duì)于大小聚焦步驟都同樣快速。液態(tài)鏡頭改變其形狀的速度似乎很神奇，但實(shí)際上是非?？茖W(xué)的。如果將一滴液體放置在疏水表面（排斥液體的表面）上，則液體中的分子將結(jié)合在一起并形成珠子，因?yàn)樗鼈儽槐砻娴氖杷运懦狻．?dāng)向該液體和疏水性阻擋層另一側(cè)的另一種導(dǎo)電材料（如鋁）施加電場(chǎng)時(shí)，液體會(huì)靜電吸附到鋁上。組成液體的分子在試圖到達(dá)鋁時(shí)會(huì)散開(kāi)，導(dǎo)致水滴急劇改變形狀。此過(guò)程稱為電潤(rùn)濕，它是液態(tài)鏡頭的重要基礎(chǔ)。施加的電場(chǎng)越強(qiáng)，液體對(duì)導(dǎo)電材料的吸引力就越大。這意味著水將盡其所能地越過(guò)障礙物傳播到更遠(yuǎn)的范圍，從而進(jìn)一步擴(kuò)散。通過(guò)改變用電量，可以迫使液體采取多種形狀。如果將這種液體用作透鏡，則其變成不同形狀時(shí)將具有不同的焦距，從而可以大大改變傳感器拍攝的圖像。為什么要使用液態(tài)鏡頭技術(shù)？液態(tài)鏡頭的主要優(yōu)點(diǎn)是其靈活性，可以同時(shí)用于多種不同的應(yīng)用。這在不同尺寸物體的大批量生產(chǎn)環(huán)境中尤其有用。例如，一家制藥公司可能對(duì)不同類型的膠囊、藥丸、凝膠片等使用機(jī)器視覺(jué)檢查。對(duì)于傳統(tǒng)的鏡頭，將需要設(shè)置多個(gè)圖像系統(tǒng)來(lái)檢查每種產(chǎn)品，或者一個(gè)圖像系統(tǒng)必須焦點(diǎn)深度不斷變化。使用液態(tài)鏡頭，一個(gè)圖像系統(tǒng)可以完成多個(gè)圖像系統(tǒng)的工作，可以在圖像系統(tǒng)中編程不同的物距，從而無(wú)需停止生產(chǎn)來(lái)更改焦深或設(shè)置多個(gè)不同的圖像系統(tǒng)。液態(tài)鏡頭技術(shù)在很大程度上得益于其提供的靈活性，在工業(yè)領(lǐng)域已迅速普及。液體透鏡非常適合廣泛的應(yīng)用，甚至可以提供比許多機(jī)械選件更高的圖像質(zhì)量。【來(lái)源：光虎視覺(jué)內(nèi)部培訓(xùn)資料】

圖像畸變的產(chǎn)生及消除畸變的方法

圖像畸變的產(chǎn)生及消除畸變的方法什么是圖像畸變？畸變作為光學(xué)系統(tǒng)中經(jīng)常提到的一個(gè)參數(shù)，是限制光學(xué)量測(cè)準(zhǔn)確性的重要因素之一。它是光學(xué)系統(tǒng)對(duì)物體所成的像相對(duì)于物體本身而言的失真程度，只引起像的變形，對(duì)像的清晰度并無(wú)影響。對(duì)于理想光學(xué)系統(tǒng)，在一對(duì)共軛的物像平面上，放大率是常數(shù)。但是對(duì)于實(shí)際的光學(xué)系統(tǒng)，僅當(dāng)視場(chǎng)較小時(shí)具有這一性質(zhì)，而當(dāng)視場(chǎng)較大或很大時(shí)，像的放大率就要隨視場(chǎng)而異，這樣就會(huì)使像相對(duì)于物體失去相似性。這種使像變形的成像缺陷稱為畸變。畸變定義為實(shí)際像高與理想像高差，而在實(shí)際應(yīng)用中經(jīng)常將其與理想像高之比的百分?jǐn)?shù)來(lái)表示畸變，稱為相對(duì)畸變，即常見(jiàn)的畸變類型桶形畸變：在桶形畸變中，圖像放大率隨與光軸的距離而減小，體現(xiàn)在圖像呈球體（或桶）周圍映射的效果。魚(yú)眼鏡頭具有半球形的視角，它利用這種變形來(lái)將無(wú)限寬的物平面映射到有限的圖像區(qū)域。在變焦鏡頭中，桶形畸變出現(xiàn)在鏡頭焦距范圍的中間，而在該范圍的廣角端最嚴(yán)重。枕形畸變：在枕形畸變中，圖像放大率隨距光軸距離的增加而增加?？梢?jiàn)的效果是，未穿過(guò)圖像中心的線像枕形一樣向內(nèi)彎曲，朝向圖像中心。機(jī)器視覺(jué)中的圖像畸變圖像畸變帶來(lái)的影響光虎視覺(jué)認(rèn)為許多檢測(cè)應(yīng)用需要非常精確的測(cè)量，盡管通過(guò)亞像素插值的軟件算法可以提供非常精細(xì)的測(cè)量結(jié)果，但是如果創(chuàng)建的圖像有任何變形，它們也無(wú)法提供準(zhǔn)確或可重復(fù)的結(jié)果。所以，選擇合適的光學(xué)器件是測(cè)量系統(tǒng)能否成功的關(guān)鍵。幸運(yùn)的是，運(yùn)用一些光學(xué)原理，可以使用雙遠(yuǎn)心鏡頭，該類鏡頭可以克服物體位置的變化、物體上的高度差以及其他可能導(dǎo)致軟件處理不正確的圖像信息的問(wèn)題。所以合理使用雙遠(yuǎn)心鏡頭可以很好的解決圖像的畸變問(wèn)題。遠(yuǎn)心的重要性透視誤差，也稱為視差，是我們?nèi)粘ｓw驗(yàn)的一部分。實(shí)際上，視差是使得大腦解釋3D世界的原因。距離我們較近的物體看起來(lái)相對(duì)較大，舉個(gè)簡(jiǎn)單的例子：想象某人站在一組鐵軌，緊挨著它們的前面，兩根鐵軌相距不遠(yuǎn)，看似平行。當(dāng)朝地平線看去時(shí)，這些平行的軌道似乎會(huì)聚在一起。我們知道它們實(shí)際上并沒(méi)有在遠(yuǎn)處的某個(gè)地方聚集在一起，否則火車會(huì)飛離軌道，但是這種感知方式至關(guān)重要。在常規(guī)成像系統(tǒng)中也存在該現(xiàn)象，其中物體的感知尺寸（其放大率）隨著其距透鏡的距離而變化。雙遠(yuǎn)心鏡頭在光學(xué)上可以糾正這種情況，因此在鏡頭所定義的范圍內(nèi)，無(wú)論距離如何，物體都保持相同的感知大小。在鐵軌的示例中，雙遠(yuǎn)心鏡頭會(huì)使鐵軌看起來(lái)相距相同的距離，而不管它們是在鏡頭的前面還是在地平線上。雙遠(yuǎn)心鏡頭的優(yōu)勢(shì)光虎視覺(jué)認(rèn)為對(duì)于許多應(yīng)用，都需要雙遠(yuǎn)心，因?yàn)樗谝欢ǖ墓ぷ骶嚯x范圍內(nèi)提供近乎恒定的放大倍率，實(shí)際上消除了視角誤差。這意味著對(duì)象移動(dòng)不會(huì)影響圖像放大率。在具有雙遠(yuǎn)心的光學(xué)系統(tǒng)中，物體離近或遠(yuǎn)離鏡頭不會(huì)導(dǎo)致圖像變大或變小。此外，沿光軸方向具有深度范圍的對(duì)象不會(huì)出現(xiàn)傾斜。例如，圓柱的軸平行于光軸的圓柱物體在遠(yuǎn)心鏡頭的像平面中看起來(lái)是圓形的。在非遠(yuǎn)心鏡頭中，同一物體看起來(lái)頂部是橢圓形的，而不是圓形的，并且側(cè)面是可見(jiàn)的。值得一提的是，在具有雙遠(yuǎn)心的光學(xué)系統(tǒng)中，聚焦或故意散焦的圖像平面運(yùn)動(dòng)不會(huì)改變圖像大小。雙遠(yuǎn)心鏡頭的另一個(gè)優(yōu)點(diǎn)是，它可以提供極其均勻的圖像平面照明。雙遠(yuǎn)心鏡頭在大多數(shù)情況下可以提供當(dāng)今市場(chǎng)上最低的失真水平（畸變），這大大的提高了它們提供可靠的視覺(jué)系統(tǒng)的能力。隨著當(dāng)今機(jī)器視覺(jué)系統(tǒng)的需求不斷增長(zhǎng)，選擇正確的光學(xué)組件比以往任何時(shí)候都更加重要。光學(xué)系統(tǒng)是調(diào)節(jié)圖像以進(jìn)行分析的關(guān)鍵部分，因此不應(yīng)忽視。每當(dāng)需要進(jìn)行關(guān)鍵測(cè)量時(shí)，都需要考慮使用雙遠(yuǎn)心鏡頭來(lái)產(chǎn)生能夠真正提供所需結(jié)果的系統(tǒng)?！緛?lái)源：光虎視覺(jué)內(nèi)部培訓(xùn)資料】

像方遠(yuǎn)心、物方遠(yuǎn)心、雙遠(yuǎn)心鏡頭的區(qū)別

像方遠(yuǎn)心、物方遠(yuǎn)心、雙遠(yuǎn)心鏡頭的區(qū)別 工業(yè)鏡頭是機(jī)器視覺(jué)系統(tǒng)中十分重要的成像元件，系統(tǒng)若想完全發(fā)揮其作用，工業(yè)鏡頭必須能夠滿足要求才行。隨著機(jī)器視覺(jué)系統(tǒng)在精密測(cè)量領(lǐng)域的廣泛應(yīng)用，普通工業(yè)鏡頭難以滿足要求，而遠(yuǎn)心鏡頭應(yīng)運(yùn)而生。 遠(yuǎn)心鏡頭主要為矯正傳統(tǒng)工業(yè)鏡頭視差而設(shè)計(jì)，它可以在一定的物距范圍內(nèi)，使得到的圖像放大倍率不變，從而彌補(bǔ)普通工業(yè)鏡頭“遠(yuǎn)大近小”的視覺(jué)效果，滿足精密測(cè)量的要求。遠(yuǎn)心鏡頭按設(shè)計(jì)原理可分為：像方遠(yuǎn)心光路、物方遠(yuǎn)心光路和雙側(cè)遠(yuǎn)心光路。 --------------光路原理 1）像方遠(yuǎn)心光路 像方遠(yuǎn)心光路的光路圖下圖。它是將孔徑光闌放置在物方焦平面上，像方主光線平行于光軸主光線的會(huì)聚中心位于像方無(wú)窮遠(yuǎn)。這種鏡頭的特點(diǎn)是放大倍率與像距無(wú)關(guān)，可以消除像方調(diào)焦不準(zhǔn)引入的測(cè)量誤差。 2）物方遠(yuǎn)心光路 物方遠(yuǎn)心光路的光路圖如下圖。它是將孔徑光闌放置在光學(xué)系統(tǒng)的像方焦平面上，物方主光線平行于光軸主光線的會(huì)聚中心位于物方無(wú)限遠(yuǎn)。這種鏡頭的特點(diǎn)是在合理的活動(dòng)范圍內(nèi)，物體的放大倍率與物距無(wú)關(guān)。即使物距發(fā)生改變，像高也并不會(huì)發(fā)生改變，即測(cè)得的物體尺寸不會(huì)變化。根據(jù)這個(gè)原理設(shè)計(jì)出來(lái)的鏡頭成為物方遠(yuǎn)心鏡頭，簡(jiǎn)稱遠(yuǎn)心鏡頭。 3）雙側(cè)遠(yuǎn)心光路 雙側(cè)遠(yuǎn)心光路就是我們常說(shuō)的雙遠(yuǎn)心光路，光路圖如下圖。它綜合了像方遠(yuǎn)心和物方遠(yuǎn)心的雙重優(yōu)點(diǎn)，在景深范圍內(nèi)，物體離得遠(yuǎn)近或者相機(jī)離得遠(yuǎn)近，都不會(huì)影響到成像系統(tǒng)的放大倍數(shù)，即像不隨物距和相距的變化而變化。根據(jù)雙側(cè)遠(yuǎn)心光路設(shè)計(jì)出來(lái)的鏡頭成為雙遠(yuǎn)心鏡頭。 鏡頭原型 正所謂“弱水三千，只取一瓢飲”。在遠(yuǎn)心鏡頭選型過(guò)程中，需要我們根據(jù)實(shí)際情況，從百萬(wàn)只鏡頭中，挑選出最適合我們的那一個(gè)。在了解了遠(yuǎn)心鏡頭的光路原理之后，讓我們來(lái)康康鏡頭參數(shù)的含義吧！（1）物方遠(yuǎn)心鏡頭 前面提到，物方遠(yuǎn)心鏡頭簡(jiǎn)稱為遠(yuǎn)心鏡頭。遠(yuǎn)心鏡頭常用參數(shù)包括倍率、工作距離、物方分辨率、景深、數(shù)值孔徑NA等。在眾多參數(shù)中，可能會(huì)讓大家困惑的參數(shù)，應(yīng)該是數(shù)值孔徑NA了吧。 遠(yuǎn)心鏡頭中提到的數(shù)值孔徑NA指像方數(shù)值孔徑，數(shù)值孔徑NA值越大，鏡頭分辨率和亮度越佳。數(shù)值孔徑NA與物方分辨率的對(duì)應(yīng)關(guān)系為： 物方分辨率=，λ為測(cè)試光波長(zhǎng)。一般遠(yuǎn)心鏡頭參數(shù)中，也會(huì)給出鏡頭可匹配的像元大小。如果參數(shù)中并沒(méi)有給出鏡頭的良配怎么辦呢？不慌，不慌，一個(gè)公式解決煩惱：匹配相機(jī)像元尺寸=物方分辨率*鏡頭倍率。 （2）雙遠(yuǎn)心鏡頭 雙遠(yuǎn)心鏡頭常用參數(shù)相對(duì)于遠(yuǎn)心鏡頭來(lái)說(shuō)更容易理解。它包括倍率、物方分辨率、工作距離、景深、遠(yuǎn)心度等。在這些參數(shù)中，各參數(shù)的對(duì)應(yīng)關(guān)系與遠(yuǎn)心鏡頭的對(duì)應(yīng)關(guān)系相一致。需要特別解釋一下的，應(yīng)該只有遠(yuǎn)心度了。它是評(píng)價(jià)遠(yuǎn)心鏡頭和雙遠(yuǎn)心鏡頭好壞的重要參數(shù)之一。 遠(yuǎn)心度是指主光線偏離光軸的角度。角度越小，遠(yuǎn)心度越好，鏡頭的倍率誤差越小。在測(cè)量過(guò)程中的表現(xiàn)為：在景深范圍內(nèi)，保證不同工作距下，物體的放大率是一樣的。它是彌補(bǔ)普通工業(yè)鏡頭“遠(yuǎn)大近小”這一弊端的重要因素。 -------------雙遠(yuǎn)心鏡頭優(yōu)勢(shì)遠(yuǎn)心鏡頭和雙遠(yuǎn)心鏡頭常用于精密測(cè)量領(lǐng)域。在解釋完他們的光路原理和參數(shù)意義后，大家有沒(méi)有困惑，遠(yuǎn)心鏡頭和雙遠(yuǎn)心鏡頭在景深范圍內(nèi)，工作距離都不會(huì)影響成像倍率，且畸變值都很小。那在選型過(guò)程中，如何取舍呢？雙遠(yuǎn)心鏡頭當(dāng)然是靠實(shí)力取勝啦。 雙遠(yuǎn)心鏡頭相對(duì)于遠(yuǎn)心鏡頭景深更大。當(dāng)其他參數(shù)相同的情況下，雙遠(yuǎn)心鏡頭的工作范圍比遠(yuǎn)心鏡頭的工作范圍要大，可觀測(cè)的范圍更廣。當(dāng)我們需要觀測(cè)的物體高度差比較大時(shí)，可以優(yōu)先考慮雙遠(yuǎn)心鏡頭。 雙遠(yuǎn)心鏡頭相對(duì)于遠(yuǎn)心鏡頭遠(yuǎn)心度也更高。在精密測(cè)量的選型過(guò)程中，如果對(duì)觀測(cè)物體精度要求很高時(shí)，雙遠(yuǎn)心鏡頭會(huì)是一個(gè)更好的選擇。 >>光虎光電科技（天津）有限公司<< >>公司網(wǎng)址：www.spoilthemsilly.com<<

3D無(wú)序抓取

什么是3D無(wú)序抓取？3D無(wú)序抓取就是利用3D成像系統(tǒng)對(duì)工件表面進(jìn)行感知和分析，計(jì)算得到物體的實(shí)時(shí)空間坐標(biāo)和姿態(tài)，無(wú)需示教即可無(wú)縫驅(qū)動(dòng)機(jī)械臂可被廣泛應(yīng)用于料框堆疊工件的識(shí)別/無(wú)序抓取等多種需求。針對(duì)料框中散亂工件的上下料技術(shù)難點(diǎn)及機(jī)器代替人工的趨勢(shì)，3D視覺(jué)引導(dǎo)定位機(jī)器人無(wú)序抓取系統(tǒng)解決方案采用3D相機(jī)進(jìn)行三維數(shù)據(jù)的采集、匹配、識(shí)別，并將最合適抓取工件的坐標(biāo)轉(zhuǎn)換為機(jī)器人坐標(biāo)，機(jī)器人根據(jù)限定條件進(jìn)行最優(yōu)路徑規(guī)劃完成散亂工件的抓取，最終實(shí)現(xiàn)無(wú)序抓取的整個(gè)流程。為什么要使用3D無(wú)序抓?。吭诠I(yè)上，機(jī)器人完成重復(fù)性工作已經(jīng)很常見(jiàn)了，但是無(wú)序的應(yīng)用環(huán)境則要復(fù)雜得多。這就意味著機(jī)器人無(wú)法依靠設(shè)定好的程序繼續(xù)執(zhí)行工作，而是需要對(duì)環(huán)境進(jìn)行感知、分析，從而再做出判斷。在沒(méi)有應(yīng)用3D視覺(jué)之前，雜亂無(wú)章的工作任務(wù)通常是用傳統(tǒng)的工裝實(shí)現(xiàn)定位的。這種方式無(wú)法滿足不同產(chǎn)品使用一個(gè)工裝定位的問(wèn)題。隨著電子行業(yè)的興起，工業(yè)生產(chǎn)中無(wú)序類的應(yīng)用需求越來(lái)越多。為了解決這個(gè)問(wèn)題，3D視覺(jué)就成為了最佳的選擇。專門針對(duì)散亂堆放的工件設(shè)計(jì)，來(lái)高效地完成3D智能抓取，來(lái)替代傳統(tǒng)的工裝夾具。3D無(wú)序抓取在實(shí)際工業(yè)中的使用使用3D無(wú)序抓取命令，可以做到：檢測(cè)任何物體的每個(gè)位置和形狀；在盒子中檢測(cè)未分類的零件，用機(jī)器人將他們撿起來(lái)并送入生產(chǎn)機(jī)器；將盒子中每個(gè)檢測(cè)到的零件的位置發(fā)送給機(jī)器人。通過(guò)3D匹配，可以只用1個(gè)3D傳感器來(lái)配置之前的任何對(duì)象的形狀和位置。因此，可以用來(lái)無(wú)序抓取復(fù)雜形狀的零件。在這些方向上3D無(wú)序抓取也得到了應(yīng)用：>> 多品種工件的機(jī)器人3D定位抓取上料>> 料框堆疊物體3D識(shí)別定位>> 復(fù)雜多面工件的柔性化3D定位抓取>> 大型物體3D定位抓取>> 工件的無(wú)序來(lái)料3D定位>> 多工序間機(jī)器人協(xié)作3D定位抓取>> 輸送帶上物體的快速3D定位抓取>> 噴涂機(jī)器人來(lái)料3D識(shí)別定位>> 大型設(shè)備的機(jī)器人裝配3D定位3D無(wú)序抓取現(xiàn)狀及未來(lái)發(fā)展從生產(chǎn)和環(huán)境適應(yīng)性的角度來(lái)講，未來(lái)幾年的發(fā)展方向?qū)?D視覺(jué)有著更廣泛的需求。這要求3D相機(jī)能夠通過(guò)對(duì)工件3D數(shù)據(jù)的掃描，幫助機(jī)器人快速準(zhǔn)確的找到被測(cè)零件并確認(rèn)其位置，引導(dǎo)機(jī)械手準(zhǔn)確抓取定位工件，從而實(shí)現(xiàn)工業(yè)機(jī)器人自動(dòng)化生產(chǎn)線的柔性工裝。而在應(yīng)用拓展方面，除了智能抓取，當(dāng)前，機(jī)器人3D視覺(jué)在自動(dòng)化焊接、自動(dòng)化切割、自動(dòng)化裝配、自動(dòng)化碼垛等方面也有廣泛應(yīng)用。【來(lái)源：光虎視覺(jué)內(nèi)部培訓(xùn)資料】

自動(dòng)對(duì)焦技術(shù)

什么是自動(dòng)對(duì)焦？ 自動(dòng)對(duì)焦指的是能夠根據(jù)被測(cè)物與視覺(jué)系統(tǒng)之間的距離，來(lái)自動(dòng)調(diào)整鏡頭焦距以保持影像清晰。是利用物體光反射的原理，相機(jī)上的傳感器接收反射的光，通過(guò)計(jì)算機(jī)進(jìn)行處理，帶動(dòng)電動(dòng)對(duì)焦裝置進(jìn)行對(duì)焦。自動(dòng)對(duì)焦技術(shù)通常分為兩類：主動(dòng)式和被動(dòng)式。 主動(dòng)式 指的是相機(jī)上的紅外線發(fā)生器、超聲波發(fā)生器發(fā)出紅外光或超聲波到被測(cè)物。相機(jī)上的接收器接收反射回來(lái)的紅外光或超聲波進(jìn)行對(duì)焦，其光學(xué)原理類似三角測(cè)距對(duì)焦法，即測(cè)距自動(dòng)對(duì)焦。 被動(dòng)式 即直接接收并分析來(lái)自被測(cè)物自身的反光，進(jìn)行自動(dòng)對(duì)焦的方式。這種自動(dòng)對(duì)焦方式的優(yōu)點(diǎn)是自身不需要一個(gè)發(fā)射系統(tǒng)，因而耗能少，對(duì)具有一定亮度的被測(cè)物有較為理想的自動(dòng)對(duì)焦。通常為聚焦檢測(cè)自動(dòng)對(duì)焦。一般來(lái)說(shuō)，工業(yè)上進(jìn)行使用多數(shù)為被動(dòng)式自動(dòng)對(duì)焦。 如何進(jìn)行自動(dòng)對(duì)焦？ 配備有自動(dòng)對(duì)焦功能的相機(jī)，通常使用軟件搭配液態(tài)鏡頭來(lái)調(diào)整焦距，從而達(dá)到聚焦清晰的效果。 只有在需要對(duì)焦的區(qū)域中需要達(dá)到最佳聚焦點(diǎn)時(shí)才會(huì)有作用，然后會(huì)停止自動(dòng)對(duì)焦的動(dòng)作。這就是通過(guò)接收來(lái)自被測(cè)物自身反射的信息，進(jìn)行圖像數(shù)據(jù)分析，從而達(dá)到控制液態(tài)鏡頭，改變焦距的效果。 如何判斷最佳聚焦點(diǎn)？ 有不同的方法來(lái)測(cè)量圖像的清晰度，依據(jù)兩個(gè)基本原理。第一個(gè)原理是圖像的邊緣清晰度。也就是在實(shí)際獲取的圖像中，搜索相鄰像素之間的大的灰度值的跳躍，來(lái)突出顯示邊緣或者輪廓。這些邊緣輪廓的對(duì)比度則用來(lái)決定圖像的銳利度。邊緣圖像越清晰，原始圖像的清晰度越高。（具體可以參考圖像在時(shí)域和頻域的轉(zhuǎn)換中的高頻部分）。 第二個(gè)原理是基于圖像直方圖的值的分析?？梢杂脕?lái)計(jì)算圖像的平均灰度值的像素值的變化量。方差越大，現(xiàn)有的灰度值邊緣和圖像的對(duì)比度就越高。如果圖像變得不聚焦，那么之前的灰度值跳躍大的邊緣就會(huì)呈現(xiàn)斜坡形式的梯度，導(dǎo)致圖像的對(duì)比度降低。也就是說(shuō)，圖像越清晰，灰度擴(kuò)散越高，圖像中的對(duì)比度也就越高，圖像也越清晰。 在使用自動(dòng)對(duì)焦，焦距在改變過(guò)程中，圖像的銳利度和方差是會(huì)實(shí)時(shí)改變的，通過(guò)軟件進(jìn)行圖像銳利度以及方差的分析處理，達(dá)到一個(gè)效果顯著的清晰圖像。 自動(dòng)對(duì)焦技術(shù)的優(yōu)勢(shì)在哪？ 自動(dòng)對(duì)焦技術(shù)使用液態(tài)鏡頭來(lái)實(shí)現(xiàn)，與傳統(tǒng)透鏡有所不同，液體鏡頭是一種使用一種或多種液體制成的無(wú)機(jī)械連接的光學(xué)元件，可以通過(guò)外部控制改變光學(xué)元件的內(nèi)部參數(shù)，有著傳統(tǒng)光學(xué)透鏡無(wú)法比擬的性能。簡(jiǎn)單來(lái)說(shuō)就是透鏡的介質(zhì)由玻璃變?yōu)橐后w。更準(zhǔn)確地來(lái)說(shuō)就是一種動(dòng)態(tài)調(diào)整透鏡折射率或通過(guò)改變其表面形狀來(lái)改變焦距的新型光學(xué)元件。 就像利用玻璃制成的傳統(tǒng)光學(xué)鏡頭一樣，液體鏡頭也屬于單體光學(xué)元件，但其材質(zhì)是可以改變形狀的光學(xué)液態(tài)材料。玻璃鏡頭焦距取決于其材質(zhì)和曲率半徑。液態(tài)鏡頭也遵從相同的基本原理，但其獨(dú)特之處在于可以改變曲率半徑，從而改變焦距。這種半徑變化采用電控方式，能夠?qū)崿F(xiàn)毫秒級(jí)的變化。生產(chǎn)廠家利用從電潤(rùn)濕到形變聚合物再到聲光調(diào)節(jié)等各種技術(shù)，控制液態(tài)鏡頭曲率半徑和折射率。 大多數(shù)成像鏡頭都是多元件鏡頭，單光學(xué)鏡頭的成像性能難以滿足需要。因此只使用液態(tài)鏡頭是不明智的。但在多元件設(shè)計(jì)中結(jié)合使用液態(tài)鏡頭和成像鏡頭，就可以發(fā)揮液態(tài)鏡頭的速度和靈活性優(yōu)勢(shì)。液態(tài)鏡頭能夠以毫秒級(jí)的反應(yīng)時(shí)間在近距離或光學(xué)無(wú)窮遠(yuǎn)對(duì)焦，這對(duì)于條碼讀取、包裝分類、安保和快速自動(dòng)化等需要在多個(gè)位置進(jìn)行對(duì)焦的應(yīng)用來(lái)說(shuō)是一種理想選擇，這些被檢測(cè)物體要么尺寸不同，要么與鏡頭之間的距離不同。在需要快速對(duì)焦的各種應(yīng)用中，可以利用液態(tài)鏡頭提高成像系統(tǒng)靈活性。 【來(lái)源：光虎視覺(jué)內(nèi)部培訓(xùn)資料】

CXP2.0與5、10、25GigE

CoaXPress2.0 CoaXPress是專業(yè)和工業(yè)成像應(yīng)用（例如機(jī)器視覺(jué)、醫(yī)學(xué)成像、生命科學(xué)、廣播和國(guó)防）的全球最快標(biāo)準(zhǔn)。它是一種不對(duì)稱的點(diǎn)對(duì)點(diǎn)串行通信標(biāo)準(zhǔn)，可通過(guò)單根或多根同軸電纜傳輸視頻和靜止圖像，CXP 1.1相機(jī)已經(jīng)面世了十年，它具有用于視頻、圖像和數(shù)據(jù)的每條電纜高達(dá)6.25 Gbps的高速下行鏈路特點(diǎn)，其使用的標(biāo)準(zhǔn)連接器為75?BNC和DIN1.0/2.3；目前CXP1.1引入的單個(gè)通道最大傳輸速度為6.25Gbps，對(duì)于CXP-10，CXP 2.0將其提高到10 Gbps，對(duì)于CXP-12，CXP2.0將其提高到12.5 Gbps。 作為CXP協(xié)議的制定商之一的Active Silicon，CXP-12采集卡上行速度提高一倍，達(dá)到42Mbps，因此現(xiàn)在可以實(shí)現(xiàn)超過(guò)500kHz的觸發(fā)速率。實(shí)時(shí)觸發(fā)是CoaXPress眾所周知的優(yōu)勢(shì)，并且是許多工業(yè)檢測(cè)系統(tǒng)中的關(guān)鍵功能，值得注意的是，CXP-12采集卡首選的連接器是Micro-BNC，也稱為HD-BNC，使用更小的連接器能合并到更緊湊的硬件中；CXP2.0協(xié)議引入了多目標(biāo)功能，因此可以將數(shù)據(jù)從單個(gè)攝像機(jī)輸出到位于不同PC上的多個(gè)圖像采集卡。 該標(biāo)準(zhǔn)的未來(lái)版本有望包括對(duì)GenDC的正式支持，與預(yù)期的光接口的兼容性以及對(duì)串行通信的支持。速度可能會(huì)隨著技術(shù)的發(fā)展而提升。 5GigE IEEE 802.3bz-2016的發(fā)布旨在為雙絞線以太網(wǎng)連接提供增強(qiáng)的標(biāo)準(zhǔn)，速度為2.5和5 Gbps。獲得了當(dāng)前1 Gb和10 Gb以太網(wǎng)標(biāo)準(zhǔn)之間的中間速度。產(chǎn)生的標(biāo)準(zhǔn)稱為2.5GBase-T和5GBase-T，或2.5和5 GigE Vision?？赏ㄟ^(guò)標(biāo)準(zhǔn)的at5eC電纜以高達(dá)5 Gbps的速度傳輸，提供更大的靈活性。使用普通的銅雙絞線，該技術(shù)可以將數(shù)據(jù)傳輸容量提高到100米，而銅雙絞線往往是傳統(tǒng)系統(tǒng)中的標(biāo)準(zhǔn)配置。 2.5G超過(guò)100米Cat5e(D類)非屏蔽雙絞線銅纜 5Gb/s超過(guò)100米Cat5e(D類)非屏蔽雙絞線銅纜 5Gb/s超過(guò)100米Cat6(E類)非屏蔽雙絞線銅電纜 10GigE 10GigE(萬(wàn)兆以太網(wǎng))，一種以太網(wǎng)的傳輸標(biāo)準(zhǔn)，最初在2002年通過(guò)，成為 IEEE Std 802.3ae-2002。它規(guī)范了以 10 Gbit/s 的速率來(lái)傳輸?shù)囊蕴W(wǎng)，因?yàn)樗俾适?GigE以太網(wǎng)的十倍，因此得名。 10GBase-T連接中使用的標(biāo)準(zhǔn)銅纜（Cat6，Cat6a和Cat7）支持的最大長(zhǎng)度為100 m，這取決于所用電纜的類型。但是，Cat6電纜最多只能使用55 m的長(zhǎng)度，Cat6a或Cat7電纜的距離更長(zhǎng)；光纖電纜可提供更長(zhǎng)距離的傳輸，但需要轉(zhuǎn)換器來(lái)生成光信號(hào)和NIC卡中的光接收器，支持以太網(wǎng)供電（PoE）和同一根電纜。 25GigE 千兆以太網(wǎng)視覺(jué)發(fā)布于2006年，傳輸距離高達(dá)100m。當(dāng)攝像頭為低分辨率甚至現(xiàn)在使用中分辨率攝像頭（例如12Mpx）和低幀速率要求時(shí)，這種方法就可以工作。現(xiàn)在，為了獲得更高的分辨率并支持更高的幀速率（即更高的帶寬），業(yè)界開(kāi)始采用5、10和25 GigE視覺(jué)，這比原始GigE Vision接口快5、10和25倍。直到長(zhǎng)度為25GigE的點(diǎn)式光纜接管為止，電纜的長(zhǎng)度都會(huì)有所妥協(xié)。某些PC支持新的速度，但是實(shí)際上任何現(xiàn)代PC都可以添加相對(duì)便宜的網(wǎng)絡(luò)接口卡（NIC），能實(shí)現(xiàn)更高的速度。 25GigE SFP28接口提供了三個(gè)選項(xiàng)，可以滿足所有應(yīng)用的電纜長(zhǎng)度要求。第一種選擇是使用SFP28多模光纖模塊/收發(fā)器和LC-LC多模光纖電纜，電纜長(zhǎng)度從1M到70M。第二種選擇使用SFP28單模光纖模塊/收發(fā)器和LC-LC單模光纖電纜，電纜長(zhǎng)度范圍從1M到10KM。第三種選擇是使用低成本直接連接來(lái)連接1至5米之間的電纜。相比于CXP連接器，25 GigE的連接器碩大無(wú)比。 【來(lái)源：光虎視覺(jué)內(nèi)部培訓(xùn)資料】

相機(jī)標(biāo)定的理解及原理（二）

世界平面測(cè)量與校正 與觀察和檢查平面（平坦）表面或放置在此類表面（例如傳送帶）上的物體有關(guān)的視覺(jué)系統(tǒng)可以利用Adaptive Vision Studio的圖像到世界平面轉(zhuǎn)換機(jī)制，該機(jī)制可以： 從原始圖像上的位置計(jì)算現(xiàn)實(shí)世界的坐標(biāo)。例如，這對(duì)于與外部設(shè)備（例如工業(yè)機(jī)器人）的互操作性至關(guān)重要。假設(shè)在圖像上檢測(cè)到對(duì)象，并且需要將其位置傳輸?shù)綑C(jī)器人。檢測(cè)到的對(duì)象位置以圖像坐標(biāo)給出，但是機(jī)器人在現(xiàn)實(shí)世界中使用不同的坐標(biāo)系進(jìn)行操作，需要一個(gè)由世界平面定義的通用坐標(biāo)系。 將圖像校正到世界平面上。當(dāng)使用原始圖像進(jìn)行圖像分析不可行時(shí)（由于高度的鏡頭和/或透視失真），這是必需的。對(duì)校正圖像執(zhí)行的分析結(jié)果也可以轉(zhuǎn)換為由世界平面坐標(biāo)系定義的真實(shí)坐標(biāo)。另一個(gè)用例是將所有攝像機(jī)的圖像校正到公共世界平面上的多攝像機(jī)系統(tǒng)校正，從而在這些校正后的圖像之間提供簡(jiǎn)單且定義明確的關(guān)系，從而可以輕松疊加或拼接。 下圖顯示了圖像坐標(biāo)系。圖像坐標(biāo)以像素表示，原點(diǎn)（0,0）對(duì)應(yīng)于圖像的左上角。X軸從圖像的左邊緣開(kāi)始，并向右邊緣。Y軸從圖像的頂部開(kāi)始向圖像的底部開(kāi)始。所有圖像像素都具有非負(fù)坐標(biāo)。 圖像坐標(biāo)中的方向和像素位置 這個(gè)世界平面是一個(gè)特殊的平面，在真實(shí)的三維世界中定義。它可以任意放置在相機(jī)上，有一個(gè)定義的原點(diǎn)和XY軸。 下面的圖像顯示了世界平面。第一幅圖像呈現(xiàn)原始圖像，這是由一個(gè)尚未安裝在感興趣物體上方的相機(jī)拍攝的。第二個(gè)圖像顯示的是世界平面，它已與物體所在的表面對(duì)齊。這允許從原始圖像上的像素位置計(jì)算世界坐標(biāo)，或者進(jìn)行圖像校正，如下一幅圖像所示。 不完全定位的相機(jī)捕獲的感興趣對(duì)象 世界平面坐標(biāo)系疊加在原始圖像上 圖像到世界平面坐標(biāo)的計(jì)算 圖像校正，在世界坐標(biāo)下，將從點(diǎn)(0，0)到(5，5)的區(qū)域裁剪 如何實(shí)現(xiàn)相機(jī)標(biāo)定？ 使用針孔相機(jī)模型 濾波器通過(guò)有效地最小化RMS重投影誤差（圖像上觀察到的網(wǎng)格點(diǎn)之間的平均平方距離的平方根），從一組平面校準(zhǔn)網(wǎng)格中估計(jì)攝像機(jī)的固有參數(shù)-焦距，主點(diǎn)位置和畸變系數(shù)，使用估計(jì)的參數(shù)（即網(wǎng)格姿態(tài)和相機(jī)參數(shù)）將關(guān)聯(lián)的網(wǎng)格坐標(biāo)投影到圖像平面上。如果至少一個(gè)校準(zhǔn)網(wǎng)格不垂直于相機(jī)的光軸，則可以通過(guò)濾鏡計(jì)算焦距?；蛘?，可以通過(guò)inFocalLength將焦距設(shè)置為固定值。inFocalLength以像素為單位測(cè)量，可以通過(guò)傳感器和鏡頭參數(shù)計(jì)算得出： 其中f_pix焦距測(cè)量為像素，f_鏡頭焦距測(cè)量為毫米，pp-傳感器像素間距測(cè)量為每像素毫米，d-攝像機(jī)結(jié)合或/和圖像縮小因子。 InFocalLength也可以從視角獲得，對(duì)于水平情況，適用以下公式： 其中f_pix焦距以像素為單位，w-圖像寬度，α-水平視角 支持一些失真模型類型。最簡(jiǎn)單的部門支持大多數(shù)用例，即使校準(zhǔn)數(shù)據(jù)稀疏也具有可預(yù)測(cè)的行為。高階模型可能更準(zhǔn)確，但是它們需要更大的高質(zhì)量校準(zhǔn)點(diǎn)數(shù)據(jù)集，通常需要在低于0.1 pix的整個(gè)圖像量級(jí)上實(shí)現(xiàn)高水平的位置精度。當(dāng)然，這只是經(jīng)驗(yàn)法則，因?yàn)槊總€(gè)鏡頭都不同，并且有例外。 失真模型類型與OpenCV兼容，并使用標(biāo)準(zhǔn)化圖像坐標(biāo)用方程表示： 分部失真模型 多項(xiàng)式失真模型 多項(xiàng)式--薄棱鏡畸變模型其中，x’和y’不失真，x”和y”是失真的歸一化圖像坐標(biāo)。 相機(jī)模型可直接用于獲取未失真的圖像（該圖像將由具有相同基本參數(shù)的相機(jī)拍攝，但不存在鏡頭失真），但是在大多數(shù)情況下，相機(jī)校準(zhǔn)只是某些條件的先決條件其他操作。例如，當(dāng)使用照相機(jī)檢查平面（或放置在該表面上的物體）時(shí)，需要照相機(jī)模型來(lái)執(zhí)行世界平面校準(zhǔn) 一組用于基本校準(zhǔn)的柵格圖像 使用OUT ReprojectionErrorSegments用于識(shí)別圖像點(diǎn)及其網(wǎng)格坐標(biāo)的不良關(guān)聯(lián)。 InImageGrids-兩分交換校準(zhǔn)網(wǎng)格的提取 相機(jī)校準(zhǔn)和圖像到世界平面的轉(zhuǎn)換計(jì)算均使用具有網(wǎng)格索引的圖像點(diǎn)陣列形式的提取的校準(zhǔn)網(wǎng)格，即帶注釋的點(diǎn)。 網(wǎng)格的實(shí)際坐標(biāo)是2D，因?yàn)槠矫婢W(wǎng)格上任何點(diǎn)的相對(duì)坐標(biāo)都是0。 Adaptive Vision Studio為幾種標(biāo)準(zhǔn)網(wǎng)格格式提供了提取過(guò)濾器（例如DetectCalibrationGrid_Chessboard和DetectCalibrationGrid Circles）。 獲得高精度結(jié)果的最重要因素是提取的校準(zhǔn)點(diǎn)的精度和準(zhǔn)確性。校準(zhǔn)網(wǎng)格應(yīng)盡可能平坦且堅(jiān)硬（紙板不是合適的支撐材料，厚玻璃是完美的選擇）。拍攝校準(zhǔn)圖像時(shí)，請(qǐng)注意適當(dāng)?shù)臈l件：通過(guò)適當(dāng)?shù)南鄼C(jī)和柵格安裝座最大程度地減少運(yùn)動(dòng)模糊，防止來(lái)自校準(zhǔn)表面的反射（最好使用漫射照明）。使用自定義校準(zhǔn)網(wǎng)格時(shí)，請(qǐng)確保點(diǎn)提取器可以達(dá)到亞像素精度。驗(yàn)證真實(shí)網(wǎng)格坐標(biāo)的測(cè)量結(jié)果是否準(zhǔn)確。另外，使用棋盤格校準(zhǔn)格時(shí)，請(qǐng)確保整個(gè)校準(zhǔn)格在圖像中可見(jiàn)。否則，將不會(huì)檢測(cè)到它，因?yàn)闄z測(cè)算法需要在棋盤周圍有幾個(gè)像素寬的空白區(qū)域。請(qǐng)注意列數(shù)和行數(shù)，因?yàn)樘峁┱`導(dǎo)性數(shù)據(jù)可能會(huì)使算法無(wú)法正常工作或根本無(wú)法工作。 使用圓點(diǎn)標(biāo)定板的圖片示例： 使用棋盤標(biāo)定版的圖片示例，只需要拍攝標(biāo)定板的圖片，并通過(guò)ImageObjectsToWorldPlane：Points過(guò)濾器模塊，輸入棋盤格的尺寸以及棋盤格所對(duì)應(yīng)的像素，即可實(shí)現(xiàn)相機(jī)標(biāo)定以及畸變校正。 再輸入棋盤格每個(gè)方形格的實(shí)際尺寸，即可實(shí)現(xiàn)世界坐標(biāo)轉(zhuǎn)換圖像坐標(biāo)。 【來(lái)源：光虎視覺(jué)內(nèi)部培訓(xùn)資料】

相機(jī)標(biāo)定的理解及原理（一）

相機(jī)標(biāo)定，是一個(gè)估計(jì)相機(jī)模型參數(shù)的過(guò)程：一組描述圖像捕獲過(guò)程內(nèi)部幾何形狀的參數(shù)。

光虎光學(xué)教學(xué)實(shí)驗(yàn)平臺(tái)手冊(cè)

光虎光學(xué)技術(shù)手冊(cè) 2021年第3版