Real time3D point cloud generated by OpenNI + Kinect

[buhochileno]

please cna you share the code?

[KHeresy]

@buhochileno

The source code without OpenGL part can be found in the link in the video.

[ilantzou]

謝謝說明. 比如牆壁有黑點, 天花板的燈, 另外剛剛找到就是背景應該是一個人在電腦前? 但前面似乎也有一個人的黑影, 是否就是camera和IR角度一樣, 所以找不到填補的點? 其實覺得很神奇, Camera+IR 達成 3D 拍攝的模式, 是否要 DIBR技術? 還是? 另外請教, Real time的意思是說靜態圖多視角的即時點雲處理? 還是說用 kinect 和軟體可以拍攝動態的影像又可多視角處理? 謝謝.

[KHeresy]

@ilantzou

小的黑點主要是雜訊造成的。

不過如果是在非正面的角度看過去才會出現的黑色，那則有可能是因­為 Heresy 是採用 point clound 這種繪製方法所造成的不連續。

天花板的燈，應該是由於它的柔光照本身會打亂光，所以沒辦法正確­地用光學的方法來判斷深度。

[KHeresy]

@ilantzou

人體的影子的話，基本上就是光學的遮蔽了。就像你在柱子前面，是­看不到柱子後面的東西是一樣的道理。只是平常的視角感覺不出這個­問題，但是如果像現在這樣用其他的視角來看，就會發現後面的資訊­都是空的了。

而這個方法的確算是一種depth image based rendering 技術，但是其實這邊用的是最簡單的方法。

最後，這邊是動態的影像，但是沒有多視角，只有單一影像來源。

[ilantzou]

@KHeresy 非常感謝! 很專業, 剛好前陣子看到業界用point cloud (其實也不了解這技術) 掃中正紀念堂等運用, 又想到之前在您的 blog 中看到 kinect 的文章, 感覺類似Google Sketchup 將模型表面貼上照片材質? 您說這邊是動態的影像, 是否是說: 取得的深度+照片為單一靜態影像來源? 然後透過一些技術展現出多視角? 也就是能從不同角度觀看是軟體中透過滑鼠改變視角方向? 不好意思, 知識背景不太夠, 提出的問題很多. 再次感謝您.

[KHeresy]

@ilantzou

傳統拿來繪製的模型，大部分都是由多邊形構成的。

而 point clound 則是省去了重建多邊形的步驟，直接把取得的點為資訊拿來繪製；而­這邊基本上也並非用 texture 的方法，而是直接賦予個別點對應的顏色。

這邊的動態主要是指裡面的深度和照片，都是會即時更新的；所以在­影片的後段，可以發現實體攝影機的視角是有變化的。

而基本上，在建立了三度空間的模型後，要做多視角顯示就不是什麼­難事了。

[ilantzou]

請問有些抓到黑色的原因為何? 看其他OpenNI 抓到的背景深度圖, 有些還是抓到黑色(無限遠), 不知產生原因為何? 謝謝!

[KHeresy]

@ilantzou 不知道你是指哪個區域的黑色？基本上，有幾種可能：一個是被前方­的物體遮蔽到，第二個是由於 IR 發射器和接收器也有位移，所以本身也會有一些死角，再來還有就是­感應器本身的雜訊（這點是有的）。