구차니의 잡동사니 모음

intel 7세대 노트북에서

별 옵션 주지 않고 cmake 하니까 아래와 같이 설정이 된다.

2세대 에서는 OpenCL yes, VAAPI no 였다.

그래서 떴던거 같아서 다시 실행해보니 ir 과 depth는 정상이고 rgb의 폭이 이상해서

3d로 재구성된 녀석도 이상하게 나온다.

그래서 VAAPI를 끄고 빌드해서 실행해보니

영상은 정상적으로 보이는데, transfer pool size가 달라지진 않네.. 머지?

다른 사용자의 것과는 다르게 알아서 시리얼을 확인하고 그냥 선택한다.

그때는 물려볼게 없어서 안 죽었나 싶긴한데.

요건 wayland 에서 한 거(우분투 기본 값이니)

X 에러가 나서 혹시나 해 로그아웃했다가 wayland에서 x.org로 변경해서 했는데 흐음..

안되는건 여전하네. 모르겠다! ㅠㅠ

흐음.. --params-file이 많은걸 제외하면 별 특별한건 없어 보이는데..

혹시나 해서 VAAPI를 쓴 libfreenect2의 문제인가 해서 빌드도 해서 바꾸어 봤는데 차이가 없다

머가 문제일까...

아놔... 어떻게 보면 그 쪽에서는 중요할지도 모르지만

컴퓨터 쪽 까지도 PC가 침범하게 될 줄이야.. -_-

[링크 : https://fabric0de.tistory.com/5]

[링크 : https://castellan.tistory.com/79]

다시 제대로 된(?) 녀석을 받고

[링크 : https://github.com/krepa098/kinect2_ros2]

어떻게 설치해서 빌드하는데

kinect2_calibration에서 에러가 발생한다.

이리저리 찾아보다가 안되서 cv_bridge로 검색하니 include에 있는데.. 어? h가 아니라 hpp?

그래서 cv_bridge.h를 cv_bridge.hpp 로 바꾸어주고

빌드하니 성공!

[링크 : https://docs.ros.org/en/jade/api/cv_bridge/html/c++/cv__bridge_8h_source.html]

    [링크 : https://docs.ros.org/en/jade/api/cv_bridge/html/c++/cv__bridge_8h.html]

그래서 뭔가를 실행하려고 하니 에러가 나서

패키지 잔뜩 깔아주니

실행에 성공. 키넥트는 나중에 붙여서 slam 되나 봐야겠다.

---

이것저것 해보는데 되는게 없다.

[링크 : https://www.reddit.com/r/ROS/comments/1f8bupf/cv_bridgeh_not_found_ros2/]

[링크 : https://robotics.stackexchange.com/questions/112861/cv-bridge-h-not-found-ros2]

[링크 : https://answers.ros.org/question/308043/]

[링크 : https://docs.ros.org/en/rolling/Releases/Release-Rolling-Ridley.html]

다시 보니 이상한(?) 저장소 걸 받아놓고 고생중.. -_-

[링크 : https://github.com/YuLiHN/kinect2_ros2] << 요걸로 고생중

[링크 : https://github.com/krepa098/kinect2_ros2]

    [링크 : https://github.com/paul-shuvo/iai_kinect2_opencv4/tree/master]

    [링크 : https://github.com/code-iai/iai_kinect2]

---

시도중..

[링크 : https://github.com/krepa098/kinect2_ros2]

step 1. colcon을 설치한다.

step 2. 프로젝트를 다운로드 한다.

step3. 빌드한다.

step 4. 런쳐 스크립트 명을 찾고

step 5. 실행한다

step 6. 파일을 수정한다. (둘다)

Step 7. 다시 실행한다. 

src 쪽만 수정하였을 경우

둘다 수정하였을 경우

step 8. 먼가 실행해본다. (실패)

step 9. 깔아본다.

[링크 : https://index.ros.org/p/rtabmap_launch/]

step 10. 안된다!! 젠장!

---

실행시 필요한 launch.py 파일명 참조

[링크 : https://github.com/paul-shuvo/iai_kinect2_opencv4/blob/master/kinect2_bridge/launch/kinect2_bridge.launch]

[링크 : https://github.com/paul-shuvo/iai_kinect2_opencv4]

문서를 찾아보는데 catkin_make 라는걸 쓴다고 해서 해보는데 영 안되서

혹시나 해서 찾아보니.. catkin_make는 ros용

ros2는 concol 이라는걸 쓴다고 한다.

[링크 : https://changun516.tistory.com/203]

[링크 : https://github.com/ros/catkin/issues/1178]

+

그러니까 얘네는 ros 1이란거

[링크 : https://hoonney.tistory.com/20]

[링크 : https://wiki.ros.org/catkin/Tutorials/create_a_workspace]

+

어우. 되면 좋겠네

[링크 : https://velog.io/@hwang-chaewon/ROS2035]

[링크 : https://velog.io/@i_robo_u/개발자와-함께하는-ROS2-Humble에서-colcon으로-ROS2-workspace작업공간-구성하기]

이걸 위해서(!)

nvme도 사고,

노트북 뚜껑도 따고,

ubuntu 24.04도 깔고!

귀찮아서 export 는 빼고 진행 중

ubuntu 24.04 에서 진행해서 마지막 패키지 명은 변경

ros-desktop-full 이렇게 하지 왜 저런 이상한(?) 짓을 하고 그래?!?!

[링크 : https://docs.ros.org/en/humble/Installation/Ubuntu-Install-Debs.html]

잘 보니.. ubuntu의 이름이 아니라 ROS 2의 이름을 우분투 버전별로 지은거였네? 미친 ?!?!

[링크 : https://docs.ros.org/en/jazzy/Releases.html]

어우... full 이라 그런가 정말 흉악한 갯수가 설치되네

rviz도 실행!

[링크 : https://docs.ros.org/en/humble/Tutorials/Intermediate/RViz/RViz-User-Guide/RViz-User-Guide.html#install-or-build-rviz]

이제 kinect2를 보면 되려나?

링크와는 다르게 내용상으로는 preview 시절(?) api 같은데

colorframe -> depth

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect/dn791296(v=ieb.10)?redirectedfrom=MSDN]

depth -> colorframe 가 존재한다.

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect/dn791303(v=ieb.10)?redirectedfrom=MSDN]

    [링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect/dn758445(v=ieb.10)?redirectedfrom=MSDN]

v1.8에도 존재 (링크 사라짐)

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect-1.8/jj663707(v=ieb.10)]

   [링크 : https://stackoverflow.com/questions/17012585/how-do-you-map-kinects-depth-data-to-its-rgb-color]

그래서 함수 명으로 검색했는데 좀 이름이 다르다.

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect-1.8/jj883691(v=ieb.10)]

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect-1.8/jj883688(v=ieb.10)]

심심해서(?) 실행해봤는데 어라...

아무래도 depth 카메라와 rgb 카메라의 거리가 떨어져있어서 시차로 인한 오류가 발생을 하는지

특수한 각도에서는 다음과 같이 이상하게 맵핑이 된다.

(노트북 뒤로 몽둥이를 들고 있는데 3d로 합성된 쪽에서는 투명하게 뚫는 것 처럼 보임)

libfreenect2의 한계인가.. 아니면 윈도우 버전도 이럴려나?

libfreenect2 내의 매핑 코드가 이해가 안되서 다른걸 찾아보는데 여전히 이해가 안된다..

코드 상으로는 크게 차이가 없는 것 같지만, color map에 depth map을 합성하는게 더 자연스러워 보이는 것 같다.

The following snippet shows us how to locate the color bytes from the ColorSpacePoint: // we need a starting point, let's pick 0 for now int index = 0;   ushort depth = _depthData[index]; ColorSpacePoint point = _colorSpacePoints[index];   // round down to the nearest pixel int colorX = (int)Math.Floor(point.X + 0.5); int colorY = (int)Math.Floor(point.Y + 0.5);   // make sure the pixel is part of the image if ((colorX >= 0 && (colorX < colorWidth) && (colorY >= 0) && (colorY < colorHeight)) {       int colorImageIndex = ((colorWidth * colorY) + colorX) * bytesPerPixel;       byte b = _colorFrameData[colorImageIndex];     byte g = _colorFrameData[colorImageIndex + 1];     byte r = _colorFrameData[colorImageIndex + 2];     byte a = _colorFrameData[colorImageIndex + 3];   }

그나저나 depth sensor가 더 FOV가 넓어서 왜곡되다보니

depth map에 맵핑했을 경우에는 lens 왜곡 보정을 한 것 같기도 한데

코드 상에는 별 내용이 없는 것 같기도 하고.. 멀 한거지?

// clear the pixels before we color them Array.Clear(_pixels, 0, _pixels.Length);   for (int depthIndex = 0; depthIndex < _depthData.Length; ++depthIndex) {     ColorSpacePoint point = _colorSpacePoints[depthIndex];       int colorX = (int)Math.Floor(point.X + 0.5);     int colorY = (int)Math.Floor(point.Y + 0.5);     if ((colorX >= 0) && (colorX < colorWidth) && (colorY >= 0) && (colorY < colorHeight))     {         int colorImageIndex = ((colorWidth * colorY) + colorX) * bytesPerPixel;         int depthPixel = depthIndex * bytesPerPixel;           _pixels[depthPixel] = _colorData[colorImageIndex];         _pixels[depthPixel + 1] = _colorData[colorImageIndex + 1];         _pixels[depthPixel + 2] = _colorData[colorImageIndex + 2];         _pixels[depthPixel + 3] = 255;     } }

[링크 : https://www.bryancook.net/2014/03/mapping-between-kinect-color-and-depth.html]

    [링크 : https://stackoverflow.com/questions/29479746/kinect-v2-color-depth-mapping-using-c-sharp]

[링크 : https://kr.mathworks.com/matlabcentral/answers/268152-mapping-rgb-and-depth-kinect-v2]

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect/dn758445(v=ieb.10)?redirectedfrom=MSDN]

    [링크 : https://tommyhsm.tistory.com/124]

libfreenct의 Protonect 실행하는 부분에서, rgb와 depth를 어떻게 매핑하는지 궁금해서 찾아보는데 크게 자료가 있진 않다.

[링크 : https://github.com/OpenKinect/libfreenect2/blob/fd64c5d9b214df6f6a55b4419357e51083f15d93/examples/Protonect.cpp#L348]

[링크 : https://github.com/OpenKinect/libfreenect2/blob/fd64c5d9b214df6f6a55b4419357e51083f15d93/src/registration.cpp#L123]