구차니의 잡동사니 모음

이걸 위해서(!)

nvme도 사고,

노트북 뚜껑도 따고,

ubuntu 24.04도 깔고!

귀찮아서 export 는 빼고 진행 중

ubuntu 24.04 에서 진행해서 마지막 패키지 명은 변경

ros-desktop-full 이렇게 하지 왜 저런 이상한(?) 짓을 하고 그래?!?!

[링크 : https://docs.ros.org/en/humble/Installation/Ubuntu-Install-Debs.html]

잘 보니.. ubuntu의 이름이 아니라 ROS 2의 이름을 우분투 버전별로 지은거였네? 미친 ?!?!

[링크 : https://docs.ros.org/en/jazzy/Releases.html]

어우... full 이라 그런가 정말 흉악한 갯수가 설치되네

rviz도 실행!

[링크 : https://docs.ros.org/en/humble/Tutorials/Intermediate/RViz/RViz-User-Guide/RViz-User-Guide.html#install-or-build-rviz]

이제 kinect2를 보면 되려나?

링크와는 다르게 내용상으로는 preview 시절(?) api 같은데

colorframe -> depth

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect/dn791296(v=ieb.10)?redirectedfrom=MSDN]

depth -> colorframe 가 존재한다.

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect/dn791303(v=ieb.10)?redirectedfrom=MSDN]

    [링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect/dn758445(v=ieb.10)?redirectedfrom=MSDN]

v1.8에도 존재 (링크 사라짐)

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect-1.8/jj663707(v=ieb.10)]

   [링크 : https://stackoverflow.com/questions/17012585/how-do-you-map-kinects-depth-data-to-its-rgb-color]

그래서 함수 명으로 검색했는데 좀 이름이 다르다.

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect-1.8/jj883691(v=ieb.10)]

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect-1.8/jj883688(v=ieb.10)]

심심해서(?) 실행해봤는데 어라...

아무래도 depth 카메라와 rgb 카메라의 거리가 떨어져있어서 시차로 인한 오류가 발생을 하는지

특수한 각도에서는 다음과 같이 이상하게 맵핑이 된다.

(노트북 뒤로 몽둥이를 들고 있는데 3d로 합성된 쪽에서는 투명하게 뚫는 것 처럼 보임)

libfreenect2의 한계인가.. 아니면 윈도우 버전도 이럴려나?

libfreenect2 내의 매핑 코드가 이해가 안되서 다른걸 찾아보는데 여전히 이해가 안된다..

코드 상으로는 크게 차이가 없는 것 같지만, color map에 depth map을 합성하는게 더 자연스러워 보이는 것 같다.

The following snippet shows us how to locate the color bytes from the ColorSpacePoint: // we need a starting point, let's pick 0 for now int index = 0;   ushort depth = _depthData[index]; ColorSpacePoint point = _colorSpacePoints[index];   // round down to the nearest pixel int colorX = (int)Math.Floor(point.X + 0.5); int colorY = (int)Math.Floor(point.Y + 0.5);   // make sure the pixel is part of the image if ((colorX >= 0 && (colorX < colorWidth) && (colorY >= 0) && (colorY < colorHeight)) {       int colorImageIndex = ((colorWidth * colorY) + colorX) * bytesPerPixel;       byte b = _colorFrameData[colorImageIndex];     byte g = _colorFrameData[colorImageIndex + 1];     byte r = _colorFrameData[colorImageIndex + 2];     byte a = _colorFrameData[colorImageIndex + 3];   }

그나저나 depth sensor가 더 FOV가 넓어서 왜곡되다보니

depth map에 맵핑했을 경우에는 lens 왜곡 보정을 한 것 같기도 한데

코드 상에는 별 내용이 없는 것 같기도 하고.. 멀 한거지?

// clear the pixels before we color them Array.Clear(_pixels, 0, _pixels.Length);   for (int depthIndex = 0; depthIndex < _depthData.Length; ++depthIndex) {     ColorSpacePoint point = _colorSpacePoints[depthIndex];       int colorX = (int)Math.Floor(point.X + 0.5);     int colorY = (int)Math.Floor(point.Y + 0.5);     if ((colorX >= 0) && (colorX < colorWidth) && (colorY >= 0) && (colorY < colorHeight))     {         int colorImageIndex = ((colorWidth * colorY) + colorX) * bytesPerPixel;         int depthPixel = depthIndex * bytesPerPixel;           _pixels[depthPixel] = _colorData[colorImageIndex];         _pixels[depthPixel + 1] = _colorData[colorImageIndex + 1];         _pixels[depthPixel + 2] = _colorData[colorImageIndex + 2];         _pixels[depthPixel + 3] = 255;     } }

[링크 : https://www.bryancook.net/2014/03/mapping-between-kinect-color-and-depth.html]

    [링크 : https://stackoverflow.com/questions/29479746/kinect-v2-color-depth-mapping-using-c-sharp]

[링크 : https://kr.mathworks.com/matlabcentral/answers/268152-mapping-rgb-and-depth-kinect-v2]

[링크 : https://learn.microsoft.com/en-us/previous-versions/windows/kinect/dn758445(v=ieb.10)?redirectedfrom=MSDN]

    [링크 : https://tommyhsm.tistory.com/124]

libfreenct의 Protonect 실행하는 부분에서, rgb와 depth를 어떻게 매핑하는지 궁금해서 찾아보는데 크게 자료가 있진 않다.

[링크 : https://github.com/OpenKinect/libfreenect2/blob/fd64c5d9b214df6f6a55b4419357e51083f15d93/examples/Protonect.cpp#L348]

[링크 : https://github.com/OpenKinect/libfreenect2/blob/fd64c5d9b214df6f6a55b4419357e51083f15d93/src/registration.cpp#L123]

보기에는 단순하게 변형하고 잘라서 깊이정보를 주는것 같은데.. 맞나?

[링크 : https://tommyhsm.tistory.com/124]

[링크 : https://www.researchgate.net/publication/340527659_Color_and_depth_mapping_of_Kinect_v2]

[링크 : https://m.blog.naver.com/sense_sciencefiction/221967976514]

ROS 보다보니 QoS 이야기가 나와서 조사

그런데 정작 찾아봐도 적용방법이 잘 안보인다.

conf 파일에서는 max_qos와 topic patern에 추가하는 정도?

[링크 : https://mosquitto.org/man/mosquitto-conf-5.html]

QoS는 0,1,2가 존재한다. 그런데 기본값이 멀까..?

[링크 : https://mosquitto.org/man/mqtt-7.html]

초당 32000 메시지라.. 느린거 걱정안해도 될 것 같기도 하고?

[링크 : https://hel-p.tistory.com/18]

[링크 : https://dalkomit.tistory.com/111]

[링크 : https://www.ibm.com/docs/ko/ibm-mq/9.2.x?topic=concepts-qualities-service-provided-by-mqtt-client]

와!! 이런 개꿀 명령어가?!?!?

직접 키 복사해서 넣어도 되지만 한번만 접속하면 알아서 복사해주니 개 꿀!

[링크 : https://linux.die.net/man/1/ssh-copy-id]

[링크 : https://itzone.tistory.com/694]

kinect 로 촬영한 골격 정보를 저장해두고 그걸 blender에서 armature에 붙여서 움직여 주는 듯?

[링크 : https://www.youtube.com/watch?v=djzzgSiEa04]

다만 아쉽게도(?) kinect sdk를 사용하는거라 윈도우에서만 가능.

그런데 블렌더가.. 키 프레임 애니메이션일텐데 live capture 를 live render 할 수 있나?

[링크 : https://marcojrfurtado.github.io/KinectAnimationStudio/]

깊이가 선형적으로 나오는 게 아닌건가? 나중에 확인을 해봐야겠다.

50cm 에서는 1.5mm 정밀도고 5m 에서는 5cm라..

[링크 : https://stackoverflow.com/questions/7696436/precision-of-the-kinect-depth-camera]

[링크 : https://pmc.ncbi.nlm.nih.gov/articles/PMC9002889/]

ros 1, ros 2 책을 대충 봤는데

MQTT를 이용해서 노드별로 데이터를 주고받는 것에 치중하고

어떻게 실행한다는 많아도 어떻게 파일을 구성해서 작동시킨다는 내용이 얼마 없어서

정작 도움이 안되었다는게 함정..

rviz 쪽을 따로 봐야하나?

[링크 : https://product.kyobobook.co.kr/detail/S000028165712] ROS 1

[링크 : https://www.yes24.com/Product/Goods/102949767] ROS 2