장보고 와서는 완전 피곤해서 한 3시간 넘게 기절했던 것 같다.

원래 자전거 좀 손보고 타려고 했는데 끄응..

운전하면서사도 꾸벅꾸벅.

외근 다녀왔더니 줄서서 기다리는 진기한 풍경 -_ㅠ

Visual Geometry Group

VGG 뒤의 숫자는 CNN 레이어의 갯수

CNN(Convolutional Neural network) - 나선형의/복잡한 신경망으로 해석이 되나?

[링크 : https://wikidocs.net/164796]

탐지도 되긴 하나본데...

[링크 : https://github.com/zubairsamo/Object-Detection-With-Tensorflow-Using-VGG16]

keras에 있는 VGG16을 그냥 바로 써서 간단하게 되네..

게다가 save load도 되는데 왜 난 안될까.. ㅠㅠ

[링크 : https://github.com/zubairsamo/Object-Detection-With-Tensorflow-Using-VGG16/blob/main/Object_Detection_Using_VGG16_With_Tensorflow.ipynb]

모델 zoo 에서 보다보면 먼가 주르르륵 붙는데

솔찍히 mobilenet v2가 무엇인지, ssd는 또 무엇인지 몰라서 헷갈려서 조사

근데.. FPN은 전에 검색해둔 기억이 있는데 가물가물하네..

base network (MobileNetV2)

- 신경망(neural network)로 구성되어 있으며 분류(classification)나 탐지(detection)에 사용이 가능함

- 네트워크의 마지막에 softmax 레이어가 있으면 분류로 작동

detection network (Single Shot Detector or SSD)

- SSD(Single ShotDetection)나 RPN(Regional Proposal Network / R-CNN)를 이용하여

- 이미지 내의 여러 물체를 감지하고, 지역을 제안(ROI)함.

- R-CNN : Regions with Convolutional Neural Networks

[링크 : https://kr.mathworks.com/help/vision/ug/getting-started-with-r-cnn-fast-r-cnn-and-faster-r-cnn.html]

feature extractor (FPN-Lite)

SSD의 경우 너무 가깝거나(즉 너무 크거나, 일부만 확대되어 보일 경우) 작은경우(멀거나, 원래 작거나) 탐지를 못하는 경우가 있어

피라미드 모양으로 쌓은 FPN(Feature Pyramid Network)를 통해 특징을 추출하여 다양한 규모의 물체를 감지

SSD 에서는 Pyramid Feature Hierachy 라는 방식을 이용하여, 서로 다른 스케일의 특징 맵을 이용하여 멀티 스케일 특징을 추출

[링크 : https://eehoeskrap.tistory.com/300]

근데 내용만 봐서는 SSD + mobilenet v2 + FPN이 조합이 가능한건지 모르겠다?

In the MobileNetV2 SSD FPN-Lite, we have a base network (MobileNetV2), a detection network (Single Shot Detector or SSD) and a feature extractor (FPN-Lite). Base network: MobileNet, like VGG-Net, LeNet, AlexNet, and all others, are based on neural networks. The base network provides high-level features for classification or detection. If you use a fully connected layer and a softmax layer at the end of these networks, you have a classification.   Example of a network composed of many convolutional layers. Filters are applied to each training image at different resolutions, and the output of each convolved image is used as input to the next layer (source Mathworks) But you can remove the fully connected and the softmax layers, and replace it with detection networks, like SSD, Faster R-CNN, and others to perform object detection. Detection network: The most common detection networks are SSD (Single Shot Detection) and RPN (Regional Proposal Network). When using SSD, we only need to take one single shot to detect multiple objects within the image. On the other hand, regional proposal networks (RPN) based approaches, such as R-CNN series, need two shots, one for generating region proposals, one for detecting the object of each proposal. As a consequence, SSD is much faster compared with RPN-based approaches but often trades accuracy with real-time processing speed. They also tend to have issues in detecting objects that are too close or too small. Feature Pyramid Network: Detecting objects in different scales is challenging in particular for small objects. Feature Pyramid Network (FPN) is a feature extractor designed with feature pyramid concept to improve accuracy and speed.

[링크 : https://docs.edgeimpulse.com/docs/edge-impulse-studio/learning-blocks/object-detection/mobilenetv2-ssd-fpn]

이전에꺼는 save를 못해먹겠어서 (checkpoint를 pb로 변환하거나 해야 하는데 그것도 안되고...)

다른 것 찾는 중

[링크 : https://www.kaggle.com/code/suraj520/mobilenet-v2-ssd-scratch-without-tfod]

위에껀 아래와 같이 sequential 이라던가 이런게 없어서.. 또 저장안되는거 아닌가 걱정중..

[링크 : https://www.tensorflow.org/tutorials/keras/save_and_load?hl=ko]

[링크 : https://www.tensorflow.org/hub/exporting_tf2_saved_model?hl=ko]

nnstreamer python 예제를 보다보니, 아래와 같이 pipeline 문자열을 이용해서 구성하고

이름으로 싱크를 찾아 콜백을 연결해 주는걸 보니, 일일이 element 생성해서 연결할 필요가 없을 것 같아서 검색중

parse쪽은 c 로는 아래의 함수를 쓰면 될 것 같은데

[링크 : https://gstreamer.freedesktop.org/documentation/gstreamer/gstparse.html?gi-language=c]

아래의 함수를 이용해서 찾으면 될...지도?

[링크 : https://gstreamer.freedesktop.org/documentation/gstreamer/gstbin.html?gi-language=c#gst_bin_get_by_name]

interactive python 해서 ipython인가?

notebook은 ipython 꺼였는데 jupyter의 일부가 되었다고 한다.

[링크 : https://ipython.org/install.html]

[링크 : https://pypi.org/project/ipython/]

[링크 : https://yujuwon.tistory.com/m/entry/ipython-노트북-설치하기]

M710이 G4600 보다 많이 느려서 다시 한번 보니 G4400T HD510... -_-

G4600T는 그래도 HD630 인데 너무차이나잖아? 싶어서

intel ark 보니 G4400T는 스카이레이크, G4600T는 카비레이크. 그래서 유튜브가 이상하리 만치 느렸구나!

CPU를 찾아보니 G4600T보다 i3-7100T가 오히려 구하기 더 쉬운 느낌..

[링크 : https://psref.lenovo.com/syspool/Sys/PDF/ThinkCentre/ThinkCentre_M710_Tiny/ThinkCentre_M710_Tiny_Spec.pdf]

버전 정보 추적

python 3.7

keras 2.8.0

numpy 1.21.6

[링크 : https://github.com/saunack/MobileNetv2-SSD/blob/master/model.ipynb]

설치한 버전들

------

keras 2.8을 써야 한다고 나오니 keras의 릴리즈 날짜로 추적

[링크 : https://github.com/keras-team/keras/tags?after=v2.9.0-rc1]

tensorflow 버전 추적

[링크 : https://github.com/tensorflow/tensorflow/tags?after=v2.7.2]

protobuf 3.19.0

numpy 1.24.4 (1.25 미만)

------

으아아아아 tensorflow가 문제냐 keras가 문제냐 ㅠㅠ

tf_v2 끄고 하면 아래와 같이 나오고

tf_v2를 쓰게 하면

사용자 쪽 코드로 문제를 넘기는데 머가 문제일까..

버전이 문제였고 tensorflow는 그냥 v2로 쓰면 되는거였네 -_-

최초는 2020년 7월 22일, 나중은 2022년 7월 21일(2년 만!)

[링크 : https://github.com/saunack/MobileNetv2-SSD/commits/master/model.ipynb]

[링크 : https://github.com/saunack/MobileNetv2-SSD/blob/master/model.ipynb]

모델 저장(실패)

에러는 아래와 같이 나옴

[링크 : https://stackoverflow.com/questions/51806852/cant-save-custom-subclassed-model]

[링크 : https://www.tensorflow.org/guide/keras/save_and_serialize?hl=ko]

[링크 : https://github.com/tensorflow/tensorflow/issues/29545]

에라이 저장을 못하겠다!

[링크 : https://www.tensorflow.org/lite/convert?hl=ko]

엉뚱(?)한데서 터지는 느낌인데

tensorflow 버전을 2.14.0 으로 올려야 하나? 2.8.0이 아니라?

[링크 : https://www.tensorflow.org/api_docs/python/tf/keras/layers/Add]

+

24.01.11

2.14.0 으로 한다고 달라지는 건 없음.. 도대체 Add 객체는 멀까?

+

def SSD()  로 생성된걸 keras.Sequential로 감싸고 학습은 진행되는데.. 저장이 왜 또 안될까? ㅠㅠ

[링크 : https://www.tensorflow.org/tutorials/keras/save_and_load?hl=ko]

[링크 : https://www.tensorflow.org/hub/exporting_tf2_saved_model?hl=ko]

아래의 스크립트를 이용하여 변환이 가능하다는데, 정작 변환하고 실행하려고 하면 안되고(import는 안건드리니)

[링크 : https://www.tensorflow.org/guide/upgrade?hl=ko]

차라리 아래처럼 import tensorflow as tf를 compat.v1 으로 바꾸어주고, v2 를 끄면 구버전이 실행된다.

[링크 : https://www.tensorflow.org/guide/migrate?hl=ko]

--------------------------------

돌려보니 먼가 나오긴 한데

잘 돈다는 보장은 없다 -_-

요런 에러가 뜨면

아래줄 추가해주면 되는데

[링크 : https://luvstudy.tistory.com/122]

정작 텐서 곱할 때, 에러가 발생한다.

요건 막혀서 모르겠네 -_-

함수를 만들지 않고 eagertensor를 capture 하기 시도해서 에러가 발생한거라면..

함수(building a function)를 만들면 되는건가?