구차니의 잡동사니 모음

svn의 external 느낌인가?

[링크 : https://git-scm.com/book/ko/v2/Git-도구-서브모듈]

[링크 : https://ohgyun.com/711]

+

[링크 : https://cunity.gitlab.io/cunit/]

junit도 cunit도 듣기만 하고 써보려고 하는건 처음이네..

TDD 본건 기억이 나는데..

막상 cunit 적용하려니 함수 하나하나를 설계하는게 쉽지가 않네..

[링크 : http://dslab.konkuk.ac.kr/class/2017/17SE/Team_Project_B/A3/201411283_유병찬.pdf]

[링크 : https://blog.naver.com/zzeun/130104823706]

[링크 : http://cunit.sourceforge.net/example.html]

[링크 : https://cunity.gitlab.io/cunit/]

엄밀하게는 tensorflow 전체에 대해서

모델 읽어 들이고 반복실행 부분을 찾는 중.

[링크 : http://stackoverflow.com/questions/65351046/how-to-feed-multiple-inputs-tflite-model-in-python-interpreter]

[링크 : http://www.tensorflow.org/lite/guide/inference#load_and_run_a_model_in_python]

내용에 따르 다르지만

RGB로 입력을 받아서 내부적으로 float 0~1 사이로 정규화 하는 듯.

[링크 : https://stackoverflow.com/questions/56222822/how-to-set-input-with-image-for-tensorflow-lite-in-c]

[링크 : https://docs.opencv.org/master/d6/d6d/tutorial_mat_the_basic_image_container.html]

[링크 : https://www.tensorflow.org/tutorials/load_data/images]

[링크 : http://www.tensorflow.org/lite/inference_with_metadata/lite_support]

와... int8과 uint8 차이로

input_tensor 주소 받는게 안되다니!!

memcpy(interpreter->typed_input_tensor<uchar>(0), image.data, image.total() * image.elemSize());
memcpy(interpreter->typed_input_tensor<float>(0), image.data, image.total() * image.elemSize());

비슷한 제목에 다른 내용..

quantization은 현재로서는.. pb 에서 tflite로 변환할때 적용이 가능하고

tflite/float32로 변환된걸 unit8로 다시 한번 변환이 가능한진 모르겠다.

[링크 : https://www.tensorflow.org/lite/performance/post_training_quantization]

[링크 : https://www.tensorflow.org/lite/performance/post_training_integer_quant]

원인 불명의 segmentation fault가 떠서 보니..

입력 tflite 파일이 바뀌었고

input이 uint8에서 float32로 바뀌어서 그런가 하고 바꾸어보니 문제없이 작동한다.

memcpy(interpreter->typed_input_tensor<uchar>(0), image.data, image.total() * image.elemSize());
memcpy(interpreter->typed_input_tensor<float>(0), image.data, image.total() * image.elemSize());

[링크 : https://www.tensorflow.org/lite/api_docs/cc/class/tflite/interpreter]

+

학습이 잘못되었나..

둘다 num_classes가 90으로 동일하다.. COCO 90개를 기반으로 추가 학습을 했으면 더 늘어 나야 하는거 아닌가?

아래가 추가 학습한 내용.. quantized가 빠지고 use_regular_nms가 추가

아무튼 탐지는 하는데 이상한 숫자로 나오고(0번이던 91이든 나올줄 알았는데)

width도 개판으로 나와서 보니

기존은 이쁘게 0,1,2,3 순서라면

학습한 녀석은 3,2,1,0

그래서 width랑 label index가 이상하다고 느껴지는건가?

이전 버전과 비교하기도 쉽지 않은데..

아무튼 특정 파일을 과거 버전으로 돌려 버리는 기능은 의외로 간단해 보이네?

[링크 : https://www.devpools.kr/2017/02/05/초보용-git-되돌리기-reset-revert/]

[링크 : https://youngest-programming.tistory.com/220]

어떤게 변환되는지도 확인이 가능한 듯.

25가지 예가 있는데 for a = b + c 같은건 된다고 한다.

[링크 : https://gcc.gnu.org/projects/tree-ssa/vectorization.html#using]

inference_input_type과 interfence_output_type을 tf.int8로 지정해주면 양자화 해주는 듯

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8  # or tf.uint8
converter.inference_output_type = tf.int8  # or tf.uint8
tflite_quant_model = converter.convert()

[링크 : https://www.tensorflow.org/lite/performance/post_training_quantization]

[링크 : https://www.tensorflow.org/lite/performance/post_training_integer_quant?hl=ko]

+

2021.03.31

import tensorflow as tf
import numpy as np

saved_model_dir="./"

#def representative_dataset():
#  for data in tf.data.Dataset.from_tensor_slices((images)).batch(1).take(100):
#    yield [data.astype(tf.float32)]

def representative_dataset():
    for _ in range(100):
      data = np.random.rand(1, 244, 244, 3)
      yield [data.astype(np.float32)]

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8  # or tf.uint8
converter.inference_output_type = tf.int8  # or tf.uint8
tflite_quant_model = converter.convert()
open("saved_model.tflite", "wb").write(tflite_quant_model)

[링크 : https://bugloss-chestnut.tistory.com/entry/Tensorflow-tflite를-Quantization양자화하기python]

도대체 왜 크기가 안 맞는다고 나올까..

다시보니.. 모델은 320x320 인데 244x244로 되어서 안 맞아서 그런듯.

Traceback (most recent call last):
  File "conv.sh", line 21, in <module>
    tflite_quant_model = converter.convert()
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/lite.py", line 742, in convert
    result = self._calibrate_quantize_model(result, **flags)
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/lite.py", line 459, in _calibrate_quantize_model
    return calibrate_quantize.calibrate_and_quantize(
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/optimize/calibrator.py", line 97, in calibrate_and_quantize
    self._calibrator.Prepare([list(s.shape) for s in sample])
RuntimeError: tensorflow/lite/kernels/reshape.cc:69 num_input_elements != num_output_elements (5136 != 7668)Node number 93 (RESHAPE) failed to prepare.

(1,320,320,3) 으로 바꾸니 5136에서 8136 으로 바뀌었다.

저 수식 어떻게 되어먹은거야?

RuntimeError: tensorflow/lite/kernels/reshape.cc:69 num_input_elements != num_output_elements (8136 != 7668)Node number 93 (RESHAPE) failed to prepare.

아무튼.. pipeline.config를 보니 300x300 이라 넘어는 가는데..

이건 또 무슨 에러냐..