구차니의 잡동사니 모음

이미지를 다 불러와서 때려박으나 ramdom 값을 때려박으나 차이가 없네..

도대체 멀까?

import cv2
import glob
import numpy as np
import tensorflow as tf

NORM_H=300
NORM_W=300
filename = glob.glob("/home/minimonk/src/SSD-MobileNet-TF/images/train/*.jpg")
images = []

for i in filename:
	img = cv2.imread(i)
	img = cv2.resize(img, (NORM_H, NORM_W))
	img = img / 255.0
	img = img.astype(np.float32)
	images.append(img)
	
for data in tf.data.Dataset.from_tensor_slices((images)).batch(1).take(len(filename)):
    yield [data.astype(tf.float32)]

[링크 : https://stackoverflow.com/questions/3207219/] path

[링크 : https://stackoverflow.com/questions/57877959/] example

[링크 : https://tech.ssut.me/what-does-the-yield-keyword-do-in-python/]

[링크 : https://engineer-mole.tistory.com/85]

+

[링크 : https://www.tensorflow.org/api_docs/python/tf/data/Dataset]

+

2021.04.07

[링크 : https://stackoverflow.com/questions/64795017/]

엄밀하게는 tensorflow 전체에 대해서

모델 읽어 들이고 반복실행 부분을 찾는 중.

[링크 : http://stackoverflow.com/questions/65351046/how-to-feed-multiple-inputs-tflite-model-in-python-interpreter]

[링크 : http://www.tensorflow.org/lite/guide/inference#load_and_run_a_model_in_python]

내용에 따르 다르지만

RGB로 입력을 받아서 내부적으로 float 0~1 사이로 정규화 하는 듯.

[링크 : https://stackoverflow.com/questions/56222822/how-to-set-input-with-image-for-tensorflow-lite-in-c]

[링크 : https://docs.opencv.org/master/d6/d6d/tutorial_mat_the_basic_image_container.html]

[링크 : https://www.tensorflow.org/tutorials/load_data/images]

[링크 : http://www.tensorflow.org/lite/inference_with_metadata/lite_support]

와... int8과 uint8 차이로

input_tensor 주소 받는게 안되다니!!

memcpy(interpreter->typed_input_tensor<uchar>(0), image.data, image.total() * image.elemSize());
memcpy(interpreter->typed_input_tensor<float>(0), image.data, image.total() * image.elemSize());

비슷한 제목에 다른 내용..

quantization은 현재로서는.. pb 에서 tflite로 변환할때 적용이 가능하고

tflite/float32로 변환된걸 unit8로 다시 한번 변환이 가능한진 모르겠다.

[링크 : https://www.tensorflow.org/lite/performance/post_training_quantization]

[링크 : https://www.tensorflow.org/lite/performance/post_training_integer_quant]

원인 불명의 segmentation fault가 떠서 보니..

입력 tflite 파일이 바뀌었고

input이 uint8에서 float32로 바뀌어서 그런가 하고 바꾸어보니 문제없이 작동한다.

memcpy(interpreter->typed_input_tensor<uchar>(0), image.data, image.total() * image.elemSize());
memcpy(interpreter->typed_input_tensor<float>(0), image.data, image.total() * image.elemSize());

[링크 : https://www.tensorflow.org/lite/api_docs/cc/class/tflite/interpreter]

+

학습이 잘못되었나..

둘다 num_classes가 90으로 동일하다.. COCO 90개를 기반으로 추가 학습을 했으면 더 늘어 나야 하는거 아닌가?

아래가 추가 학습한 내용.. quantized가 빠지고 use_regular_nms가 추가

아무튼 탐지는 하는데 이상한 숫자로 나오고(0번이던 91이든 나올줄 알았는데)

width도 개판으로 나와서 보니

기존은 이쁘게 0,1,2,3 순서라면

학습한 녀석은 3,2,1,0

그래서 width랑 label index가 이상하다고 느껴지는건가?

inference_input_type과 interfence_output_type을 tf.int8로 지정해주면 양자화 해주는 듯

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8  # or tf.uint8
converter.inference_output_type = tf.int8  # or tf.uint8
tflite_quant_model = converter.convert()

[링크 : https://www.tensorflow.org/lite/performance/post_training_quantization]

[링크 : https://www.tensorflow.org/lite/performance/post_training_integer_quant?hl=ko]

+

2021.03.31

import tensorflow as tf
import numpy as np

saved_model_dir="./"

#def representative_dataset():
#  for data in tf.data.Dataset.from_tensor_slices((images)).batch(1).take(100):
#    yield [data.astype(tf.float32)]

def representative_dataset():
    for _ in range(100):
      data = np.random.rand(1, 244, 244, 3)
      yield [data.astype(np.float32)]

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8  # or tf.uint8
converter.inference_output_type = tf.int8  # or tf.uint8
tflite_quant_model = converter.convert()
open("saved_model.tflite", "wb").write(tflite_quant_model)

[링크 : https://bugloss-chestnut.tistory.com/entry/Tensorflow-tflite를-Quantization양자화하기python]

도대체 왜 크기가 안 맞는다고 나올까..

다시보니.. 모델은 320x320 인데 244x244로 되어서 안 맞아서 그런듯.

Traceback (most recent call last):
  File "conv.sh", line 21, in <module>
    tflite_quant_model = converter.convert()
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/lite.py", line 742, in convert
    result = self._calibrate_quantize_model(result, **flags)
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/lite.py", line 459, in _calibrate_quantize_model
    return calibrate_quantize.calibrate_and_quantize(
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/optimize/calibrator.py", line 97, in calibrate_and_quantize
    self._calibrator.Prepare([list(s.shape) for s in sample])
RuntimeError: tensorflow/lite/kernels/reshape.cc:69 num_input_elements != num_output_elements (5136 != 7668)Node number 93 (RESHAPE) failed to prepare.

(1,320,320,3) 으로 바꾸니 5136에서 8136 으로 바뀌었다.

저 수식 어떻게 되어먹은거야?

RuntimeError: tensorflow/lite/kernels/reshape.cc:69 num_input_elements != num_output_elements (8136 != 7668)Node number 93 (RESHAPE) failed to prepare.

아무튼.. pipeline.config를 보니 300x300 이라 넘어는 가는데..

이건 또 무슨 에러냐..

아놔.. 라즈베리용 빌드를 썼더니.. -_-

libtensorflowlite.a 가 neon-vfp4 용으로 빌드되어서 정상작동하지 않아 저런 에러가 난건가?

확신은 못하겠지만 아무튼.. 라이브러리도, label_image도 모두 다시 빌드하니 문제없이 돌아는 간다.

---

혹시나 해서 입력 사이즈를

label_image 소스에서 224*224 로 되어있는 부분을 320*320으로 바꾸어 줘도 동일하게 에러가 발생한다 -_-

netron 으로 모델을 확인해보는데 정보가 많이 상이하긴 하다.

파일명 처럼 quantization 되어 있어서 0~1로 uint8로 받고 출력은 uint8[1,1001]

변환한 녀석은 float32[1,300,300,3] 차원은 동일한데 float32 형이라는게 차이가 있고

출력이 왜이렇게 여러가지가 존재하는거지?

[링크 : https://github.com/.../mobilenet_quant_v1_224.tflite]

모델은 320x320이고

label_image 예제는 224x224 로 차이가 있긴한데

입력 이미지 크기도 영향을 받으려나?

[링크 : https://stackoverflow.com/questions/63500096]

[링크 : https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/examples/label_image/label_image.cc]

파이썬 경로는 매번 이상하네..

$ python3 export_tflite_graph_tf2.py --pipeline_config_path ssd_mobilenet_v2_320x320_coco17_tpu-8/pipeline.config --trained_checkpoint_dir ssd_mobilenet_v2_320x320_coco17_tpu-8/checkpoint/ --output_directory output
$ tflite_convert  --output_file saved_model.tflite --saved_model_dir ./

위는 변환에 사용한 ssd_mobilenet_v2_320x320_coco17_tpu-8 의 모델

아래는 export_tflite_graph_tf2.py를 통해 변환된 모델과 해당 모델은 tflite_convert를 통해서 변환한 tflite 모델

용량도 좀 변했는데 먼가 처리를 하긴 한 듯.

-rw-r----- 1 minimonk minimonk 9196842  7월 10  2020 saved_model.pb
-rw-r----- 1 minimonk minimonk 24548676  7월 10  2020 variables.data-00000-of-00001
-rw-r----- 1 minimonk minimonk     6158  7월 10  2020 variables.index

-rw-rw-r-- 1 minimonk minimonk  9321388  2월 26 19:14 saved_model.pb
-rw-rw-r-- 1 minimonk minimonk 24248516  2월 26 19:16 saved_model.tflite
-rw-rw-r-- 1 minimonk minimonk 24546669  2월 26 19:14 variables.data-00000-of-00001
-rw-rw-r-- 1 minimonk minimonk    19031  2월 26 19:14 variables.index

2021/02/24 - [프로그램 사용/yolo_tensorflow_golo] - tflite convert