구차니의 잡동사니 모음

비슷한 제목에 다른 내용..

quantization은 현재로서는.. pb 에서 tflite로 변환할때 적용이 가능하고

tflite/float32로 변환된걸 unit8로 다시 한번 변환이 가능한진 모르겠다.

[링크 : https://www.tensorflow.org/lite/performance/post_training_quantization]

[링크 : https://www.tensorflow.org/lite/performance/post_training_integer_quant]

원인 불명의 segmentation fault가 떠서 보니..

입력 tflite 파일이 바뀌었고

input이 uint8에서 float32로 바뀌어서 그런가 하고 바꾸어보니 문제없이 작동한다.

memcpy(interpreter->typed_input_tensor<uchar>(0), image.data, image.total() * image.elemSize());
memcpy(interpreter->typed_input_tensor<float>(0), image.data, image.total() * image.elemSize());

[링크 : https://www.tensorflow.org/lite/api_docs/cc/class/tflite/interpreter]

+

학습이 잘못되었나..

둘다 num_classes가 90으로 동일하다.. COCO 90개를 기반으로 추가 학습을 했으면 더 늘어 나야 하는거 아닌가?

아래가 추가 학습한 내용.. quantized가 빠지고 use_regular_nms가 추가

아무튼 탐지는 하는데 이상한 숫자로 나오고(0번이던 91이든 나올줄 알았는데)

width도 개판으로 나와서 보니

기존은 이쁘게 0,1,2,3 순서라면

학습한 녀석은 3,2,1,0

그래서 width랑 label index가 이상하다고 느껴지는건가?

이전 버전과 비교하기도 쉽지 않은데..

아무튼 특정 파일을 과거 버전으로 돌려 버리는 기능은 의외로 간단해 보이네?

[링크 : https://www.devpools.kr/2017/02/05/초보용-git-되돌리기-reset-revert/]

[링크 : https://youngest-programming.tistory.com/220]

어떤게 변환되는지도 확인이 가능한 듯.

25가지 예가 있는데 for a = b + c 같은건 된다고 한다.

[링크 : https://gcc.gnu.org/projects/tree-ssa/vectorization.html#using]

inference_input_type과 interfence_output_type을 tf.int8로 지정해주면 양자화 해주는 듯

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8  # or tf.uint8
converter.inference_output_type = tf.int8  # or tf.uint8
tflite_quant_model = converter.convert()

[링크 : https://www.tensorflow.org/lite/performance/post_training_quantization]

[링크 : https://www.tensorflow.org/lite/performance/post_training_integer_quant?hl=ko]

+

2021.03.31

import tensorflow as tf
import numpy as np

saved_model_dir="./"

#def representative_dataset():
#  for data in tf.data.Dataset.from_tensor_slices((images)).batch(1).take(100):
#    yield [data.astype(tf.float32)]

def representative_dataset():
    for _ in range(100):
      data = np.random.rand(1, 244, 244, 3)
      yield [data.astype(np.float32)]

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8  # or tf.uint8
converter.inference_output_type = tf.int8  # or tf.uint8
tflite_quant_model = converter.convert()
open("saved_model.tflite", "wb").write(tflite_quant_model)

[링크 : https://bugloss-chestnut.tistory.com/entry/Tensorflow-tflite를-Quantization양자화하기python]

도대체 왜 크기가 안 맞는다고 나올까..

다시보니.. 모델은 320x320 인데 244x244로 되어서 안 맞아서 그런듯.

Traceback (most recent call last):
  File "conv.sh", line 21, in <module>
    tflite_quant_model = converter.convert()
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/lite.py", line 742, in convert
    result = self._calibrate_quantize_model(result, **flags)
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/lite.py", line 459, in _calibrate_quantize_model
    return calibrate_quantize.calibrate_and_quantize(
  File "/home/minimonk/.local/lib/python3.8/site-packages/tensorflow/lite/python/optimize/calibrator.py", line 97, in calibrate_and_quantize
    self._calibrator.Prepare([list(s.shape) for s in sample])
RuntimeError: tensorflow/lite/kernels/reshape.cc:69 num_input_elements != num_output_elements (5136 != 7668)Node number 93 (RESHAPE) failed to prepare.

(1,320,320,3) 으로 바꾸니 5136에서 8136 으로 바뀌었다.

저 수식 어떻게 되어먹은거야?

RuntimeError: tensorflow/lite/kernels/reshape.cc:69 num_input_elements != num_output_elements (8136 != 7668)Node number 93 (RESHAPE) failed to prepare.

아무튼.. pipeline.config를 보니 300x300 이라 넘어는 가는데..

이건 또 무슨 에러냐..

아놔.. 라즈베리용 빌드를 썼더니.. -_-

libtensorflowlite.a 가 neon-vfp4 용으로 빌드되어서 정상작동하지 않아 저런 에러가 난건가?

확신은 못하겠지만 아무튼.. 라이브러리도, label_image도 모두 다시 빌드하니 문제없이 돌아는 간다.

---

혹시나 해서 입력 사이즈를

label_image 소스에서 224*224 로 되어있는 부분을 320*320으로 바꾸어 줘도 동일하게 에러가 발생한다 -_-

netron 으로 모델을 확인해보는데 정보가 많이 상이하긴 하다.

파일명 처럼 quantization 되어 있어서 0~1로 uint8로 받고 출력은 uint8[1,1001]

변환한 녀석은 float32[1,300,300,3] 차원은 동일한데 float32 형이라는게 차이가 있고

출력이 왜이렇게 여러가지가 존재하는거지?

[링크 : https://github.com/.../mobilenet_quant_v1_224.tflite]

모델은 320x320이고

label_image 예제는 224x224 로 차이가 있긴한데

입력 이미지 크기도 영향을 받으려나?

[링크 : https://stackoverflow.com/questions/63500096]

[링크 : https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/examples/label_image/label_image.cc]

파이썬 경로는 매번 이상하네..

$ python3 export_tflite_graph_tf2.py --pipeline_config_path ssd_mobilenet_v2_320x320_coco17_tpu-8/pipeline.config --trained_checkpoint_dir ssd_mobilenet_v2_320x320_coco17_tpu-8/checkpoint/ --output_directory output
$ tflite_convert  --output_file saved_model.tflite --saved_model_dir ./

위는 변환에 사용한 ssd_mobilenet_v2_320x320_coco17_tpu-8 의 모델

아래는 export_tflite_graph_tf2.py를 통해 변환된 모델과 해당 모델은 tflite_convert를 통해서 변환한 tflite 모델

용량도 좀 변했는데 먼가 처리를 하긴 한 듯.

-rw-r----- 1 minimonk minimonk 9196842  7월 10  2020 saved_model.pb
-rw-r----- 1 minimonk minimonk 24548676  7월 10  2020 variables.data-00000-of-00001
-rw-r----- 1 minimonk minimonk     6158  7월 10  2020 variables.index

-rw-rw-r-- 1 minimonk minimonk  9321388  2월 26 19:14 saved_model.pb
-rw-rw-r-- 1 minimonk minimonk 24248516  2월 26 19:16 saved_model.tflite
-rw-rw-r-- 1 minimonk minimonk 24546669  2월 26 19:14 variables.data-00000-of-00001
-rw-rw-r-- 1 minimonk minimonk    19031  2월 26 19:14 variables.index

2021/02/24 - [프로그램 사용/yolo_tensorflow_golo] - tflite convert

공식적으로 정리된 용어집이 없냐!!!!

모델은 텐서가 먼가를 연산하는 함수 기능?

[링크 : http://www.tensorflow.org/guide/intro_to_graphs]

그래프는 tf.Operation 객체의 집합을 포함하는 데이터 구조

Graphs are data structures that contain a set of tf.Operation objects, which represent units of computation; and tf.Tensor objects, which represent the units of data that flow between operations

[링크 : http://www.tensorflow.org/guide/intro_to_modules]

체크포인트는 모델에 의해서 사용되는 모든 패러미터의 정확한 값을 캡쳐한다.

[링크 : http://www.tensorflow.org/guide/checkpoint]

[링크 : http://www.tensorflow.org/guide/saved_model]

계속 tflite_convert 만 사용했는데 export_Tflite_graph_tf2.py 라는 다른 녀석을 발견했다.

ssd mobilenetv2를 주로 사용했었으니 이걸로 tflite 변환이 잘되면 좋겠네 ㅠㅠ

NOTE: This only supports SSD meta-architectures for now.

[링크 : http://github.com/tensorflow/models/blob/master/research/object_detection/export_tflite_graph_tf2.py]

[링크 : http://github.com/tensorflow/models/issues/9371]