'분류 전체보기' 카테고리의 글 목록 (61 Page)

'잡동사니'에 해당되는 글 13030건

tensorflow keras dataset

자동완성으로 해보니 몇가지 나오는데 mnist 말고는 몰라서 찾아보는 중

>>> tf.keras.datasets.
tf.keras.datasets.boston_housing tf.keras.datasets.cifar100 tf.keras.datasets.imdb tf.keras.datasets.reuters
tf.keras.datasets.cifar10 tf.keras.datasets.fashion_mnist tf.keras.datasets.mnist

imdb는 영화 db

boston_housing은 statlib 사이트에서 정의된 보스톤 주택가격

reuter는 46 주제에 따른 11228 뉴스(로이터 뉴스) 인 듯.

This is a dataset of 11,228 newswires from Reuters, labeled over 46 topics.

[링크 : https://www.tensorflow.org/api_docs/python/tf/keras/datasets/boston_housing/load_data]

[링크 : https://www.tensorflow.org/api_docs/python/tf/keras/datasets]

cifar10은 10개 클래스니까.. 결과도 MNIST 처럼 10개로 나올 것 같고..

The CIFAR-10 dataset consists of 60000 32x32 colour images in 10 classes, with 6000 images per class. There are 50000 training images and 10000 test images.

[링크 : https://www.tensorflow.org/datasets/catalog/cifar10?hl=en]

This dataset is just like the CIFAR-10, except it has 100 classes containing 600 images each. There are 500 training images and 100 testing images per class. The 100 classes in the CIFAR-100 are grouped into 20 superclasses. Each image comes with a "fine" label (the class to which it belongs) and a "coarse" label (the superclass to which it belongs).

[링크 : https://www.tensorflow.org/datasets/catalog/cifar100?hl=en]

[링크 : https://www.tensorflow.org/datasets/catalog/fashion_mnist?hl=en]

[링크 : https://www.tensorflow.org/datasets/catalog/emnist?hl=en]

저작자표시

'프로그램 사용 > yolo_tensorflow' 카테고리의 다른 글

주피터 노트북 프로젝트(?) 실행하기 (0)	2024.01.02
i.mx8mp gopoint 실행 경로 (0)	2024.01.02
tensorflow lite / mnist 학습 (0)	2024.01.02
yolo-label (0)	2022.03.22
tflite bazel rpi3b+ (0)	2022.01.27

Posted by 구차니

tensorflow lite / mnist 학습

신기하네.. 그냥 알아서 받네?

>>> mnist = tf.keras.datasets.mnist
>>> (train_images, train_labels), (test_images, test_labels) = mnist.load_data()
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz
11490434/11490434 [==============================] - 1s 0us/step

학습하고 tflite 파일로 저장하기

import tensorflow as tf
import numpy as np

mnist = tf.keras.datasets.mnist
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()

train_images = train_images.astype(np.float32) / 255.0
test_images = test_images.astype(np.float32) / 255.0

model = tf.keras.Sequential([
  tf.keras.layers.InputLayer(input_shape=(28, 28)),
  tf.keras.layers.Reshape(target_shape=(28, 28, 1)),
  tf.keras.layers.Conv2D(filters=12, kernel_size=(3, 3), activation='relu'),
  tf.keras.layers.MaxPooling2D(pool_size=(2, 2)),
  tf.keras.layers.Flatten(),
  tf.keras.layers.Dense(10)
])

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(
                  from_logits=True),
              metrics=['accuracy'])
model.fit(
  train_images,
  train_labels,
  epochs=5,
  validation_data=(test_images, test_labels)
)

# 일반 모델로 변환
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

# 요건 차이 없음
# converter = tf.lite.TFLiteConverter.from_keras_model(model)
# converter.optimizations = [tf.lite.Optimize.DEFAULT]
# tflite_model_quant = converter.convert()

# quant 를 하려면 아래 코드 실행해야 함
def representative_data_gen():
  for input_value in tf.data.Dataset.from_tensor_slices(train_images).batch(1).take(100):
    yield [input_value]

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_data_gen
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.uint8
converter.inference_output_type = tf.uint8
tflite_model_quant = converter.convert()

# 파일로 저장하기
import pathlib

tflite_models_dir = pathlib.Path("/tmp/mnist_tflite_models/")
tflite_models_dir.mkdir(exist_ok=True, parents=True)

# Save the unquantized/float model:
tflite_model_file = tflite_models_dir/"mnist_model.tflite"
tflite_model_file.write_bytes(tflite_model)

# Save the quantized model:
tflite_model_quant_file = tflite_models_dir/"mnist_model_quant.tflite"
tflite_model_quant_file.write_bytes(tflite_model_quant)

[링크 : https://www.tensorflow.org/lite/performance/post_training_integer_quant?hl=ko]

netron을 통해 생성한걸 보는데 quant나 그냥이나 어째 차이가 없냐?

+

quantization 하면 uint8로 변경된다.

그나저나, MNIST에 대해서 오해가 있었다.

출력이 [1,10] 인데 0~9 까지의 숫자에 대한 필기 데이터베이스지 알파벳이 아니란 것 -_-!

그래서 출력이 딱 10개인 건 당연하다는 것..

[링크 : https://en.wikipedia.org/wiki/MNIST_database]

+

EMNIST 라고 알파벳 손글씨가 따로 있다.

[링크 : https://www.nist.gov/itl/products-and-services/emnist-dataset]

[링크 : https://www.tensorflow.org/datasets/catalog/emnist?hl=ko]

저작자표시

'프로그램 사용 > yolo_tensorflow' 카테고리의 다른 글

i.mx8mp gopoint 실행 경로 (0)	2024.01.02
tensorflow keras dataset (0)	2024.01.02
yolo-label (0)	2022.03.22
tflite bazel rpi3b+ (0)	2022.01.27
bazel cross compile (0)	2022.01.27

Posted by 구차니

베트남 유심 결제

제 시간에 잘 도착하길 ㅠㅠ

항권권이 2터미널이니까 그쪽으로 신청하고 받으면 되는데 현장 구매는 안되는건가...

비나폰이 그래도 규모가 더 큰데라고 해서 일단 신청했는데

모비폰에 비하면은 순수 데이터용이라, 전화 문자 수신도 안되니 조금 아쉽긴 하다.

그래도 다행히(!) 둘 다 핫스팟은 된다고 하니 멀 하던 상관은 없을 듯.

배송비가 붙으니 먼가 배아프다 ㅠㅠ

저작자표시

'개소리 왈왈 > 육아관련 주저리' 카테고리의 다른 글

다낭 도착 (0)	2024.01.05
물건너 가자~ (0)	2024.01.04
폭설 (0)	2023.12.30
잠 (0)	2023.12.28
개들은 무산 꿈을 꿀까 (0)	2023.12.24

Posted by 구차니

애플 무선 키보드 주웠다 버림

차장보니 2세대 2007년 apple wireless keyboard로 블루투스 모델

아이맥, 맥프로 사면 번들로 주던 녀석이라고 한다.

AA 건전지 2개 쓰는 녀석인데 특이하게도 키보드 이름이 바뀌어 있었다.

블루투스 키보드는 이름을 바꿀수 있는건가..

아무튼 대충 써보려는데

한대는 아래 방향 방향키가 고장나고, 좌우 방향이 잘 안눌려서 쓰는거 포기

다른 한대는 엔터가 안되서 포기 (아래방향 방향키가 아예 도망감)

마음을 비우자 ㅠㅠ

[링크 : https://support.apple.com/ko-kr/guide/mac-help/mh29203/mac]

저작자표시

'Apple' 카테고리의 다른 글

맥북 초기화 하기 (0)	2022.12.27
맥북에어 외부 모니터 사용하기 + 화면끄기 (2)	2022.08.27
macos catalina iso 파일 (0)	2022.06.23
macos iso (0)	2022.06.20
맥 화면 90도 돌리기 (0)	2022.06.18

Posted by 구차니

게임 달려

오랫만에 마음에 맞는 멤버가 모여서 무한 뺑뺑이 ㅋㅋ

저작자표시

'게임 > daemon X machina' 카테고리의 다른 글

게임삭제 (0)	2024.05.15
daemon x machina head 장비 교체 (0)	2023.11.19
daemon x machina - dainsleif 획득 (0)	2023.11.04
daemon x machina - free order : aviator (0)	2023.11.04
daemon x machina 끝! (0)	2023.11.03

Posted by 구차니

폭설

이렇게 까지 온게 얼마만인가 싶을 정도로 많이 왔다.

나가보니 곳곳에 왕 큰 눈사람들이 가득가득

저작자표시

'개소리 왈왈 > 육아관련 주저리' 카테고리의 다른 글

물건너 가자~ (0)	2024.01.04
베트남 유심 결제 (0)	2024.01.02
잠 (0)	2023.12.28
개들은 무산 꿈을 꿀까 (0)	2023.12.24
약빨인가.. (0)	2023.12.23

Posted by 구차니

높았던 방문자수여 안녕

일단 1000도 안오는걸 보면

임베디드로 검색될게 없다는거고.. 반대로 생각하면 이쪽 분야가 죽었다고 봐야하려나..

쩝.. 그래도 나름 20년 가까이 먹고 있는데 분야를 바꾸어야 하나.. 씁쓸하다.

저작자표시

'개소리 왈왈 > 블로그' 카테고리의 다른 글

망할 티스토리 (0)	2024.04.28
나만 블로그 이상한가? (0)	2024.04.26
블로그 미쳤다? (4)	2023.11.30
갑자기 먼일이래 -ㅁ-? (0)	2023.10.25
블로그 방문자 하락.. -_ㅠ (0)	2023.10.03

Posted by 구차니

잠

쿨쿨쿨

먼넘의 약을 얼마나 세개 지어났는지

먹고 자고 먹고 자고 -_-

낮잠을 6시간 자도 또 잡이 오게 하다니 대단하다 -_-

저작자표시

'개소리 왈왈 > 육아관련 주저리' 카테고리의 다른 글

베트남 유심 결제 (0)	2024.01.02
폭설 (0)	2023.12.30
개들은 무산 꿈을 꿀까 (0)	2023.12.24
약빨인가.. (0)	2023.12.23
피곤하다!!! (0)	2023.12.17

Posted by 구차니

tesseract 버전별 차이?

왼쪽은 PC(ubuntu 22.04)

오른쪽은 arm에서 소스 받아서 직접 빌드.

동일한 tessdata 를 이용했는데 인식율에 차이가 어마어마하게 난다 -_-

$ tesseract --dpi 132 스크린샷\ 2023-12-26\ 17-19-43.png - -v
tesseract 4.1.1
leptonica-1.82.0
libgif 5.1.9 : libjpeg 8d (libjpeg-turbo 2.1.1) : libpng 1.6.37 : libtiff 4.3.0 : zlib 1.2.11 : libwebp 1.2.2 : libopenjp2 2.4.0
Found AVX2
Found AVX
Found FMA
Found SSE
Found libarchive 3.6.0 zlib/1.2.11 liblzma/5.2.5 bz2lib/1.0.8 liblz4/1.9.3 libzstd/1.4.8
Warning:guessing pitch as xheight on row 1, block 1
Pec ea a

ach Seer

OEE PC LU)

Pee at Pere EEC
Rae ientcee Prete meee ceed

aa MEL ig
Pace
Pace Cra ur ue ecg

feta
Reset

ERTL Ee a Peay

# ./tesseract /home/root/a.png - -v
tesseract 5.3.3
leptonica-1.84.0
libjpeg 6b (libjpeg-turbo 2.1.5.1) : libpng 1.6.39 : zlib 1.2.13 : libopenjp2 2.5.0
Found NEON
Found libarchive 3.6.2 zlib/1.2.13 liblzma/5.4.4 bz2lib/1.0.8 libzstd/1.5.4
Found libcurl/8.0.1 OpenSSL/3.1.3 zlib/1.2.13 libidn2/2.3.4
Error in pixReadMemTiff: function not present
Error in pixReadMem: tiff: no pix returned
Error in pixaGenerateFontFromString: pix not made
Error in bmfCreate: font pixa not made
Estimating resolution as 132
Warning:guessing pitch as xheight on row 1, block 1
1.MX8MP Evaluation Kit

.MxeMP 1.50 GHz

2020-06-07 2848 MB RAM

> Console Options wait, 65535 means
Select Language <Standard English> Reset

> Device Manager
> Boot Manager
> Boot Maintenance Manager

Continue
Reset

ay=Move Highlight <Enter>=Select Entry

--dpi 옵션 유용..한가?

[링크 : https://simmigyeong.tistory.com/3]

저작자표시

'프로그램 사용 > tesseract ocr' 카테고리의 다른 글

tesseract 학습 데이터 (0)	2023.12.27
tesseract on arm (0)	2023.12.26
tesseract ocr (0)	2023.12.21
번호판 인식(tesseract) (0)	2021.10.14

Posted by 구차니

tesseract 학습 데이터

strace로 추적해보니 신기한(?) 파일 발견

eng는 그냥 data인데

osd.traineddata는 Matlab v4 mat-file로 나온다. 맞나.. 우연인가?

$ ls -alh /usr/share/tesseract-ocr/4.00/tessdata
합계 15M
drwxr-xr-x 4 root root 4.0K 12월 21 10:48 .
drwxr-xr-x 3 root root 4.0K  5월 30  2023 ..
drwxr-xr-x 2 root root 4.0K  5월 30  2023 configs
-rw-r--r-- 1 root root 4.0M  9월 16  2017 eng.traineddata
-rw-r--r-- 1 root root  11M  9월 16  2017 osd.traineddata
-rw-r--r-- 1 root root  572  2월  9  2022 pdf.ttf
drwxr-xr-x 2 root root 4.0K  5월 30  2023 tessconfigs

$ file *.traineddata
eng.traineddata: data
osd.traineddata: Matlab v4 mat-file (little endian) , text, rows 4294967295, columns 4294967295, imaginary

$ tree /usr/share/tesseract-ocr/4.00/tessdata
.
├── configs
│   ├── alto
│   ├── ambigs.train
│   ├── api_config
│   ├── bigram
│   ├── box.train
│   ├── box.train.stderr
│   ├── digits
│   ├── get.images
│   ├── hocr
│   ├── inter
│   ├── kannada
│   ├── linebox
│   ├── logfile
│   ├── lstm.train
│   ├── lstmbox
│   ├── lstmdebug
│   ├── makebox
│   ├── pdf
│   ├── quiet
│   ├── rebox
│   ├── strokewidth
│   ├── tsv
│   ├── txt
│   ├── unlv
│   └── wordstrbox
├── eng.traineddata
├── osd.traineddata
├── pdf.ttf
└── tessconfigs
    ├── batch
    ├── batch.nochop
    ├── matdemo
    ├── msdemo
    ├── nobatch
    └── segdemo

2 directories, 34 files

kor 은 15메가

[링크 : https://github.com/tesseract-ocr/tessdata]

+

실행하니 당연히(?) tesseract용 데이터가 없다고 오류가 발생한다.

혹시나 해서 변수는 확인해도 비어있고

pc에서 복사해서 설정해주니 ok

~/tesseract-main/build/bin# ./tesseract /home/root/a.png -
Error in pixReadMemTiff: function not present
Error in pixReadMem: tiff: no pix returned
Error in pixaGenerateFontFromString: pix not made
Error in bmfCreate: font pixa not made
Error opening data file ./eng.traineddata
Please make sure the TESSDATA_PREFIX environment variable is set to your "tessdata" directory.
Failed loading language 'eng'
Tesseract couldn't load any languages!
Could not initialize tesseract.
root@imx8mpevk:~/tesseract-main/build/bin# echo $TESSDATA_PREFIX

# export TESSDATA_PREFIX=/home/root/tessdata

아래 이미지를 인식시킴(pc는 dpi가 이상하다고 인식을 못함)

의외로 잘 인식한다.

그런데 pc 에서는 인식을 이상하게 했지만 0.2초

i.mx8 에서는 인식을 잘했지만 1.6초. 흐음.. 실시간으로 돌리기에는 무리군..

# time ./tesseract /home/root/a.png -
Error in pixReadMemTiff: function not present
Error in pixReadMem: tiff: no pix returned
Error in pixaGenerateFontFromString: pix not made
Error in bmfCreate: font pixa not made
Estimating resolution as 132
Warning:guessing pitch as xheight on row 1, block 1
1.MX8MP Evaluation Kit

.MxeMP 1.50 GHz

2020-06-07 2848 MB RAM

> Console Options wait, 65535 means
Select Language <Standard English> Reset

> Device Manager
> Boot Manager
> Boot Maintenance Manager

Continue
Reset

ay=Move Highlight <Enter>=Select Entry

real 0m1.646s
user 0m1.578s
sys 0m0.060s

저작자표시

'프로그램 사용 > tesseract ocr' 카테고리의 다른 글

tesseract 버전별 차이? (0)	2023.12.27
tesseract on arm (0)	2023.12.26
tesseract ocr (0)	2023.12.21
번호판 인식(tesseract) (0)	2021.10.14

Posted by 구차니

구차니의 잡동사니 모음

'잡동사니'에 해당되는 글 13030건

tensorflow keras dataset

'프로그램 사용 > yolo_tensorflow' 카테고리의 다른 글

tensorflow lite / mnist 학습

'프로그램 사용 > yolo_tensorflow' 카테고리의 다른 글

베트남 유심 결제

'개소리 왈왈 > 육아관련 주저리' 카테고리의 다른 글

애플 무선 키보드 주웠다 버림

'Apple' 카테고리의 다른 글

게임 달려

'게임 > daemon X machina' 카테고리의 다른 글

폭설

'개소리 왈왈 > 육아관련 주저리' 카테고리의 다른 글

높았던 방문자수여 안녕

'개소리 왈왈 > 블로그' 카테고리의 다른 글

잠

'개소리 왈왈 > 육아관련 주저리' 카테고리의 다른 글

tesseract 버전별 차이?

'프로그램 사용 > tesseract ocr' 카테고리의 다른 글

tesseract 학습 데이터

'프로그램 사용 > tesseract ocr' 카테고리의 다른 글

카테고리

공지사항

태그목록

최근에 올라온 글

최근에 달린 댓글

티스토리툴바