Programming/python(파이썬)2019.06.24 14:48

python expat parseFile()

python의 expat을 써보려는데 원하는대로 안되서 멘붕 중

 

xmlparser.ParseFile(file)
Parse XML data reading from the object file. file only needs to provide the read(nbytes) method, returning the empty string when there’s no more data.

[링크 : https://docs.python.org/3.1/library/pyexpat.html]

 

>>> r = open('18549666.xml')
>>> p.ParseFile(r)
Traceback (most recent call last):
  File "", line 1, in 
TypeError: read() did not return a bytes object (type=str)

 

rb(read binary)가 중요한거였냐..

>>> r = open('18549666.xml','rb')

[링크 : https://stackoverflow.com/questions/1179305/expat-parsing-in-python-3]

저작자표시

'Programming > python(파이썬)' 카테고리의 다른 글

python expat parseFile()  (0) 2019.06.24
ubuntu에서 python으로 postgres 접속하기  (0) 2019.06.24
python pip 특정 버전 설치하기  (0) 2019.06.18
python pdb를 이용한 디버깅  (0) 2019.05.15
anaconda(python)  (0) 2019.05.15
파이썬 vscode 디버깅 하기  (0) 2019.05.14
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/python(파이썬)2019.06.24 14:10

ubuntu에서 python으로 postgres 접속하기

 

$ sudo apt install postgresql-server-dev-all

$ pip3 install psycopg2

$ python3

import psycopg2 as pg2 
conn=pg2.connect(database="postgres",user="postgres",password="1234",host="localhost",port="5432") 
cur = conn.cursor() 
cur.execute("select * from table_name") 
cur.fetchall()

[링크 : https://freeprog.tistory.com/100]

저작자표시

'Programming > python(파이썬)' 카테고리의 다른 글

python expat parseFile()  (0) 2019.06.24
ubuntu에서 python으로 postgres 접속하기  (0) 2019.06.24
python pip 특정 버전 설치하기  (0) 2019.06.18
python pdb를 이용한 디버깅  (0) 2019.05.15
anaconda(python)  (0) 2019.05.15
파이썬 vscode 디버깅 하기  (0) 2019.05.14
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/android2019.06.21 18:23

android / 구글 지도 API 발급

헐.. api 발급 안 받아서 지도가 안뜬걸 메모리 부족해서 그런걸로 나 착각한겨?

(내 2만원.. ㅠㅠ)

 

[링크 : https://blog.cosmosfarm.com/archives/389/구글-지도-api-키-발급-받는-방법-maps-javascript-api/]

저작자표시

'Programming > android' 카테고리의 다른 글

android / 구글 지도 API 발급  (0) 2019.06.21
android studio /dev/kvm permission denied  (0) 2019.06.11
ubuntu android studio  (0) 2019.06.10
안드로이드 무선 디버깅(adb wifi)  (0) 2019.03.14
AndroidManifest.xml (binary) 디코더  (0) 2019.03.14
android REST client  (0) 2019.02.07
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/node.js2019.06.21 18:06

node.js 메모리 사용 가능 용량 늘리기

효과가 있는진 확인 못함..

(그 메모리 용량 가기 전에 느려지는 것으로 보여 xml-stream 모듈에 문제가 있는 걸로 보임)

 

[링크 : https://stackoverflow.com/questions/38558989/node-js-heap-out-of-memory]

저작자표시

'Programming > node.js' 카테고리의 다른 글

node.js 메모리 사용 가능 용량 늘리기  (0) 2019.06.21
node.js fs.createreadstream highWaterMark  (0) 2019.06.19
node.js xml2js  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
node.js 용량 제한(?)  (0) 2019.06.18
electron ipc  (0) 2019.06.07
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/node.js2019.06.19 04:16

node.js fs.createreadstream highWaterMark

스트림으로 읽어오는 놈을 찾다 보니 이런게 있는데..

희한하게(?) 너무 뜨문뜨문 읽어서 확인해보니

한번에 읽어오는 용량을 설정할수 있고 기본 값은 64kb 라고.. (kB가 아니라?)

 

Unlike the 16 kb default highWaterMark for a readable stream, the stream returned by this method has a default highWaterMark of 64 kb. 

options can include start and end values to read a range of bytes from the file instead of the entire file. Both start and end are inclusive and start counting at 0, allowed values are in the [0, Number.MAX_SAFE_INTEGER] range. If fd is specified and start is omitted or undefined, fs.createReadStream() reads sequentially from the current file position. The encoding can be any one of those accepted by Buffer.

[링크 : https://nodejs.org/api/fs.html#fs_fs_createreadstream_path_options]

[링크 : https://stackoverflow.com/questions/24005496/nodejs-copying-file-over-a-stream-is-very-slow]

[링크 : https://stackoverflow.com/questions/48065065/createreadstream-not-working-extremely-slow-for-large-files]

저작자표시

'Programming > node.js' 카테고리의 다른 글

node.js 메모리 사용 가능 용량 늘리기  (0) 2019.06.21
node.js fs.createreadstream highWaterMark  (0) 2019.06.19
node.js xml2js  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
node.js 용량 제한(?)  (0) 2019.06.18
electron ipc  (0) 2019.06.07
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/node.js2019.06.19 03:45

node.js xml2js

스트림이 아니라 XML 파일이 1기가 넘어가면 한번에 못 읽음

[링크 : https://www.npmjs.com/package/xml2js]

 

스트림 파서라 용량 제한없이 읽을수 있음

[링크 : https://www.npmjs.com/package/xml-stream]

 

xml2js 보다 엄청 빠르다는데 안써봄

[링크 : https://www.npmjs.com/package/fast-xml-parser]

 

저작자표시

'Programming > node.js' 카테고리의 다른 글

node.js 메모리 사용 가능 용량 늘리기  (0) 2019.06.21
node.js fs.createreadstream highWaterMark  (0) 2019.06.19
node.js xml2js  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
node.js 용량 제한(?)  (0) 2019.06.18
electron ipc  (0) 2019.06.07
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/node.js2019.06.19 03:07

node.js Javascript heap out of memory

참으로 다양하게 죽여보는구만.. -_-a

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
 1: node::Abort() [node]
 2: 0x5605160f2011 [node]
 3: v8::Utils::ReportOOMFailure(char const*, bool) [node]
 4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [node]
 5: v8::internal::Factory::NewCode(v8::internal::CodeDesc const&, unsigned int, v8::internal::Handle, bool, int) [node]
 6: v8::internal::CodeGenerator::MakeCodeEpilogue(v8::internal::TurboAssembler*, v8::internal::EhFrameWriter*, v8::internal::CompilationInfo*, v8::internal::Handle) [node]
 7: v8::internal::compiler::CodeGenerator::FinalizeCode() [node]
 8: v8::internal::compiler::PipelineImpl::FinalizeCode() [node]
 9: v8::internal::compiler::PipelineCompilationJob::FinalizeJobImpl() [node]
10: v8::internal::CompilationJob::FinalizeJob() [node]
11: v8::internal::Compiler::FinalizeCompilationJob(v8::internal::CompilationJob*) [node]
12: v8::internal::OptimizingCompileDispatcher::InstallOptimizedFunctions() [node]
13: v8::internal::StackGuard::HandleInterrupts() [node]
14: v8::internal::Runtime_StackGuard(int, v8::internal::Object**, v8::internal::Isolate*) [node]
15: 0x2557162840bd

 

[링크 : https://bloodguy.tistory.com/entry/nodejs-FATAL-ERROR-CALLANDRETRYLAST-Allocation-failed-process-out-of-memory-에러-원인-해결방법]

팔자에 없는 GC 공부하는 중.. 끄응..

저작자표시

'Programming > node.js' 카테고리의 다른 글

node.js fs.createreadstream highWaterMark  (0) 2019.06.19
node.js xml2js  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
node.js 용량 제한(?)  (0) 2019.06.18
electron ipc  (0) 2019.06.07
electron.js  (0) 2019.06.03
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/node.js2019.06.18 23:54

node.js 용량 제한(?)

 

RangeError: File size is greater than possible Buffer: 0x7fffffff bytes
    at FSReqWrap.readFileAfterStat [as oncomplete] (fs.js:453:11)

[링크 : https://medium.com/dev-bits/writing-memory-efficient-software-applications-in-node-js-5575f646b67f]

 

[링크 : https://stackoverflow.com/questions/52314871/parsing-large-xml-files-1g-in-node-js]

[링크 : https://codeforgeek.com/parse-large-xml-files-node/]

저작자표시

'Programming > node.js' 카테고리의 다른 글

node.js xml2js  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
node.js 용량 제한(?)  (0) 2019.06.18
electron ipc  (0) 2019.06.07
electron.js  (0) 2019.06.03
npm-run-all 병렬 빌드 (실패)  (0) 2019.05.29
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/python(파이썬)2019.06.18 21:49

python pip 특정 버전 설치하기

pip install "package==version"

 

 

pip install 'stevedore>=1.3.0,<1.4.0'
pip install 'stevedore>=1.3.0,<1.4.0' --force-reinstall

[링크 : https://stackoverflow.com/questions/5226311/installing-specific-package-versions-with-pip]

저작자표시

'Programming > python(파이썬)' 카테고리의 다른 글

python expat parseFile()  (0) 2019.06.24
ubuntu에서 python으로 postgres 접속하기  (0) 2019.06.24
python pip 특정 버전 설치하기  (0) 2019.06.18
python pdb를 이용한 디버깅  (0) 2019.05.15
anaconda(python)  (0) 2019.05.15
파이썬 vscode 디버깅 하기  (0) 2019.05.14
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요

Programming/web 관련2019.06.17 19:10

resizable table cell

셀 자체를 드래그 해서 크기를 바꾸는 기능

bootstrap 등에서 자동으로 지원하지 않으려나?

 

[링크 : https://codepen.io/jasongardner/pen/QNOXym]

저작자표시

'Programming > web 관련' 카테고리의 다른 글

resizable table cell  (0) 2019.06.17
web framework  (0) 2019.06.05
elk - ElasticSearch, LogStash, Kibana  (0) 2019.05.14
ECDHE?  (0) 2019.04.26
css position  (0) 2019.03.28
webpack  (0) 2019.02.20
Posted by 구차니
Trackback 0 Comment 0

댓글을 달아 주세요