김괴수의 노가다실록

엄청 간단한데.. 간단한거라서 NOT인지 DONT인지 가끔 햇갈려서 써놓는다

<<__NOT_USED

쉘 스크립트 쏼라쏼라

쉘 스크립트 쏼라쏼라2

쉘 스크립트 쏼라쏼라3

쉘 스크립트 쏼라쏼라4

.

.

.

쉘 스크립트 쏼라쏼라100

__NOT_USED

작업테이블 목록을 가지고 일괄 삭제하는 스크립트를 만들기 위해 기록

abc

def

ghi

jkl

이 있다고 하면

메뉴 find -> replace

Regular expression(.*) 모양 토글 키고

find에 (.*)

replace에 drop table $1;

이라고 입력하면

drop table abc;

drop table def;

이렇게 추가되는 것을 볼 수 있음.

bigquery는 nvl이 없음(정확하게는 구버전은 있고 일반적으로 사용하는 신버전은 없다)

대체 가능 함수

1. IFNULL

    select IFNULL(null, '0');

!! NULLIF와 다름에 유의할 것(NULLIF는 첫번째 expr와 두번째 expr가 같을 경우 null을 반환하고, 아닐 경우 첫번째 expr를 반환)

2. COALESCE

    select COALESCE(null, '0');

이걸 적어두는 이유는.. ifnull에다 nullif 써놓고 왜 계속 null이 찍히나 ..한참 시간을.. ㅠ

*mac 기준임*

대문자 변환 : cmd + shift + u

Indent(들여쓰기) : 블록지정 상태에서 tab

unindent(내어쓰기) : 블록지정 상태에서 shift+tab

쿼리 정리? 정렬?(매우 유용) : cmd + alt + l

열 모드 편집 : cmd + shift + 8

(많이 쓰는거 위주로 계속 업데이트 예정)

2/12

데이터 분석 > 가설 수립 > 실험 및 테스팅 > (앞 반복) > 최적화

contents biz : UX가 중요 : user information / contents information / user actions

ecommerce : end to end 를 어떻게 구축할것인가

BM에서 가장 중요한 데이터는

- 비용 대비 비즈니스 임팩트가 가장 높은 데이터 확보

<Data Governance>

ㅇ 원칙(Principle)

- 데이터 유지 관리를 위한 가이드

- 보안, 품질, 변경관리

ㅇ 조직(Organization)

- 데이터를 관리할 조직의 역할과 책임

- 데이터 관리자 / 데이터 아키텍트

ㅇ 과정(Process)

- 데이터 관리를 위한 시스템

- 작업 절차, 모니터 및 측정

<유연하고 변화 가능한 환경>

생성되는 데이터의 형식이 변화 가능하므로 그에 맞게 툴, 솔루션도 빠르게 변화할 수 있도록 시스템을 구축

특정 기술 및 솔루션에 얽매이지 않고 새로운 테크를 빨리 적용할 수 있는 아키텍쳐가 빌요

<Serverless Framework>

http req / database crud / queuing service 에 대해

- pay as you use

- form of functions

- third pary app 등 다양한 API 통해 데이터 수집 정제하는데 유용

y. volumn 산정과 같이 연계해서 생각해볼것(stable call, adhoc + overflow call)

Bigquery Error

No matching signature for function IF for argument types

: if 사용하여 항목 선택하고자 할 때, 항목별 data type을 엄격하게 체크하기 때문에 발생

select if(bigtt <> '', ‘널체크불가능', ‘널체크가능') as ttt
from ( select null as bigtt ) aa

No matching signature for operator != for argument types: INT64, STRING. Supported signatures: ANY != ANY at [2:11]

No matching signature for operator != for argument types: INT64, STRING. Supported signatures: ANY != ANY at [2:11]

각 세션에서 data type이 달라 에러가 발생한다.

-- 아래와 같이 하거나

select if(bigtt is not null, ‘널체크불가능', ‘널체크가능') as ttt
  from ( select null as bigtt ) aa


-- hive에서는 가능

select if(bigtt <> '', '널체크불가능', '널체크가능') as ttt
  from ( select null as bigtt ) aa

마찬가지로,

select count(distinct if(mid is not null, if(cnt > 0, uuid, null), 0)) as uuid_uv
from (
select '1029382' as mid, 10 as cnt, '21093823k1230912213' as uuid
union all
select '1029382' as mid, 12 as cnt, '21093823k1230912213' as uuid
     ) abc

No matching signature for function IF for argument types: BOOL, STRING, INT64. Supported signature: IF(BOOL, ANY, ANY) at [2:23]

hive에서는 동작하는 쿼리이지만 bigquery if 에서는 string과 null을 취사선택하도록 할 수 없다

그럼 어떻게?? CASE로 처리

select count(distinct CASE WHEN mid is not null THEN CASE WHEN cnt>0 THEN uuid END ELSE null END) as uuid_uv
from (
select '1029382' as mid, 10 as cnt, '21093823k1230912213' as uuid
union all
select '1029382' as mid, 12 as cnt, '21093823k1230912213' as uuid  
     ) abc

1. 삭제 앱을 설치해서 삭제하는 방법 -> 실패

구글링해서 많이 나온 결과인 삭제 앱 설치한 후 삭제를 할려고 하니..

아나콘다 네비게이터가 실제와는 다르게 용량이 너무 작았다.

2. 공홈에 있는 방법으로 삭제 -> 실패

http://docs.anaconda.com/anaconda/install/uninstall/?highlight=uninstall

anaconda-clean --yes

Backup directory: /Users/myhome/.anaconda_backup/2019-05-19T145347

Error: Unable to move /Users/myhome/.continuum

anaconda-clean --yes 하면 백업파일만 생성하고 삭제하지 않음

3. 일일이 지워주는 방법

나의 경우는 아나콘다가 // 밑에 있었음

가서 삭제

cd /
sudo rm- rf anaconda

홈디렉토리로 가서

sudo rm -rf .anaconda_backup

cd
sudo rm -rf .anaconda_backup

.bash_profile 편집

홈 디렉토리에서 .bash_profile 연 후 아나콘다 패스 추가부분 삭제해준다

cd
vi .bash_profile

# added by Anaconda3 4.2.0 installer
export PATH="//anaconda/bin:$PATH"

위 두줄 찾아서 삭제

나의 경우에는 없었지만 홈디렉토리에 아래 숨김파일이 있는 경우도 삭제

sudo rm -rf ~/.condarc ~/.conda ~/.continuum

아래는 아나콘다를 삭제하는 여러 방법이 중첩적으로 나열되어있으니 나에게 맞게 보면서 삭제하면 될 것이다

https://code-examples.net/ko/q/1589f93

드디어 아나콘다 커스텀 파이썬의 저주에서 해방되었다