Be great

http://www.repeatmasker.org/RMDownload.html 에 접속

1. perl 버전이 5.8.0 이상인지 확인

2. Search Engine으로 사용할 프로그램 다운로드

3. Repeatmasker 다운로드.

1. 사용할 perl의 PATH

2. Repeatmasker를 설치할 PATH

3. trf의 PATH ( trf 실행 파일의 주소까지 넣어야 함 )

4. 설치할 Search Engine. 적어도 한 가지를 설치하여야 하며 이번에는 bin folder를 경로에 입력.

으로 설치가 끝남.

Repeatmakser 4.0.6은 library의 업데이트를 필요로 하므로 작업이 더 필요한데 4.0.7은 그냥 진행 가능함.

설치가 끝나면 실행 명령은 

RepeatMasker -species <human> -q <hg38.fa>

human은 약 1주일 정도 소요됨.

※ RepeatMasker 사용시 simple repeat을 찾기 위해 trf를 사용하는데 4.0.6 기준으로 trf는 GLIBC_2.14 library를 필요로 함.

error message = trf409.linux64: /lib64/libc.so.6: version `GLIBC_2.14' not found

프로그램을 돌릴 때 trf가 제대로 안돌아 가더라도 결과가 나오기 때문에 프로그램이 정상적으로 돌아간다고 착각할 수 있음.

미리 trf를 따로 실행해서 제대로 결과가 나오는지 확인 필요함.

Perl과 apache가 설치되어 있어야함.

windows버전은 GBrowse 1.70 버전까지 지원했다는 글이 있는데 현재는 확인 불가 ( 시도해 보았으나 성공하지 못함. )

Gbrowse2 다운로드 url : https://sourceforge.net/projects/gmod/files/Generic%20Genome%20Browser/

perl module을 다수 설치해야함.

perl Build.pl을 해서 초기 설정을 잡아주어야 함 이 때 module이라는 이름의 perl module이 설치되어 있지 않다면 cpan Module::Build 부터 해주어야 함.

그 이후에는 ./Build installdeps 를 하면 dependency를 알아서 설치해줌. but 수동 설치가 필요한 부분이 존재함

1. 

Please enter the location of Kent source tree: 

Can't find the bigWig.h and jkweb.a files at this location.

Try again, or hit <enter> to cancel: 

[링크]

git clone https://github.com/ENCODE-DCC/kentUtils.git 

git에서 다운 받은 후 README.md를 읽으면 설치 방법이 있음.

cd kentuils && make

export KENT_SRC=/PATH/TO/INSTALL/kentUtils/src:$KENT_SRC

2.

Running install for module 'Bio::DB::Sam'

Checksum for /home/kyoungwoo/.cpan/sources/authors/id/L/LD/LDS/Bio-SamTools-1.43.tar.gz ok

Configuring L/LD/LDS/Bio-SamTools-1.43.tar.gz with Build.PL

This module requires samtools 0.1.10 or higher (samtools.sourceforge.net).

Please enter the location of the bam.h and compiled libbam.a files: 

다운로드는 공식 홈페이지 https://www.perl.org/get.html 에서 받으면 된다. (stable source code 추천)

wget http://www.cpan.org/src/5.0/perl-5.24.1.tar.gz (4/25/2017 stable 버전)

less README를 하면 설치 가이드를 볼 수 있다.

-des = configure 과정 중에 질문이 있는데 항상 default로 진행 된다.

-Dprefix = 프로그램이 설치될 경로 이다.

-Dusethreads = 일부 프로그램을 perl의 multi threads를 요구하기때문에 compile단계에서 설정해주면 나중에 재설치할 필요가 없음. 단, 해당 옵션으로 설치했을 때 단일 thread 프로그램은 조금 느려질 수 있다. (사용을 추천)

make하는데 시간이 상당히 소요된다.

install 이 끝난 후에는 -Dprefix에 넣었던 PATH 안에 있는 의 bin과 lib 폴더를 export 해주면 끝.

line을 읽을 때 아래와 같이 구분자가 \t으로 되어 있지 않고 space로 되어 있는데다가 그 길이가 그때그때마다 다를 경우 parsing하기가 쉽지 않다. 

regular expression을 써서 구분하면 된다.

julia> a

" t= 0.2652  S=    38.3  N=    99.7  dN/dS=  0.5082  dN = 0.0697  dS = 0.1371\n"

아래의 list를 받아서 원하는 index에서 숫자를 가져오면 된다. string으로 되어 있기 때문에 float으로 바꿔서 가져와야 사용할 수 있다.

Julia에서 폴더를 하나 선택 후 그 폴더에 있는 하위폴더만 고르거나 특정 확장자를 가지고 있는 파일만 리스트로 만드려면

먼저 해당 폴더를 input으로 받은 뒤 filter를 이용해서 조건에 맞는 파일들만 고르면 된다..

readdir() 은 디렉토리를 읽고 안에있는 모든 파일을 가져오는 것이며

isdir()은 해당 파일이 디렉토리인지 확인하는 함수이고

endswith()는 해당 파일이름의 마지막이 주어진 조건과 매치하는지 확인하는 것이다.

세 함수를 조합해서 아래처럼 사용하면 된다.

스크립트를 실행하면서 넣어준 ARGS[1] 디렉토리에서

하위 폴더는 dirlist에 리스트 형식으로 저장 될 것이고

.zip으로 끝나는 파일들을 zipfilelist에 리스트 형식으로 저장 될 것이다.

Python에서 rpy 모듈을 사용하다가 

cannot mkdir R_TempDir 에러메세지 발생했다.

/tmp/ 폴더를 확인해 봐야 한다.

권한이 없거나, tmp 폴더에 설정한 용량을 채우면 더 진행되지 않는다.

확인필요.

리눅스에서 문서형식으로 된 데이터 파일들을 처리하다 보면 문서 편집 기능이 필요할 때가 많다.

일일이 스크립트를 짜서 하기엔 너무 번거로우니 간단하게 한 줄로 처리하고 싶을 때 자주 사용하게 되는 명령어들을 정리해 보았다.

• grep

grep은 사용하는 법도 간단하지만, 여러 가지 조건을 걸고 보기에는 무리가 있어서 다른 유닉스 명령어와 혼합하여 사용하는 경우가 많다.

• sed

file을 열지 않고 data를 편집가능하게 해주는 명령어 이다. 

stdout으로 바로 출력되기 때문에 원본 파일은 변화가 없으며 파일로 새로 쓰고 싶으면 stdout을 바로 파일로 만들어주면 된다.

예시.

패턴 뒤에 나오는 d, p, g 등이 어떤 기능을 수행할 지 결정하며 그 외의 특별히 기억해야 할 명령어는 없다.

• awk

익숙해지면 따로 스크립트를 작성하지 않아도 간단하고 빠르게 문서 편집이 가능하다.

특히나 리눅스에서는 문서 편집 명령어들을 쓸 일이 많기 때문에 쓰다보면 자연스럽게 익숙해질 것이다.

Windows 10에서 Redstone 패치부터 리눅스에서 사용하는 오픈소스 명령어 툴인 Bash shell을 지원합니다.

기존의 윈도우 환경에서 리눅스를 사용하기 위해서는 가상 머신이나 컨테이너 등을 설치하여야 했으나 이제는 그냥 Bash shell 자체를 윈도우에서 수행할 수 있도록 바꿨습니다.

윈도우 데스크탑과 리눅스 서버를 같이 사용하면서 맥에서는 할 수 있었지만 윈도우에서는 쉽게 하지 못했던 아쉬운 기능들이 있었는데 이번 패치 이후로는 이제는 훨씬 편하게 할 수 있을 거 같아서 매우 기분이 좋습니다.

윈도우에서 bash 사용을 위해서는 간단한 설치 과정이 필요합니다. 

설치 방법

• 개발자 모드 설정

설정 -> 업데이트 및 복구 -> 개발자용 -> 개발자 모드에 체크

• windows 기능 켜기/끄기

검색창에서 windows 기능 켜기/끄기 검색 후 실행

windows 기능 창에서 Linux용 windows 하위 시스템(베타) 에 체크

검색창에서 명령 프롬프트 실행 후 bash 입력

설치과정이 끝나고 나면 이후부터는 그냥 검색창에 bash라고 쳐도 실행되는 걸 보실 수 있습니다.

이 기능을 어떻게 응용할지는 이후 포스팅에서 계속 설명하겠습니다.