Be great

LDAP(Lightweight Directory Access Protocol)은 디렉토리 서비스를 제공하기 위한 애플리케이션 프로토콜입니다. 주로 네트워크 상에서 사용자, 그룹, 장치 등의 정보를 중앙에서 관리하고, 검색 및 수정할 수 있도록 설계되었습니다. 이를 통해 여러 시스템 간에 인증 및 권한 부여를 일관되게 수행할 수 있습니다. LDAP는 효율적인 디렉토리 데이터베이스로서, 기업 환경에서 사용자 계정 관리 및 조직의 구조화를 돕습니다.

LDAP(Lightweight Directory Access Protocol)의 여러 기능 중 하나는 사용자 계정을 구축하는 것입니다. 기본 개념은 LDAP 서버에 조직 및 사용자에 대한 구조화된 정보를 저장하고, LDAP 클라이언트에서 접속 요청이 오면 LDAP 서버에서 사용자 인증을 처리하는 것입니다. 이를 통해 여러 서버의 계정을 중앙에서 관리할 수 있습니다. LDAP 서버는 사용자의 인증, 권한 부여, 계정 정보 등의 중앙 집중화된 관리를 가능하게 합니다. 여러 서버와 애플리케이션이 LDAP 서버와 통신하여 사용자를 인증하고, 권한을 부여받으며, 필요한 계정 정보를 가져올 수 있습니다.

1. OpenLDAP 서버 설치

sudo apt-get install slapd ldap-utils

LDAP 서버로 사용할 서버에 접속해서 관련 라이브러리를 설치합니다.

2. OpenLDAP 서버 초기 구성

sudo dpkg-reconfigure slapd

이 명령어를 실행하면 몇 가지 설정 질문이 나타납니다:

• DNS 도메인 이름: 예를 들어 example.com
• 조직 이름: 예를 들어 Example Inc
• 관리자 비밀번호 설정
• 데이터베이스 파일을 삭제할지 여부: 기본값을 유지 (No)
• Move old database: 기본값을 유지 (Yes)
• 데이터베이스를 만들 수 있는 허용된 세션 수: 기본값을 유지 (No)

3. LDAP 디렉토리 구조 설정

LDAP 디렉토리 구조를 설정하려면 LDIF (LDAP Data Interchange Format) 파일을 사용합니다. 다음은 기본 디렉토리 구조를 설정하는 예입니다:

#base.ldif
# 조직의 루트 엔트리
dn: dc=example,dc=com
objectClass: top
objectClass: dcObject
objectClass: organization
o: Example Organization
dc: example

# 사용자 조직 단위
dn: ou=users,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: users

# 그룹 조직 단위
dn: ou=groups,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: groups

# IT 부서 조직 단위
dn: ou=IT,ou=users,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: IT

# HR 부서 조직 단위
dn: ou=HR,ou=users,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: HR

# 관리자 계정
dn: cn=admin,dc=example,dc=com
objectClass: simpleSecurityObject
objectClass: organizationalRole
cn: admin
description: LDAP Administrator
userPassword: {SSHA}PASSWORD_HASH

각 항목의 설명

1. dn (Distinguished Name):
   • LDAP 디렉토리에서 엔트리를 고유하게 식별하는 이름입니다. 디렉토리 트리의 경로를 나타냅니다.
   • 예: dn: dc=example,dc=com은 도메인 구성 요소가 example과 com인 루트 엔트리를 의미합니다.
2. objectClass:
   • 엔트리의 유형을 정의합니다. 각 objectClass는 엔트리가 가질 수 있는 속성을 정의합니다.
   • top: 모든 LDAP 엔트리가 상속하는 최상위 클래스입니다.
   • dcObject: 도메인 구성 요소를 나타내는 클래스입니다.
   • organization: 조직을 나타내는 클래스입니다.
   • organizationalUnit: 조직 단위를 나타내는 클래스입니다.
3. 조직 정보:
   • o: 조직의 이름을 나타냅니다.
   • dc: 도메인 구성 요소를 나타냅니다.
   • 예: o: Example Organization, dc: example
4. 조직 단위:
   • ou: 조직 단위의 이름을 나타냅니다.
   • 예: ou: users, ou: groups

PASSWORD_HASH 값은 아래 명령어로 생성한 다음에 붙여넣으면 됩니다.

slappasswd

base.ldif는 조직 구조에 따라 계층적 설계도 가능합니다.

# 조직의 루트 엔트리
dn: dc=example,dc=com
objectClass: top
objectClass: dcObject
objectClass: organization
o: example org
dc: example

# 사용자 조직 단위
dn: ou=users,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: users

# 그룹 조직 단위
dn: ou=groups,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: groups

# AI부문 조직 단위
dn: ou=AI,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: AI

# AI 연구개발 부서 조직 단위
dn: ou=RnD,ou=AI,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: RnD

# AI 전략기획 부서 조직 단위
dn: ou=SnP,ou=AI,dc=example,dc=com
objectClass: top
objectClass: organizationalUnit
ou: SnP

# 관리자 계정
dn: cn=admin,dc=example,dc=com
objectClass: simpleSecurityObject
objectClass: organizationalRole
cn: admin
description: LDAP Administrator
userPassword: {SSHA}PASSWORD_HASH

작성한 base.ldif 파일을 적용시킵니다.

sudo ldapadd -x -D cn=admin,dc=example,dc=com -W -f base.ldif

4. 사용자 및 그룹 추가

이제 새로운 사용자를 추가합니다.

#add_rnd_user.ldif
# 그룹 객체 생성
dn: cn=johndoe,ou=RnD,ou=AI,dc=example,dc=com
objectClass: top
objectClass: posixGroup
cn: johndoe
gidNumber: 5001

# 사용자 객체 생성
dn: uid=johndoe,ou=RnD,ou=AI,dc=example,dc=com
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: top
cn: John Doe
sn: Doe
uid: johndoe
uidNumber: 10001
gidNumber: 5001
homeDirectory: /home/johndoe
loginShell: /bin/bash
userPassword: {SSHA}PASSWORD_HASH
mail: johndoe@example.com

ldif 파일을 ldap 서버에 적용시킵니다.

sudo ldapadd -x -D "cn=admin,dc=example,dc=com" -W -f add_rnd_user.ldif

잘 적용되었는지 확인해 봅시다.

ldapsearch -x -LLL -b "dc=example,dc=com" "(objectClass=*)"

새로운 사용자가 생길때마다 add_user를 진행하면 되고 HASH값을 받아서 직접 사용자 계정을 생성해도 되지만 기본 비밀번호로 생성하고 사용자에게 직접 변경하도록 합니다.

사용자가 자신의 비밀번호를 변경하려면 아래처럼 작성합니다.

ldappasswd -x -D "uid=username,ou=users,dc=example,dc=com" -W

조직의 구조를 나누고 여기에 따른 각각의 권한을 가지도록 할 수도 있습니다. (나중에 추가)

LDAP 서버에서의 설정은 끝났습니다. 이제 이 설정을 적용할 LDAP 클라이언트 서버에서 이어서 작업합니다.

5. LDAP 클라이언트 설정

이 설정은 모든 클라이언트에서 각각 진행합니다.

LDAP 클라이언트 서버에서 libnss-ldap 및 libpam-ldap 패키지를 설치합니다:

sudo apt-get install -y libnss-ldap libpam-ldap ldap-utils nscd

이후에 파일을 수정해도 되지만, 설치 과정에서 나오는 ldap 주소 등을 정확하게 입력하면 수고를 줄일 수 있습니다.

nscd를 데몬으로 실행합니다.

sudo systemctl enable nscd
sudo systemctl start nscd

환경 설정 -

클라이언트에서 처음 로그인 한다면 홈 폴더가 없기 때문에 생성하는 설정을 추가합니다. 

#/etc/pam.d/common-session
session optional pam_mkhomedir.so skel=/etc/skel umask=0077

계정이 있는지 ldap에서 확인하는 작업을 추가합니ㅏㄷ.

# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

passwd:         files systemd ldap
group:          files systemd ldap
shadow:         files ldap
gshadow:        files

hosts:          files mdns4_minimal [NOTFOUND=return] dns
networks:       files

protocols:      db files
services:       db files
ethers:         db files
rpc:            db files

netgroup:       nis

먼저 로컬 계정이 있는지 확인하고 없으면 ldap를 확인하는 설정입니다.

설정이 잘 적용되었다면 아래 명령어로 호스트에서 가져온 정보가 포함되어있는지 확인합니다.

getent passwd
getent group

Docker에서 MariaDB컨테이너 띄우기.

1. MariaDB 저장용 Volumne 컨테이너 만들기

Docker create -it -v /var/lib/mysql --name maria_vol busybox

MariaDB의 데이터베이스 저장은 /var/lib/mysql 아래에 저장되는데 Host 데이터와 직접 연결하는 것은 안정적이지 않기 때문에 volumn 컨테이너를 새롭게 만들어서 붙인다.

2. MariaDB 이미지 생성

docker pull mariadb

3. MariaDB run

docker run -d --name mymaria --volumes-from maria_vol -e MYSQL_ROOT_PASSWORD=1111 -p 3306:3306 mariadb

mymaria 라는 이름의 컨테이너를 생성했다.

이 컨테이너 안에서 데이터를 관리하면 된다!

#2022-05-27 재작성

single node 기준. (서버와 노드가 하나의 컴퓨터)

slurm, munge 데몬 설치.

sudo dnf install slurm slurm-slurmd slurm-slurmctld munge

slurm 계정 및 그룹 생성. 

groupadd -g 900 slurm
useradd  -m -c "SLURM workload manager" -d /var/lib/slurm -u 900 -g slurm -s /sbin/nologin slurm

sudo chown slurm:slurm -R /var/spool/slurm/

munge key 생성

sudo /usr/sbin/create-munge-key -r

필요에 따라 conf 파일을 수정해야함. 위치는 /etc/slurm/slurm.conf

SlurmUser=slurm
SlurmctldLogFile=/var/log/slurmctld.log
SlurmdLogFile=/var/log/slurmd.log

로그 파일의 수정 권한을 SlurmUser가 가지고 있어야함.

foreground에서 slurmctld 데몬 실행해서 에러가 나오는지 확인.

sudo slurmctld -D

정상적으로 작동되는지 확인.

sudo systemctl start slurmctld
sudo systemctl enable slurmctld
sudo systemctl status slurmctld

conda 설치 후 채널을 추가해야 최신 버전의 프로그램을 갱신해서 쓸 수 있다.

conda config --add channels defaults
conda config --add channels bioconda
conda config --add channels conda-forge

anaconda의 버전 업데이트 후 아래와 같은 에러 발생

Collecting package metadata (current_repodata.json): failed

ProxyError: Conda cannot proceed due to an error in your proxy configuration.
Check for typos and other configuration errors in any '.netrc' file in your home directory,
any environment variables ending in '_PROXY', and any other system-wide proxy
configuration settings.

https://github.com/conda/conda/issues/9497 페이지에서 확인해보니 urllib3 의 버전 변경으로 인한 문제로 보임.

conda config --set ssl_verify False

위 명령어를 작성하면 .condarc 파일이 home directory 밑에 생성되는데 파일을 아래와 같이 수정한다

ssl_verify: False
proxy_servers:
  https: http://[PROXY]:[PORT]/

https: https: 에서 https: http로의 변경.

$jupyter notebook --no-browser --port=8888

명령어로 jupyter notebook 실행. 아래 화면으로 정상 실행됨과 포트를 확인.

$ jupyter notebook --no-browser --port=8888
[I 16:25:24.807 NotebookApp] Serving notebooks from local directory: 
[I 16:25:24.807 NotebookApp] Jupyter Notebook 6.1.4 is running at:
[I 16:25:24.807 NotebookApp] http://localhost:8888/
[I 16:25:24.807 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).

1. PuTTY

2. XShell

수신대상서버의 port = jyupter 실행 port

remote 서버의 port = 사용자 pc에서의 port

위와 같은 설정이라면 브라우져에서 http://localhost:8889 일때 실행 가능함.

jupyter notebook 실행시 나오는 링크는 8888로 설정되어있기 때문에 두 포트 넘버를 같게 하는게 편함.

국내 미러사이트 중 하나인 daum으로 변경하는 법.

현재 적용중인 repolist 확인.

yum repolist

기존 repolist는 압축하여 사용 안하도록 설정.

bzip2 /etc/yum.repos.d/CentOS-*.repo 

/etc/yum.repos.d/Daum.repo 생성하기.

[base]
name=CentOS-$releasever - Base
baseurl=http://ftp.daumkakao.com/centos/$releasever/os/$basearch/
gpgcheck=0
[updates]
name=CentOS-$releasever - Updates
baseurl=http://ftp.daumkakao.com/centos/$releasever/updates/$basearch/
gpgcheck=0
[extras]
name=CentOS-$releasever - Extras
baseurl=http://ftp.daumkakao.com/centos/$releasever/extras/$basearch/
gpgcheck=0

우선 당연하게도 https://github.com 에서 신규 가입을 해야한다.

모든 데이터를 저장/불러오기 할 때 Username과 Email이 필요하기때문에 본인임을 확인할 수 있는 계정으로 생성한다.

계정이 생성되면 저장소(repository)를 생성해야한다. 동시에 여러 개의 저장소를 만들 수 있기 때문에 규모가 크다면 프로젝트별로, 작다면 하나의 저장소 안에 폴더를 나누어 저장하는 것이 좋다.

Repository name이 앞으로 사용할 저장소 이름이다.

외부 인원이 접근하지 못하도록 Private로 설정하고 필요에 따라 README 파일 생성에 체크를 하도록 한다.

위와 같이 README가 포함된 저장소가 생성되었다.

저장소가 생성되었으니 리눅스 서버에서 스크립트를 저장하는 방법을 설명하겠다.

테스트를 위해 임의의 디렉토리 test를 생성하였다.

$ mkdir /test
$ cd /test
$ pwd
/test

생성된 폴더를 git 저장소로 사용하기위해 git init 명령어를 입력한다. 앞으로 해당 폴더 내에서 이뤄지는 변경사항을 저장할 수 있게 되었다. 그리고 테스트를 위한 새로운 파일 test.txt를 생성하였다.

$ git init
/test/.git/
$ touch test.txt
$ ll
total 0
-rw-r--r-- 1 root root 0 Jul 29 14:32 test.txt

git add test.txt는 test.txt 파일을 commit기위해 선별하는 과정이다. 저장소에 디렉토리내의 모든 파일을 저장하는 것이 아니고 선택된 파일들만 저장하기때문에 단계가 나뉘어져있다. 

불편해 보일 수 있지만 github의 장점이 버전관리임을 생각하면 매 번 모든 파일을 업데이트하는것은 오히려 불필요하다는 것을 알 수 있다. 물론 원한다면 -a 옵션을 사용하요 한 번에 모두 업데이트 할 수 있다.

git commit -m "test"는 add 명령어로 선택된 파일들을 하나의 패키지로 묶어준다. -m 은 묶음에 메모를 남기는 것이다.

$ git add test.txt
$ git commit -m "test"
[master (root-commit) 6c12673] test
 1 file changed, 0 insertions(+), 0 deletions(-)
 create mode 100644 test.txt
$ git status
# On branch master
nothing to commit, working directory clean

저장소에 대한 업데이트가 필요하다. 앞으로 사용되는 "test" 라는 변수는 아래의 주소를 가리키게 될 것이다.

저장소를 새롭게 만들때마다 아래와 같은 작업이 최소 1회 필요하다.

git remote add test https://github.com/[UserName]/test

업로드를 하기 전에 git pull을 먼저 해야한다. 기존 저장소의 파일과 동기화가 이루어져야 업로드 할 수 있기 때문이다.

이 과정을 무시하고 싶다면 push과정에서 -f로 강제로 업로드 하는 방법이 있지만 추천하지 않는다.

$ git pull test master
 * branch            master     -> FETCH_HEAD
Merge made by the 'recursive' strategy.
 README.md | 1 +
 1 file changed, 1 insertion(+)
 create mode 100644 README.md

이제 test.txt파일을 포함하고있는 commit을 웹 저장소에 올려보자. git push test를하면 위에서 정의한 test 저장소에 commit을 업로드 한다.

git push test

test.txt파일이 업로드 된 것을 확인할 수 있다.

/etc/hosts 파일 내에서 변경.

127.0.0.1 localhost.localdomain localhost 
::1 localhost6.localdomain6 localhost6 
8.8.8.8 testhost

파일 수정 후 곧 바로 적용된다.

ssh testhost 처럼 입력해도 ip 8.8.8.8 로 접속하게 된다.

#CentOS 6 
[root@localhost ~]# vi /etc/sysconfig/network 
HOSTNAME=myhost 

#CentOS 7 
[root@localhost ~]# hostnamectl set-hostname myhost

변경 후 ssh 재접속.