[Hadoop]core-site.xml, hdfs-site.xml

내가 테스트 구축에 사용한 hdfs의 버전은 2.9.2 따라서, Documentation Version 또한 2.9.2로 확인한다.

 

core-site.xml Documents

https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml

 

hdfs-site.xml Documents

https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

Use core-site.xml from Base Image

fs.defaultfs

The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri's scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uri's authority is used to determine the host, port, etc. for a filesystem.

 

파일시스템, 호스트, 포트를 지정하는 부분이다.

네임노드의 위치를 찾는 설정이다.

ex.) hdfs://namenode:9000/

---

 

Use hdfs-site.xml from Datanode

dfs.datanode.data.dir

Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. Directories that do not exist are ignored.

 

로컬파일 시스템에서 데이터 노드가 블록을 저장할 위치를 지정한다.

ex.) file:///opt/hadoop/dfs/data

 

 

dfs.blocksize

The default block size for new files, in bytes. You can use the following suffix (case insensitive): k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa) to specify the size (such as 128k, 512m, 1g, etc.), Or provide complete size in bytes (such as 134217728 for 128 MB).

 

기본블록크기 사이즈를 지정하는 부분이다.

k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa)를 통해 단위 표기 가능.

표기를 안할 시, 기본단위는 byte(B)이다.

ex.) 10485760 (10MB)

 

 

dfs.datanode.use.datanode.hostname

Whether datanodes should use datanode hostnames when connecting to other datanodes for data transfer.

 

데이터 전송을 위해 다른 데이터노드와 연결 할때, 데이터노드 호스트 이름을 사용하는지 여부

ex.) true

Use hdfs-site.xml from Namenode

dfs.namenode.name.dir

Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy.

 

로컬파일 시스템에서 네임노드가 fsimage를 저장할 위치를 지정한다.

만약 쉼표로 구분시켜서 여러 경로를 지정한다면, 네임테이블이 모든 디렉토리에 복사된다.

ex.) file:///opt/hadoop/dfs/name

 

 

dfs.blocksize

The default block size for new files, in bytes. You can use the following suffix (case insensitive): k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa) to specify the size (such as 128k, 512m, 1g, etc.), Or provide complete size in bytes (such as 134217728 for 128 MB).

 

기본블록크기 사이즈를 지정하는 부분이다.

k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa)를 통해 단위 표기 가능.

표기를 안할 시, 기본단위는 byte(B)이다.

ex.) 10485760 (10MB)

 

 

dfs.client.use.datanode.hostname

Whether clients should use datanode hostnames when connecting to datanodes.

 

클라이언트가 데이터노드에 연결할 때, 데이터노드 호스트 이름을 사용하는지 여부

ex.) true

 

 

dfs.namenode.rpc-bind-host

The actual address the server will bind to. If this optional address is set, the RPC server will bind to this address and the port specified in dfs.namenode.rpc-address for the RPC server. It can also be specified per name node or name service for HA/Federation. This is most useful for making name node listen to all interfaces by setting to 0.0.0.0.

 

서버가 바인딩할 실제 주소. 만약 이 옵션에 주소를 설정하면, RPC 서버는 설정한 주소와 RPC 서버의 dfs.namenode.rpc-address에 지정된 포트에 바인드한다. 이 속성은 0.0.0.0으로 설정하여 네임노드가 모든 인터페이스를 수신하도록 설정하는것이 가장 좋다.

ex.) 0.0.0.0

 

 

dfs.namenode.servicerpc-bind-host

The actual address the server will bind to. If this optional address is set, the service RPC server will bind to this address and the port specified in dfs.namenode.servicerpc-address. It can also be specified per name node or name service for HA/Federation. This is most useful for making name node listen to all interfaces by setting to 0.0.0.0.

 

서버가 바인딩할 실제 주소. 만약 이 옵션에 주소를 설정하면, RPC 서버는 설정한 주소와 RPC 서버의 dfs.namenode.servicerpc-address에 지정된 포트에 바인드한다. 이 속성은 0.0.0.0으로 설정하여 네임노드가 모든 인터페이스를 수신하도록 설정하는것이 가장 좋다.

ex.) 0.0.0.0

 

 

dfs.namenode.http-bind-host

v2.6.0 버전 이상에서 생긴 속성

The actual adress the HTTP server will bind to. If this optional address is set, it overrides only the hostname portion of dfs.namenode.http-address. It can also be specified per name node or name service for HA/Federation. This is useful for making the name node HTTP server listen on all interfaces by setting it to 0.0.0.0.

 

HTTP 서버가 바인딩할 실제 주소. 만약 이 옵션에 주소를 설정하면, dfs.namenode.http-address의 호스트 이름 부분만 재정의한다. 0.0.0.0으로 설정하여 HTTP 서버가 모든 인터페이스에서 수신하도록 하는게 좋다.

ex.) 0.0.0.0

 

 

dfs.namenode.https-bind-host

v2.6.0 버전 이상에서 생긴 속성

The actual adress the HTTPS server will bind to. If this optional address is set, it overrides only the hostname portion of dfs.namenode.https-address. It can also be specified per name node or name service for HA/Federation. This is useful for making the name node HTTPS server listen on all interfaces by setting it to 0.0.0.0.

 

HTTPS 서버가 바인딩할 실제 주소. 만약 이 옵션에 주소를 설정하면, dfs.namenode.https-address의 호스트 이름 부분만 재정의한다. 0.0.0.0으로 설정하여 HTTPS 서버가 모든 인터페이스에서 수신하도록 하는게 좋다.

ex.) 0.0.0.0