28 Aug 2021
gfpconcat 1 Gfarm
gfpconcat 複数ファイルを結合しながら並列にコピーする
`gfpconcat` -fpqvd -h filesystem-node -j num-of-processes -m minimum-bytes -o destination-file source-file

## DESCRIPTION

`gfpconcat` は、単一ファイルまたは複数ファイルを単一のファイルに対して 並列にコピーします。

source-file には、コピー元のファイル名を指定します。 ファイル名を複数指定した場合は、指定した順序で結合します。

destination-file には、コピー先のファイル名を指定します。 ファイルが存在する場合は、上書きします。

## SOURCE FILE

source-file には以下を指定できます。

パス名

  ローカルファイルシステム上のパスを絶対パスまたは相対パスで指定しま す。そのパスが gfarm2fs のマウントポイントの場合は、gfarm2fsを経由 せずにGfarm からコピーします。

gfarm:...

  Gfarm URL で指定します。

file:...

  ローカルファイルシステム上のパスを URL で指定します。

## DESTINATION FILE

destination-file には以下を指定できます。

パス名

  ローカルファイルシステム上のディレクトリを絶対パスまたは相対パスで 指定します。そのパスが gfarm2fs のマウントポイントの場合は、 gfarm2fs を経由せずに Gfarm へコピーします。

gfarm:...

  ディレクトリを Gfarm URL で指定します。

file:...

  ローカルファイルシステム上のディレクトリを URL で指定します。

## OPTIONS

`-f`

  既存ファイルを上書きします。

`-h` filesystem-node

  指定したファイルシステムノードにファイルを作成します。

`-i` input-listfile

  入力ファイルを列挙したファイルをコマンドライン引数 source-file の代わりに指定します。 そのファイル中の各行に入力 URL を一つずつ記述します。

`-j` num-of-processes

  並列プロセス数を指定します。 入力ファイルを均等なサイズに分割し、各プロセスに割り当てます。

  デフォルト値は gfarm2.conf の client_parallel_copy パラメータです。 最大値は gfarm2.conf の client_parallel_max パラメータです。 詳細は gfarm2.conf のマニュアルを参照してください。

`-m` minimum-bytes

  並列コピーする場合に、1 プロセス当たりに割り当てる最小データサイズを バイト数で指定します。 1 プロセス当たりのサイズがこのサイズよりも小さい場合は、 1 プロセスでコピーします (並列コピーしません)。 デフォルトは 0 バイト (常に並列コピーする) です。

`-p`

  コピー性能を報告します。

`-q`

  警告を表示しません。

`-v`

  冗長な情報を出力します。

`-d`

  デバッグ情報を出力します。

`-?`

  コマンドオプションを出力します。

## NOTES

Gfarm 上にファイルを 1つ作成する際に、並列に書き込んだり、 ランダムアクセスで書き込んだりすると、チェックサムがファイルに付加されません。 そのため、`gfpconcat` を使用すると、 チェックサムが付加されません。 一度ファイルをシーケンシャルに読むと、または複製を作成すると チェックサムが付加されます。 または gfmd.conf の write_verify が enable となっていれば、 `gfpconcat` でファイル作成後にしばらく経つと チェックサムが付加されます。 詳細は gfarm2.conf のマニュアルを参照してください。

## SEE ALSO

gfcksum 1 , gfarm2.conf 5