24GBのファイルをコピーしようとしてエラーになり??な話です。大きなファイルを使いそうなファイルシステムにはXFSを利用していたので気が付きませんでした。
sshfsでマウント先のファイルシステムにコピーしようとしたら16GBでエラー、クラッシュした為と思いますが勝手にumountされました。sshfsの制限かな?とscpにしても同じ、4GBにsplitしてコピー後にcatしても16GBちょうどでエラーなのでググるとKernel 2.4の制限が出てきました。
http://www.ussg.iu.edu/hypermail/linux/kernel/0403.3/1673.html
Depends upon the block size.
Block size file size
1 kb 16 GB
2 kb 256 GB
4 kb 2048 GB
8 kb 2048 GB
2.4カーネルのこの制限はそのまま2.6カーネルのext3にも引き継がれているいたようです。
# 追記を参照
古いe2fsprogsの場合、mkfs -t ext3で作られるデフォルトのファイルシステムのブロックサイズは1KBなので最大ファイルサイズはたったの16GBになります。
“ext3 filesize“くらいでヒットしても良さそうですが出てきませんでした。”ext3 16gb filesize“でやっと適切な検索結果になりました。やはり大きなファイルを使う場合はXFSですね。
他のキーワードでも試してみました。
- エラーメッセージだけ： “ファイルサイズ制限を超過しました” ext3の制限は出てこない
- エラーメッセージとファイルサイズ: “ファイルサイズ制限を超過しました” 16GB ext3の制限はでてこない
もう少し検索してみると「“ファイルサイズ” 16GB linux」でやっとKernel 2.4の翻訳に当たりました。
私もXFSだったので困ることは今まで無かったですし、皆さんも16GBの壁にはあまり困っていないのかな??
追記
smbdさんに教えてもらった有用なリンク：
- ファイルシステム諸元
- ext3 諸元拡大に関する研究開発動向、及び改造方式の検討
http://lc.linux.or.jp/paper/lc2006/CP-09.pdf
後のPDFにおもしろい事が書いてあります。PDFに記載されているext3の最大ファイルサイズの拡張は2.6.17-rc1で取り込まれ
ブロックサイズ： 4KB 最大ファイルサイズ: 4TB
ブロックサイズ：64KB 最大ファイルサイズ: 256TB
まで拡張されている、としています。ということはこのエントリのタイトルは「ext3の最大ファイルサイズは256TBでなく16GB?!」になるのかも知れません。それとも、ブロックサイズ128KBとかできる?
追記2
最近のe2fsprogsはデフォルトのブロックサイズは4096byteになっています。320GBのSATA HDD 2本でRAID1にしていた/dev/md0の全体がext3でフォーマットされていたので最近フォーマットされた、と思っていたのですがブロックサイズが1024byteであった事を考えるとkernel 2.4くらいのシステムでフォーマットされていたパーティションだとと思います。3年か4年前くらいに購入したテスト用のPowerEdge800なので何度かOSを入れ替えているのですが/dev/md0は相当古い(?)linuxでフォーマットしたか、mkfs.ext3のデフォルト値が小さいシステムでフォーマットしたのだと思います。
気になたのでいつ頃から4KBブロックサイズがデフォルトになったか調べてみました。
Fedoraのe2fsprogsパッケージのChangeLogによるとS/390とzSeriesは2002年に4KBブロックサイズがデフォルトになったようです。
* Mon Jun 17 2002 Karsten Hopp <karsten @redhat.de>
– set default blocksize for mke2fs on S/390 and zSeries to 4096
ソースを見た方が正確なのでe2fsprogs-1.39のdoc/libext2fs.texinfoによるとまだ1KBがext2のデフォルトだと書いてあります。（ext3の記述は見つからず、ただext3はext2+ジャーナルの構造なのでブロックサイズなどは同じだと思います）
lesystem. Valid values are 0 (1024 bytes), 1
(2048 bytes), or 2 (4096 bytes). The default blocksize is 1024 bytes.
どうもtexinfoファイルはアップデートされていないようなのでコードの方を見てみました。
misc/mke2fs.cがmkfs.ext2, mkfs.ext3のコードでe2fsprogs-1.39のソースだと1221行目にデフォルト値が設定されています。
} else {
retry:
retval = ext2fs_get_device_size(device_name,EXT2_BLOCK_SIZE(&fs_param),&dev_size);
if ((retval == EFBIG) && (blocksize == 0) && (fs_param.s_log_block_size == 0)) {
fs_param.s_log_block_size = 2;
blocksize = 4096;
goto retry;
}
}
git-annotateによると”2005-01-27 19:07:26″にデフォルトブロックサイズの行が変更された事になっています。
20953129 (Theodore Ts’o 2005-01-27 19:07:26 -0500 1244) blocksize = 4096;
# これはe2fsprogsの開発版なのでデフォルト値を設定している
# 行が1.39と異なっています。
最近のシステムであれば4KBブロックサイズがデフォルトだと思います。この為、4TB(システムによっては2TB)が最大ファイルサイズになるのでext2/ext3の最大ファイルサイズは4TBと考えて問題ないと思います。
mke2fs.confをサポートしているe2fsprogsの場合（ほとんどのlinuxはサポートしていると思いますが）/etc/mke2fs.confでもデフォルトのブロックサイズを設定/参照できます。
[defaults]
base_features = sparse_super,filetype,resize_inode,dir_index
blocksize = 4096
inode_ratio = 8192[fs_types]
small = {
blocksize = 1024
inode_ratio = 4096
}
floppy = {
blocksize = 1024
}
news = {
inode_ratio = 4096
}
largefile = {
inode_ratio = 1048576
}
largefile4 = {
inode_ratio = 4194304
}
最近のext3ファイルシステムはディレクトリエントリでB-Tree検索をサポートしています。mkfs.ext3のコマンドのオプションで指定してもよいですが/etc/mke2fs.confに記述してもよいです
もし、ブロックサイズが分からないまたは気になる場合は
dumpe2fs /dev/sda1 | less
等とするとブロックサイズを確認できます。
Leave a Comment