巨大なデータの取り回しを検討する

研究室で、ある学生の研究にてギガバイトサイズのデータを取り扱う必要があります。テキストデータ(CSV)で、全てが必要なわけではないので、内容を吟味して必要なところだけを抽出することで数百メガバイトくらいには縮小できる見込みです。

しかし元がギガバイトを超えるデータですから、一度に開くことができません。学生の使用しているPCはx64版のOSが入っているのですが、Officeはx86です。テキストエディターで開くことも試みましたが、こちらは100MBずつしか開けませんでした。

いろいろ検討してみたところ、いわゆるPCではなくワークステーションを導入する方向で考えています。ニーズを業者に伝えて見積もりを出してもらったところ、そんなに高価でない構成でなんとかなりそうでしたので。OSはLinux系のCentOSとWindowsが選べますが、学生が使うことを考えるとOSはWindowsで行かざるを得ないかな。つかWindowsなら大学でライセンス持ってるからこっちで入れればいいか。

ライセンス持ってるとは言え、俺の手元にメディアがあるわけではないので、情報センターの担当職員に相談してみなければ。x64版でないといかんしな。

しかし懐かしいな。俺が学生の頃は、10MB程度のテキストデータの取り回しに四苦八苦していました。当時のメディアはまだFDが主流でしたから。歴史は繰り返すんだな。だいぶ規模は大きくなっていますが。

俺の時はそのデータを圧縮して分割して4枚くらいで持ち歩いたり、MOドライブを導入したり、メモ帳では開けないのでテキストエディタを導入したりしたなぁ。
当時は俺もパソコン初心者だったので、詳しい友人(主にRZメンバー)にいろいろ方法を教えてもらって、ずいぶんスキルが上がった気がします。

スキルが上がったと言えば、何度も行ったWindows再インストールも大きく寄与している気がします。やはり困難は人を成長させるのですな。(笑)