bash│blue sky IT

スクレイピングとは？curlで簡単なスクレイピングを試す。その2

前回のスクレイピング記事でお話した続き。今回は実際の加工をやっていく話。今はpythonの方が主流っぽいですが、ぶっちゃけpythonはやったことないのでshellでごりごり書いていきます。

仕事で気象庁のデータを扱うことになった。基本的に利用・加工は自由(ただしその旨をしっかり記載すること)ということなので、スクレイピングして加工して必要なデータを用意してあげることになった。では、スクレイピングとは？実際やる際の簡単な方法は？解説してみた。

その2 sort uniqを高速でやろうという話。技術的なところというよりは、マニュアルを読もうという話かもしれない。

現職の知識というよりは、前職の知識だけど。派遣先ではJavaとかも使ってたけど、一番よく見たのはShellScriptだったので、忘れないうちにナレッジを残しておきたい。