スクレイピングとは?curlで簡単なスクレイピングを試す。その2
前回のスクレイピング記事でお話した続き。 今回は実際の加工をやっていく話。 今はpythonの方が主流っぽいですが、ぶっちゃけpythonはやったことないのでshellでごりごり書いていきます。
前回のスクレイピング記事でお話した続き。 今回は実際の加工をやっていく話。 今はpythonの方が主流っぽいですが、ぶっちゃけpythonはやったことないのでshellでごりごり書いていきます。
仕事で気象庁のデータを扱うことになった。 基本的に利用・加工は自由(ただしその旨をしっかり記載すること)ということなので、 スクレイピングして加工して必要なデータを用意してあげることになった。 では、スクレイピングとは?実際やる際の簡単な方法は?解説してみた。
その2 sort uniqを高速でやろうという話。 技術的なところというよりは、マニュアルを読もうという話かもしれない。
現職の知識というよりは、前職の知識だけど。 派遣先ではJavaとかも使ってたけど、一番よく見たのはShellScriptだったので、 忘れないうちにナレッジを残しておきたい。