読者です 読者をやめる 読者になる 読者になる

分散バッチフレームワークとしてのApache Spark

ヌラーボさんのGeeks Who Drinkで分散バッチフレームワークとしてのApache Sparkというタイトルで話させていただきました。 nulab.connpass.com 資料はこちらになります。 Apache Spark as Batch 最近、Sparkを触り始めたんですが、世の中の資料は機械学習や…

playframework2のHTML出力が汚すぎるのでJsoupで整形してみた

最近、playframework2に手を出し始めました。 このフレームワーク、フォームヘルパーが結構色々HTMLを生成してくれるみたいで、まだ慣れてないせいもあって結構頻繁に生成されたHTMLの中身を見ています。 で、テンプレートエンジンの例に漏れず超絶汚い... …

sbtで環境依存ファイルを変更するためのカスタムタスクを書いてみたよ

Scala使うならsbt. これはもはや基本装備だと思うのですが、ちょっと困ってることがあります。というのも、mavenのprofileに相当する機能が分かんなくて(というか無い?)環境依存の設定を開発環境と本番環境で手動で切り替える事にorz というわけで激しく…

xsbt-web-plugin-0.2.11をglassfish3.1で動かすとclass file needed by ServletRenderContext is missingとか言われる

昨日まで普通に動作していたモジュールを今朝GlassFishにあげると エラーが出て動かなくなるという素敵体験をしたのでメモ。 ローカルのjetty(sbt container:start)では普通に動作しているのに、GlassFish上にあげるとこんなエラーになる。 [#|2012-05-20T01…

javaとかScalaで全角を半角に変換する方法

Scalaでテキストの類似度計算の前処理として全角を半角に変換したいんだけど、commonsとかにも無いみたい。まあ、日本人とかにしか関係ない処理だしなぁ。 正規表現でゴリゴリやっても良かったのだけど、どう考えても車輪の再発明だと思って探してみたらIBM…

レーベンシュタイン距離で文字列の類似度を計算してみる

電子書籍のタイトルをAmazonAPIに投げて、その結果からISBNを取得しようとコードを書いてるんだけど、Amazonさんの検索結果上位だからといって、必ずしも検索したい文字列に最も近い語というわけではないみたい。きっと、色々良い感じの補正をかけているので…

Twitter製のScala向けConfigライブラリのutil-evalが素敵すぎる

現在作ってるアプリで設定ファイルを作りたくなったので、Scalaで人気の設定ファイルライブラリであるutil-evalを使ってみた。 このライブラリの特徴は何と言っても設定ファイルをScalaで記述できること。XMLやYAML, プロパティファイルじゃなくて内部DSLで…

AmazonWebServiceをScalaから呼んでみた

amazon web serviceをScalaからお手軽に呼んでやろうと思ってたんだけど、今はシグネチャが付いてるからちょっとプログラミングが必要になったみたい。いい感じのライブラリを無かったので、公式のサンプルとid:tantackさんの記事をみながら自分に必要な部分…

リソース表示用のServletを書いてみた.

jettyはservlet-mappingのservlet-nameを省略するとリソース用のサーブレットに渡されます。なので、 画像とかJSとかのリソースをwebapps上に置くことが出来て便利。 ただ、GlassFishはそういった機能がないので、とりあえず適当に実装してみた。 コードは下…