Sparkメモ

メモというかブックマーク的な www.sigmoid.com https://www.quora.com/What-exactly-is-Apache-Spark-and-how-does-it-work/answer/Prithiviraj-Damodaranwww.quora.com

自動テスト関係のメモ

そのうちちゃんと調べたいので忘れないようにメモ EvoSuite github.com JUnitのテストケースの自動生成. [シンボリック実行を活用した 網羅的テストケース生成 - Fujitsu] シンボリック実行に入門しようとした ntddk.github.io 用語とか基本知識の解説 coq-c…

gitの良さは未だに分からないがPullRequestの良さはちょっとだけ分かるぞい

git

スマートニュース見てたらこんな記事が上がってました。 crapp.hatenablog.com まあ、gitの良いところはそれなりにありますがローカルコミットを上手に使えるようになるまでの壁はとても高いですよね。 正直言えば私もrebaseとかなるべく打ちたくないし、使…

技術的負債はリボルビング払いで返そう!

qiita.com という記事がTwitterに上がってたので見てみましたが、大変共感できるものでした。 システム開発をしていれば技術的負債はつきものです。特にサービス運営をしていれば、「たとえ借金をしてでも今出すべき!」ってタイミングは良くあります。 技術…

分散バッチフレームワークとしてのApache Spark

ヌラーボさんのGeeks Who Drinkで分散バッチフレームワークとしてのApache Sparkというタイトルで話させていただきました。 nulab.connpass.com 資料はこちらになります。 Apache Spark as Batch 最近、Sparkを触り始めたんですが、世の中の資料は機械学習や…

書き初めコーディング! Docker + CGI + COBOLな環境を作って温故知新

さて、今年の書き初めコーディングは「温故知新」ということで、古いものと、とても古いものと、最近のものを組み合わせてみました。 というわけで、CGI + COBOL + Dockerという異色組み合わせをしてみました。エンジニアは「最新の技術」ではなく「最適な技…

さよならスティッキーセッション!PayaraでJavaEEでもセッションをKVSに。

この記事は Java EE Advent Calendar 2015 の 9 日目です。 昨日は btnrouge さんの「Payara Microのからくり」でした。 意図せずしてPayaraネタ連続です。 はじめに Payara MicroはSpringBootやWildfly Swarmあるいは一日目に紹介されていたKumuluzEEと同様…

WildFly Swarmではじめる「パーツとしてのJavaEE」

天神LT勉強会 on Zusaar でWildFly Swarmに関して話してきましたので、ブログにまとめ直してみます。 JavaEEコンテナの世界観 昔ながらのJavaEEコンテナはすべてがJavaEEで完結することを目指して作られていました。 なので、WeblogicやGlassFish, WildFly等…

Dockerってなんですか? それ、JavaEEで分かるよ。

はじめに 最近、Dockerが大人気ですね。GoogleやMicrosoftも参入してることはもちろんですが、Oracle Weblogicのサポート対象に入ってたりとミドルウェア側、それもエンタープライズ系製品が対応してきたのは面白い動きです。 とはいえDockerって何?ってい…

萌える瞬間英作文バージョン 0.401をリリースしました!

毎年、エイプリルフールはなんか作ろう! と画策しているのですが、今年は「萌える瞬間英作文」というAndroidアプリを作りました。 萌える瞬間英作文 - Google Play の Android アプリ さて、瞬間英作文ってご存知でしょうか? こちらの英語上達完全マップ●…

Meteorが見せるIsomorphicなDBとリアクティブな開発モデル

最近、Meteorを試して見てます。これはちょっとスゴイ。正直、当時Railsに受けたのと同じ興奮がある。 Meteorの説明は「リアルタイムWebアプリケーションフレームワークMeteorについて」あたりが分かりやすいので、こちら参照。 実は、2012年の公開時から存…

JavaEEだけどDockerがしたい!- GlassFish on Docker

Java EE Advent Calendar 2014 14日目です。 今年はDockerが大躍進した年だな、と思います。 そこで、このビックウェーブに乗り遅れないように、GlassFishを使って、Dockerベースの環境を作ってみました。 今回利用するコンテナはこちら Appコンテナ GlassFi…

Excelを使わない技術 - 正しい神の殺し方

ドキュメント作成技術 Advent Calendar 2014 13日目です。 ※ なお、本題とは一切関係ありませんが中2力全開気味なのでご注意ください。 Excel、というツールをご存知でしょうか? まあ、知らない人はいないと思います。 それは表計算ツールであり、グラフ描…

Consul with Dockerを手軽に試せる環境を作ってみた

Consulを使ってDockerの名前解決を簡単に実現する - Qiita でConsulを使って、サービスディスカバリをして、DNSの名前解決をする方法を書いたんだけど、検証用の環境を簡単に作れるようにしたのでこっちに公開。 koduki/consul-with-docker-example koduki/c…

Java VM別の簡単なベンチマークをしてみた

最近のJavaは速い。 この言葉は良く聞くけど基本Java1.2とか1.4みたいな古代のバージョンと比較してのこと(まだ動いてそうだが...) 最近のバージョンはどうなんだろう? と気になったのだけど、あんまりVM毎のベンチって出回って無さそうだったので、試し…

問い:Java 8のStream APIは業務でどんな時に使うの? 答え:あなたがfor文使いたい時

※ サンプルがJDK7までとJDK8までで意味が変わっていてわかりにくいという指摘があったので、少し直しました。 ※ boxedを使う書き方だと無駄なAutoboxingが走るとの指摘を頂きましたのでmapToObjを利用するように変えました。 Java8の目玉機能の一つにStream …

Java Day Tokyo 2014に参加してきました

勉強会はブログに参加記事を書くまでが勉強会だと以前習ったので、昨日参加してきたJava Day Tokyoの感想とか書いときます。 Java SE 8がちょうどでたばかりということもあって、今回はほとんどのセッションがJava8祭りでした。 https://oj-events.jp/public…

Androidのエンドツーエンドテストの自動化も Cucumber から Turnip へ

以前はAndroidのATDDにはCabash-Androidを入れてたのだけど、やっぱ時代はCucumberからTurnipだよねってことで、AndroidなTurnip環境を作ったので構築メモ。 ちなみに出来たものはこちらへ。 github - koduki/turnip_with_android_example インストール まず…

Macで複数バージョのJavaを切り替えたい

JDK8でたよーって、ことで色々触っている今日このごろ。 やっぱラムダ式とか使えるようになって大分普通になった感じ。 で、ここで問題になるのがまだ全面的にJava8に移行したわけでもないのでJava7とどう共存して環境を切り替えるか。たぶん、Java使ってい…

オカルトから科学へ - SonarQubeで静的コード解析を始めよう

ちなみに、タイトルは半分釣りというか、個人に依存したオカルトから、誰がやっても同じになる科学的な方法論をもっと入れてこう、って意図です。 もちろん、そういった部分を全部なくすのでは無くうまく組み合わせるのが大事。魔術と科学が交わるときには何…

Javaを使うメリットはありますか? はい、それはもちろんあるに決まってます!

/.Jに聞け:Javaを使うメリットは? | スラッシュドット・ジャパン デベロッパー え、ありますよね? Webアプリに限っても。 というか、上げてるデメリットが現代的じゃないなぁ... 個人的には少数精鋭チームを作れてないならJavaはかなり有りな選択だと思っ…

あなたの職業は何? RPG風のエンジニアの分類を作ってみた

ひとくちにエンジニアと言っても、いろんなタイプの人が居て、性格に応じたロールがある。 たとえば「◯◯さんはやたら設計に拘って動きが遅いけどバグは出さない」とか「◯◯さんは手が早いけど、よくバグも作りこむ」とか「◯◯さんはいつもCIと叫んでる」とか。…

ドキュメントからコードへ

From document-to-code from Hiroaki Koduki 最近「ドキュメントからコードへ」というのをキーワードに考えています。 その辺に関してつらつらと書いてみました。例のごとく英語で書いた資料より日本語の方が詳しいよ>< 「ドキュメントからコードへ」って…

テスタブルコードの書き方 - 基本戦略編

今のチームにテストコードの導入を本格的にしようと思ってるので、思考の整理がてらメモ。内容は初学者向け。 テストの必要性をとくのは比較的簡単である程度できた。既存のレガシーコードはとりあえず忘れることに(特定メンバーでプロジェクト的に実施)。…

JUnitで現在時刻が関わるテストを解いてみた

これであなたもテスト駆動開発マスター!?和田卓人さんがテスト駆動開発問題を解答コード使いながら解説します~現在時刻が関わるテストから、テスト容易性設計を学ぶ #tdd に書いてある問題がUnitTestを書いていく上での教材にとても良さそうだったので、…

レガシーコードも年末に向けて大掃除! - jMockitを使おう

さて、今年もあと僅かになりましたが、この1年間で溜まりに溜まったコードの負債を大掃除してみませんか? レガシーコードだから書くのが大変? プロダクト側を改修したいけどそもそもテストが無いから改修が怖い? ですよねー。 なのでjMockitを使って既存…

Keynote風のプレゼンテーションをMarkdownで作ってみた

How to make keynote like presentation with markdown from Hiroaki NAKADA 最近ちょっと英語の練習がてら上のような英語プレゼンを作ろうと思い立ちました。 目的なく写経的なの苦手なので、目的作る方式。 ただ、OpenOfficeなりKeynoteなりPowerPointなり…

電子書籍ストアのランキングを比較したよ[Book☆Walker, Kindle, Kobo]

ふと Book☆Walker 1 ハイスクールD×D16 課外授業のデイウォーカー ¥600 2 週刊アスキー 2013年 10/29号 ¥350 3 新約 とある魔術の禁書目録(8) ¥683 4 週刊ファミ通 2013年10月31日号 ¥350 5 艦これ白書 -艦隊これくしょん オフィシャルブック- ¥1,995 6 東…

playframework2のHTML出力が汚すぎるのでJsoupで整形してみた

最近、playframework2に手を出し始めました。 このフレームワーク、フォームヘルパーが結構色々HTMLを生成してくれるみたいで、まだ慣れてないせいもあって結構頻繁に生成されたHTMLの中身を見ています。 で、テンプレートエンジンの例に漏れず超絶汚い... …

Java Mission Control + Flight RecorderをGlassFish4で使ってみた

Java SE 7 Update 40が先日でました。なんとこの子はついに待望のFlight Recorder(ちゃんとした版)が実装されたのですよ! 本番環境の障害調査用にと個人的にはJRockitの機能がHotspotに統合されるHotRockitプロジェクトで一番注目してた機能でした。 一応…