Oracle Code One 2018に参加してきました

JavaOneには結局ついぞ参加する機会がなかった私ですが、Oracle Code Oneになったのを契機にというかたまたまサンフランシスコ近辺に住んでるので参加してきました! 紆余曲折あって会社のブース展示とかの手伝いもしてたので、セッションを十全に回れた訳で…

クラウドというかマイクロサービス

API First, First, First !!! Fintechやモバイルに本気で対応するための APIを中心とした最新アーキテクチャ docs.microsoft.com SoR系 分散業務処理システムでのもろもろ考慮点(勢い版 2017.07 from Arichika Taniguchi www.slideshare.net マイクロWebア…

大規模DB設計メモ

speakerdeck.com qiita.com speakerdeck.com docs.microsoft.com 超実践 Cloud Spanner 設計講座 from Samir Hammoudi www.slideshare.net 12c R2ではじめるOracle Databaseのシャーディング | アシスト

Argoでkubernetesのジョブ管理を導入してみた

先日作った下記のサイトですが小さいながk8sでジョブを動かしてます。 koduki.hatenablog.com ジョブの構成は BTCの情報を収集 学習&予測 スコアリング の3種類で1 -> 2-> 3の順番に依存があります。で、2の部分は当然アルゴリズムを増やすと増えますし並列…

流行りの技術を集めてビットコインの予想サイトを作ってみた

最近、ビットコインが久しぶりに80万円を超えて調子が良いですね! そう言う訳でと言う訳では無いのですがビットコインの予想サイトを作ってみました。 明日のビットコインを大予想! 最近、特に自分のサービスを運用にしてなかったので新し目の技術をHello …

僕の考えた最強のDB for 会員むけシステム

ソシャゲとかその他C2Bな会員向けシステムにとって最強のDBはどういうのだろうか? とTwitterでつらつら考えてたのでブログにもまとめ直してみる。 SparkやHDFSみたいにデータのあるところで処理出来るDBでかつトランザクションを曲がりなりにもサポートした…

nodejsの"nobody" does not have permission to access the dev dir

gypなライブラリをDockerでnpmからインストールする時に-g付けてグローバルに出そうとすると下記のエラーが出て正常にインストールが出来なかった。 gyp WARN EACCES user "nobody" does not have permission to access the dev dir "/usr/lib/node_modules/…

ラズパイメモ

Setup a simple CI pipeline to build Docker images for ARM · Docker Pirates ARMed with explosive stuff www.ecliptik.com docs.docker.com

JavaでのUT作成基準を整理してみた

チームが小さいとよしなにですむのだけど、大人数になってくると明文化しとかないと結局テストが書かれないのでUTの作成基準とかを整理してみた。 自分のチームで使う想定のイメージで書いてみたけど、体制やプロダクトの性質によっても変わってくるだろうし…

Intel Xeonから見るCPUクロックとコア数の10年間の遷移 - 2017版

タイトルの通りなのですが、良くある「フリーランチは終わった」的な話の資料を作りたくて、CPUクロックとコア数の遷移を追った資料が欲しかったんですがここ最近のものが意外と無かったので作ってみました。 インテル® 製品の仕様情報 - 高度検索 でCPU情報…

lineageメモ

Cloudera Navigatorみたいにファイルの作成をトレースできるツール Hadoop界隈のものしかない? github.com http://atlas.apache.org/ Data Lineage & Big Data Governance: Data Quality & Masking

テキストマイニングメモ

Webページのメインコンテンツの抽出方法。 「HTMLからのメインコンテンツ抽出 (Main Content Extraction)」とか「本文抽出」とか呼ぶらしい。 個別の詳細記事抽出のためのWebページ分割手法の提案 確率モデルを用いたWebブロックの役割推定手法とその応用 半…

Java8を便利にするためのSF(少しFunctional)なライブラリJL2を作ってみた

Java8をもう少しだけ便利に使うための少しFunctionalなライブラリを書いてみました。 github.com Java8からStream APIが増えて随分コーディングが楽になったんですが、まだまだ不満があります。 その一つが多値を扱うTupleが無いこと。StreamAPIでmapを使っ…

分散システムの「キホン」の「キ」 - あるいは普通のWebアプリの作り方

みなさん、分散システムというと何を思い浮かべますか? Hadoopですか? Sparkですか? 現代だと多くの人がそういったイメージを持つと思いますが、調べてみるとそれらは厳密には分散「コンピューティング」に属する技術のようです。 分散システムとはメイン…

Hadoop の時代は終わってないけど、使いどころは限定されてきたかもしれない

id:shiumachi さんが書かれてる下記の記事がとても良かったです。 shiumachi.hatenablog.com 私自身もSparkを触る前は「Hadoop == MapReduce」と思ってましたが、どちらかというとYARNやHDFSがHadoopファミリの核だと最近は思いますし その意味でのHadoopは…

Javaの分散トレーシングとかAPMとか実行時ログとか

メモ的まとめ APM blog.takipi.com www.itcentralstation.com http://www.hawkular.org/hawkular-apm/www.hawkular.org github.com 分散トレーシング http://zipkin.io/zipkin.io http://opentracing.io/opentracing.io ログ系 builder.japan.zdnet.com docs…

形式手法関連のメモ

ソフトウェア工学の道具としての形式手法 形式手法に関して歴史的かつ網羅的にまとめてあった OpenJML 上記でも触れられてたJava向けの拡張静的チェッカ? ECS/Java2の後継? Java8対応らしいので試してみる Home | OpenJML 机上の Kubernetes - 形式手法で…

ゼロから始めるdocker生活 ~ VT-Xなんてない

さて、タイトルで誤解されそうですがこの記事はDockerの入門記事ではありません。 現代的なツールチェインが使えない異世界な気分に浸れる開発環境を与えられたとあるプログラマーの異世界訪問記みたいなものです。 現代的な開発環境を作る上で欠かせない存…

Oracle Exadataは分散システム?

はじめに Oracle Exadataとは? Oracle RAC(Real Application Clusters)とは? ExadataとSmart Scan ExadataとRACと分散ストレージ まとめ 参考 はじめに 最近、Oracle Exadata/RACを触る機会がありました。 個人的にはOracle RAC自体まともに触るのが初めて…

いつのまにかGitのshallow cloneが”Push”も"Pull"もできるように超進化していたよ! すごーい!

git

流行りに乗ってフレンズ用語を活用しようと思って、タイトルで力尽きたブログはこちらです。 はじめに 基本的なpushとpull 元になるリポジトリの作成 shallow cloneリポジトリの作成とPush full-repoとshallow-repoでの相互のpull & push まとめ はじめに 不…

レガシー分散システムからモダン分散システムへ

はじめに Dockerは個人的には色々便利なんだけど、オンプレな本番環境に適用するメリットあるかな? とたまに思います。 Infrastructure as Codeは別な方法でも実現できますし。 Googleとかもコンテナは分散システムの基盤としてを重要視してるように感じる…

運開分離とDEVOPS

この記事は「システムエンジニア Advent Calendar 2016」の記事です。 さて、今日はクリスマス☆イブ。ITな香りがほんわかするポエムを書いてしまおうと思います。 システムエンジニア Advent Calendarってあったから、とりあえず登録しといたんですが、よく…

英語で萌えよう!

この記事は、 OIT Advent Calendar 2016の19日目の記事です。 OITでAdvent Calendarが書かれるのは感慨深いです。 自己紹介 2003年入学、2009年修士卒のOBです。HxSコンピューターサークルとF教授の研究室にいました。今は、某IT系企業でエンジニアをやって…

ふつうのユニットテストのための7つのルール

最近、久しぶりにコードレビューをすることが増えたのですが、UnitTestのコードを見るとヒドイ部分が多く残念な気持ちになることもあります。 原因のひとつとして、プロダクトコードと違いテストの書き方をあまり書き方を明文化してなかったのが悪かったなと…

Sparkメモ

メモというかブックマーク的な www.sigmoid.com https://www.quora.com/What-exactly-is-Apache-Spark-and-how-does-it-work/answer/Prithiviraj-Damodaranwww.quora.com

自動テスト関係のメモ

そのうちちゃんと調べたいので忘れないようにメモ EvoSuite github.com JUnitのテストケースの自動生成. [シンボリック実行を活用した 網羅的テストケース生成 - Fujitsu] シンボリック実行に入門しようとした ntddk.github.io 用語とか基本知識の解説 coq-c…

gitの良さは未だに分からないがPullRequestの良さはちょっとだけ分かるぞい

git

スマートニュース見てたらこんな記事が上がってました。 crapp.hatenablog.com まあ、gitの良いところはそれなりにありますがローカルコミットを上手に使えるようになるまでの壁はとても高いですよね。 正直言えば私もrebaseとかなるべく打ちたくないし、使…

技術的負債はリボルビング払いで返そう!

qiita.com という記事がTwitterに上がってたので見てみましたが、大変共感できるものでした。 システム開発をしていれば技術的負債はつきものです。特にサービス運営をしていれば、「たとえ借金をしてでも今出すべき!」ってタイミングは良くあります。 技術…

分散バッチフレームワークとしてのApache Spark

ヌラーボさんのGeeks Who Drinkで分散バッチフレームワークとしてのApache Sparkというタイトルで話させていただきました。 nulab.connpass.com 資料はこちらになります。 Apache Spark as Batch 最近、Sparkを触り始めたんですが、世の中の資料は機械学習や…

書き初めコーディング! Docker + CGI + COBOLな環境を作って温故知新

さて、今年の書き初めコーディングは「温故知新」ということで、古いものと、とても古いものと、最近のものを組み合わせてみました。 というわけで、CGI + COBOL + Dockerという異色組み合わせをしてみました。エンジニアは「最新の技術」ではなく「最適な技…