vbotoko

Data EngineerData Analyst

Limited Availability
Canada
クラウド環境でのデータ設計・ETL/ELT開発・CI/CD運用に精通。多業界で要件定義〜最適化まで一貫対応し高品質を実現
Team LeaderI’m at my best when I can use my leadership experience to manage a team to project completion.
20 Years
Experience
EN + JP
Business language
40 Hrs/Wk
Full Time
Remote
Work Location

Login to View

Approx. Hourly Rate

Portfolio

Skills

Top Skills

Apache Spark

Python

CI/CD

Data Manipulation

Microsoft Power BI

More Skills
SQL
Capabilities
Working in a Remote Team
Flexible Working Across Time Zones
Large Corporate Experience
Startup Experience
International Experience

Experience

Past Clients
walmart
Scotia bank
TD Bank
Bank of Montreal
Industry experience
Banking
Information Technology
Insurance
Logistics & Supply Chain
Retail
Work History
Data Engineer
Lead
Freelance
AlCrafTech / Information Technology
Oct 2024 - Sep 202511 months
クラウドデータパイプラインの開発・QA自動化・パフォーマンスチューニングを担当。 【業務内容】 ・Auto LoaderのPOC開発、ワークフローの設計・展開・品質保証・保守 ・Databricks CDCによるパイプライン更新の近代化 ・Azure DevOps PipelinesやPoetryを活用したCI/CD環境の構築 ・ユニットテスト・テストケースの設計とCI/CD統合による品質向上 ・Unity Catalogによるデータガバナンス強化とADLS/ファイル共有の設計 【実績】 ・CI/CD自動化によりデプロイ効率と品質を大幅向上 ・データガバナンス体制の強化に貢献 【担当業務】 POC要件整理・ロードマップ策定; カタログ/スキーマ管理構築; CI/CD開発運用・テストフレームワーク拡張; Databricksデータ基盤の設計・運用; Azure DevOps CI/CDパイプライン構築; データ処理パフォーマンス改善; Unity Catalogによるデータ管理; 単体/統合テスト自動化; 【習得スキル】 Databricks環境におけるデータ基盤近代化設計・運用 指針・Azure DevOpsによるCI/CDパイプラインの改善 ・Unity Catalogの設計・データパイプライン管理 ・テストフレームワークの拡張と自動化(単体・統合テスト) ・データ処理パフォーマンスの分析・改善 ・要件定義およびロードマップの策定スキル 【コメント】データ基盤近代化の設計からテスト自動化まで一貫して担当し、POC段階から本番環境への実装に向けたロードマップ策定やCI/CD構築を推進。性能改善にも注力し信頼性の高いデータ運用環境を実現
Data Developer
Employee
Walmart Global Tech / Information Technology
Dec 2022 - Aug 20241 year 8 months
販売データパイプライン・DWH開発、保守、QA、パフォーマンスチューニング、プロダクトサポートを担当。 【業務内容】 ・Scalaと最新パイプラインツールによるETL開発 ・QA自動化(Mockito/ScalaTest)とCI/CD(GitHub Actions/Jenkins/JFrog)導入 ・Spark UIによるボトルネック特定とパフォーマンス最適化 ・ファイル管理自動化とストレージ効率化 ・クラスタ選定・構成最適化 ・データ整合性検証とパイプライン監視による迅速な障害対応 【実績】 ・パイプライン処理速度と品質を大幅改善 ・自動化により運用コスト削減 【担当業務】 ETLパイプライン設計/チューニングガイドライン作成と実行; データウェアハウスの管理保守; パフォーマンス改善; ファイル設計; ジョブスケジューリング; データ品質基準を自動化; リリースCD化; データ欠損発生時対応フロー整備、トラブルシュート; MockitoやScalaTest等を用いた単体テスト・テストケースの作成; コード品質管理のCI化により運用改善を確立; 【習得スキル】 ETLパイプライン設計と最適化、大規模データ処理、CI/CD自動化、単体テストとデータ品質チェックの自動化による品質維持、データウェアハウスの保守運用などのスキルを習得 【コメント】 商品データの保守・品質改善プロジェクトにて、ETL設計・運用改善・テスト自動化を主導。大規模チームとの連携を通じて、安定した大規模データ流通と継続的な品質管理に貢献
Data Engineer
Employee
TD Bank / Banking
Nov 2021 - Nov 20221 year
Azure Databricks移行・データレイクマイグレーションを担当。 【業務内容】 ・SAS/HueコードをDatabricks PySparkへ再設計 ・ユーティリティライブラリ開発によるコード変換効率化 ・Deltaテーブル設計、パーティション戦略、インメモリキャッシュ導入 ・パフォーマンス最適化(AQE、Z-orderクラスタリング等) ・オブジェクト指向モデルへのリファクタリング 【実績】 ・レガシーコードの近代化と保守性向上 ・パフォーマンスと再利用性を大幅強化 【担当業務】 Hue/SAからDatabricksへの移行計画と実行; 既存コードレビュー;パーティション設計; Gitフロー・デプロイ支援; 障害ログ解析・再実行運用フロー整備; 【習得スキル】 DB2/Postgresから/Hiveへの移行対応を通じて、データベース設計・変換、PySparkとSQLによるETL処理、Bitbucketを用いたコードシェア運用、Databricks最適な移行手段の確立等のスキルを習得 【コメント】 マーケティングデータパイプライン移行・再設計プロジェクトにて、移行影響調査・コーディング・障害対応など幅広く対応。チームの中核として効率的な移行推進と安定運用に貢献
Data Engineering Manager
Lead
Employee
Scotia Bank / Banking
Nov 2020 - Nov 20211 year
グローバルバンキング領域でのデータ管理・ETL・SSIS・Azure SQL Server・Data Factory・PowerBIダッシュボード開発をリード。 【業務内容】 ・OPCCレポート機能拡張、SSRSレポート開発 ・Power BIによるジョブスケジュール可視化 ・ビジネス要件整理・制約条件の調整 ・アプリケーション課題の分析・サポート ・データモデル・SSIS ETLパイプライン構築 ・データ処理自動化・ジョブ監視・データ成長管理 ・APIデータローダーのC#実装、PySparkパイプライン構築 ・Azure Data Factoryへのレガシーパイプライン移行 【実績】 ・データ管理・可視化の高度化を実現 ・運用自動化とパフォーマンス向上に貢献 【担当業務】 OPCCレポート機能強化; データジョブスケジュール可視化ダッシュボード構築; SSISパイプライン設計・監視; JSON API抽出モジュール開発; Spark環境移行に向けてのPOCと要件定義; 【習得スキル】 ETLとパイプライン監視 ・可視化ダッシュボード構築(スケジュール管理) ・JSON API処理モジュール開発 ・Spark環境への移行に向けたPOC設計と要件定義 ・金融系データ(住宅ローン・クレイム処理)の統合・分析 【コメント】 グローバル金融業務の複雑なデータ処理に対応し、既存業務の可視化とETL基盤の強化を図ることで、業務効率と信頼性の向上に貢献しました。新技術導入に向けた検証も行い、将来的なシステム拡張に備えた設計経験を積むことができました
Data Engineer
Employee
TD Bank / Information Technology
Jan 2020 - Apr 20203 months
【業務内容】 • コールセンターのデータ移行、統合、変換、データモデリングを担当 • カスタマーケアチームとの連携により、データ検証ロジックの策定およびレビューを実施 • ビジネス上の課題をデータモデル、ストアドプロシージャ、計画に反映 • T-SQLを用いたデータベースプロパティ抽出により、移行計画を策定 • QAおよび本番環境でのデータベース・データウェアハウス(DW)構築および設定を担当 【実績】 • カラムストアインデックスの活用により、ダッシュボードクエリのパフォーマンスを最適化 • スキーマ再編(冗長性チェック、ビジネスルールの再定義、カラムサイズの調整)を実施 【担当業務】 コールセンターデータ移行計画・実行; 検証ロジック策定; ダッシュボードパフォーマンス最適化; 移行後テスト・手順書作成; 【習得スキル】 MS SQL Serverによるデータベース移行技術 ・T-SQLを用いたデータ検証ロジックの設計 ・Column Store Indexによるパフォーマンスチューニング ・MS Projectを活用した進捗管理とスケジュール調整 ・Windows Server環境でのシステム運用知識 【コメント】 コールセンターデータベースの移行と再設計に従事。移行計画立案から検証・パフォーマンス改善・テストまでを一貫して担当
Data Analyst
Employee
Bank of Montreal / Banking
Feb 2019 - Nov 20199 months
カナダ・米国の顧客バンキング&ウェルス分析ETL・BIを担当。 【業務内容】 ・データ統合とBIダッシュボード構築 ・販売パフォーマンス監視用ダッシュボード開発 ・資金フロー予測モデル・ETLパイプライン開発 ・ビジネス要件・プロジェクトスコープ定義 ・リテール/ウェルスマネジメントスキーマ設計 ・データ検証・標準化・スクリプト作成 ・Spark/Python/SASによるデータ処理 【実績】 ・多様なデータソース統合と分析基盤構築に成功 ・予測モデル導入で業務効率化を実現 【担当業務】 アメリカ・カナダ複数データ統合の計画実案; ETLパイプライン構築; 予測モデル用データマート設計; BIダッシュボード開発; データ標準化・検証レポート作成; 【習得スキル】 ETLパイプライン構築技術 ・SQL Server、Sybase IQ、DB2、Hive、PySpark、SAS、DataIku、Netezzaを活用したデータ統合 ・SASによるデータマート設計・処理 ・Spotfireを活用したBIダッシュボード開発 ・マーケティング分析向けデータ標準化・品質検証レポート作成 【コメント】 北米複数拠点の顧客データ統合プロジェクトにおいて、ETL基盤の構築と予測モデル用データ設計に従事。業務分析とマーケティング施策の高度化に貢献しました。技術間連携と品質管理に重点を置いた実装経験を積むことができました
Data Analytics
Lead
Employee
Loblaw / Retail
Feb 2011 - Dec 20187 years 10 months
【担当業務】 部門間調整・要件管理ETL自動化; データウェアハウス設計; BIダッシュボード設計・分析モデル開発; データ品質監視・アラート; 【習得スキル】 システム構築 ・ETL自動化設計(SSIS・SQL)および運用監視 ・データウェアハウス設計・Hadoop/Azure SQLなどを活用したデータ統合 ・Power BIを活用したBIダッシュボード開発・Pythonによる分類分析モデル構築 ・データ品質管理・異常検知アラート設計 【コメント】 調達業務デジタル化プロジェクトにて、複数部署と連携しながら要件定義からETL・分析基盤の設計・構築までを担当。ビジネス部門にとって価値のあるダッシュボードと高品質なデータ環境を提供 【担当業務】 ロイヤルティポイント分析のためのダッシュボードおよびETL開発; SAP・Teradata・メインフレームなど複数のデータソースを統合; データ抽出・変換・品質検証を通じてビジネスルールに準拠した情報を生成; 処理エラーの自動通知やETLスクリプトの保守; 検証済みのクリーンデータをデータウェアハウスへ格納; キャンペーン最適化モデルの構築; 【習得スキル】 データ処理環境構築 ・Teradata・Oracle・SAPなど異なるデータソース統合技術 ・SQL・Python・R・SASを用いたETL開発・データ分析処理 ・Tableauによるダッシュボード可視化・レポート作成 ・データ品質検証および処理エラー通知の自動化設計 【コメント】 ロイヤルティポイント分析に特化したシステム開発プロジェクトで開発メンバーとして参画。長期プロジェクトにて、各種データソースの統合からダッシュボードの構築までを担当し、マーケティング施策の精度向上に貢献しました 【担当業務】 カテゴリ別の販売・支出データを分析; 価格最適化モデルおよびBIダッシュボードの構築; SASを用いて複数のデータソースからデータを抽出・統合; OLAPキューブを設計・運用; 価格弾力性の算出、キャンペーン戦略の策定; 多次元構造のデータウェアハウス開発; ETL処理におけるエラー検知・通知の自動化; 【習得スキル】 カテゴリ別データ抽出・統合技術 ・SAS・SQL・Rによる価格分析モデル構築とBI設計 ・OLAPキューブ設計
CRMアプリケーションデベロッパー
Employee
Luxor CRM / Software
Jun 2009 - Oct 20101 year 4 months
【業務内容】 • メールキャンペーンのレスポンスおよび傾向をモニタリングするKPI管理システムの構築 • SQL Server Reporting Services (SSRS) を利用したカスタマイズ可能なCRMレポートの作成 • ユーザーが自由にフィルタ、グループ分け、集計できるBIプラットフォームの設計・実装 • CRMシステムにおけるビジネスリスクを検知する機能の追加およびトレンド分析の実施 【担当業務】 KPIモニタリングシステム開発; カスタムCRMレポート作成; BIプラットフォーム機能拡張; リスク検知レポート実装; 【習得スキル】 BIシステム構築 ・SQL Server・C#・VB.NETを用いた業務アプリ開発 ・ASP.NETによるWebレポート機能の拡張 ・SSRSを活用したKPI・CRMレポートの作成 ・リスク検知ロジックの実装とBIプラットフォームの強化 【コメント】 KPIモニタリングやCRMデータの可視化機能を開発。Web環境とBI基盤の連携による業務効率化を実現し、安定運用に貢献しました
アプリケーション/データベースデベロッパー
Employee
Custom Software Solutions / Software
May 2006 - Apr 20092 years 11 months
【業務内容】 • 保険マニュアルをレビューし、見積計算のロジック解析を担当 • SQL Serverデータモデルの設計(データ型および制約の定義)を実施 • パラメータ化クエリおよびストアドプロシージャの作成による効率的なデータ操作の実現 • インデックスキーの設定によるクエリパフォーマンスの最適化 • 業界標準(ACORD)に則ったデータマッピングの実施および本番環境へのデプロイ 【担当業務】 保険料見積計算ロジック実装; データモデル設計・制約定義; クエリパフォーマンスチューニング; 運用引継ぎ; 【習得スキル】 VB/VB.NETによる業務アプリケーション開発 ・SQL Server・保険業界向けデータマッピング設計 ・データモデルの設計スキルと要件の理解 ・開発と運用引継ぎ対応 【コメント】 保険業務向けシステム開発において、中核開発メンバーとして、ロジック設計、運用移行まで一連の工程を担当。業務知識と技術力を融合させ、安定稼働する保守性の高いアプリケーション構築に貢献

Languages

English

Business

Japanese

Native

Qualifications

Higher education
University of Winnipeg
Bachelors
Math/Stats
2000 - 2004
Doshisha University
Bachelors
Economics
1990 - 1995
Certifications & Honors
Databricks Certified Data Engineer Associate
Databricks
Issued 2024
Az-900 Microsoft Certified Azure Fundamentals
Microsoft
Issued 2022
MCTS Microsoft Certified Technology Specialist
Microsoft
Issued 2018