Japanese

【PythonとSparkで始めるデータマネジメント入門】 ビッグデータレイクのための統合メタデータ管理入門

【PythonとSparkで始めるデータマネジメント入門】 ビッグデータレイクのための統合メタデータ管理入門

現役のデータエンジニアがレクチャーします! AIや機械学習を行う際に最も時間のかかる作業は、データの準備とそれらの管理です。これらの作業のことをデータエンジニアリングと呼びます。実に80%以上の時間をデータエンジニアリング(データサイエンスのための前処理やメタデータ管理)に割いてるのが現状です。 本コースではSparkを使ったデータエンジニアリングにおけるメタデータ管理について学びます。 メタデータを管理しなければデータ組織の生産性低下は免れません。 本コースを受講してデータを管理するという新たな方向へと舵を切りましょう。 メタデータ管理とは、データ活用の生産性を高めるためのデータの設計書です。 データはゴミ箱に捨てるようにただ「データレイク」や「データウェアハウス」に保存しておけばいいだけではなく、 データがどこにあるのか? データはどのような状態なのか? データの意味合いはどのような意味なのか? データは誰にアクセスされているのか? データは何回アクセスされているのか? といったいわゆるメタデータをしっかりと管理することにあります。 本コースは3種のメタデータ(下記ポイント参照)について、入門として一つのテーブルをもとにPySparkを用いて算出しMysql保存していく実践講座です。 また保存するだけでなく、保存したメタデータの活用方法についても言及しています。 ポイント: PySparkを使いながら以下の取得や算出を行います。 ビジネスメタデータ:テーブル定義や、テーブルの説明など、データ利用をするのに必要なメタデータ管理を勉強します。 テクニカルメタデータ:データプロファイリングを通した、データを検索せずともデータの特性をわかるようにするための方法を学びます オペレーショナルメタデータ:Sparkのアクセスログの解析を行い、データに関する5w1hを引き出します。 いづれの情報もPysparkなどを使いながら算出していきます。 「データサイエンスのための前処理入門PythonとSparkで学ぶビッグデータエンジニアリング(PySpark) 速習講座」を受講していると内容の理解がよりスムーズかと思います。 特徴: データエンジニアリングよりの講座です。 難しいいサイエンスや数学は出てきませんが、データの3職種のうちの一つである「データエンジニア」のためのコースです。 普段Pythonを使っている方やこれからAIやビッグデータの分野にエンジニアとして参画してデータを自在に操りたいという方にはぴったりです メタデータを管理して、データ分析という行為にさらに付加価値を加えたい方 ソースコードや解説は以下のGitHubリポジトリにあります。 動画内ではGitHubの資料に加え補足をしながら解説を進めています。

【PythonとSparkで始めるデータマネジメント入門】 ビッグデータレイクのための統合メタデータ管理入門 Read More »

【Linuxコマンド】時間が無いプログラミング初心者の為の(Macターミナルコマンド)実践入門!

【Linuxコマンド】時間が無いプログラミング初心者の為の(Macターミナルコマンド)実践入門!

このコースでは、macのターミナルを利用してlinuxコマンドについて学びます。 必要な箇所のみを学ぶ事ができる初心者・入門者向けの実践体験型のコースになってます。 専門用語や、難しい説明は省いて、実際に手を動かす事によって、感覚的にlinuxコマンドを理解します。 ・もう少し詳しい説明が欲しい ・もう少し深い内容が知りたい ・○○の利用方法が知りたい などなどありましたら、お知らせください。 必要な場合は、本コースにレクチャーを追加していきます! また、本コースで取り扱っている内容は下記になります。 ・linuxコマンドの利用方法について ・vimの操作方法について ・vimのマクロの利用法について ・シェルスクリプトの利用方法について ・権限(パーミッション)について ・高度な文字列操作の利用方法について ・iTerm 本コースでは取り扱っていない内容は下記になります。 ・homebrewについて ・サードパーティーツールの説明について ・linuxについて、歴史、網羅的なコマンドの説明について もっと深く取り上げてほしい!という事であれば、今後このコースで取り上げさせて頂きます。 ■2021/11/04に内容を追加しました。 ・各セクションの簡易的な解説を追加 ・各セクション最後に「小テスト」を追加

【Linuxコマンド】時間が無いプログラミング初心者の為の(Macターミナルコマンド)実践入門! Read More »

【2024年最新版】DP-900 Azure Data Fundamentals 模擬問題集

【2024年最新版】DP-900 Azure Data Fundamentals 模擬問題集

※この問題集はMicrosoftの学習ガイドに沿って構成されており、2024年7月1日に更新済みのものとなります。 【講座内容】 本コースは DP-900 Azure Data Fundamentals 認定試験に合格するために必要な知識を網羅したコースです。コース内では、説明が豊富に盛り込まれており特別な事前知識は必要ありません。 DP-900 Azure Data Fundamentals認定試験では、以下の4つのカテゴリに分類したAzureサービスを運用する能力が評価されます。 ・コアデータ コンセプト ・Azure リレーショナル データベース ・Azure 非リレーショナルデータベース ・アナリティクス ワークロード このコースでは、DP-900試験に必要な知識を網羅するための模擬試験問題を提供します。また、Azureを業務で活用する方や、すでにAzureを使用している方にも適したコースとなっています。 このコースを活用してDP-900試験に合格し、Azure Data Fundamentals 認定を取得しましょう。

【2024年最新版】DP-900 Azure Data Fundamentals 模擬問題集 Read More »

PCA(Google Professional Cloud Architect)が”ざっくり”「スッキリ」分かる講座

PCA(Google Professional Cloud Architect)が”ざっくり”「スッキリ」分かる講座

海外ではもっとも高収入が得られる認定試験として常にトップに上がる Google Cloud Certified Professional Cloud Architect(通称PCA)。近年、3大パブリッククラウドプロバイダとしてBigQueryや機械学習で注目を浴びているGoogle Cloud Platform(GCP)で人気のあるPCA。そのPCAを受験するにあたって、これまで5年で4回の受験歴(2回の不合格、1回の合格、1回の更新合格)のあるわたくしの経験をもとに、PCA合格のポイントを最短で習得して頂ける内容となっています。 模擬試験(50問✕2)で実際の試験問題数と試験時間で理解度を疑似体験することができます。

PCA(Google Professional Cloud Architect)が”ざっくり”「スッキリ」分かる講座 Read More »

Amazon Lightsail入門 〜AWSで最も安く簡単にLaravel(PHP)サーバー構築を実践しよう!〜

Amazon Lightsail入門 〜AWSで最も安く簡単にLaravel(PHP)サーバー構築を実践しよう!〜

講座内容 ■ インフラ未経験者でもAWSでWebアプリが動くサーバーを構築できる 本コースではサーバー構築未経験の方、初めてAWSを触る方を対象にLightsailを使って固定料金のサーバーを構築するできるようになることを目標にしています。 クラウドサーバーの仕組み上、従量課金(使った分だけ支払う)制度になっているので、とっつきづらいかと思います。 そこで、固定料金のLightsailを使うことで安心してAWSに慣れることができます。 ■ 本コースのカリキュラム 1. コースの概要でインフラの全体像をつかむ     AWSなどのクラウドサーバーだと各サービスの連携でつまづいてしまいますが、Lightsailを使うことで分かりやすくサーバーを構築することができます 2. AWSコンソールからサーバーを立ち上げる     初心者でも操作に迷わないように最新版のコンソール画面を収録しながら解説しています 3. 独自ドメインの取得とRoute53の設定     独自ドメインをAWSで取得して、Route53と連携させることで初心者でも簡単に独自ドメインのアプリを運用できるような学習を行う 4. サーバー証明書でアプリをSSL(https)化     近年必須になってきたSSL通信も実装していきます。イメージの掴みづらいネットワーク周りも図解で解説しています 5. データベースのバックアップ自動化     Webアプリを運用する上で必ず行っておきたいデータベースもバックアップを実装します。サーバーの仕組みを使うことで、毎日自動でバックアップを取れるようになります

Amazon Lightsail入門 〜AWSで最も安く簡単にLaravel(PHP)サーバー構築を実践しよう!〜 Read More »

ソリューションアーキテクト101 : クラウドネイティブ #kubernetes on devops

ソリューションアーキテクト101 : クラウドネイティブ #kubernetes on devops

クラウドネイティブの世界は壮大です。 深い知識を得るには 数年は必要になる上、またベストプラクティスは時と共に高速に進化します。 そのような状況の為、ソリューションアーキテクトに求められる期待は高まり 需要も増加しています。 このコースでは、 ソリューションアーキテクト向けの 知識とスキルの基礎 を築くことを目的としています。 クラウドネイティブ学習のファーストステップとして、学習速度を加速 します。 まだ日本語化されていない書籍・ドキュメントの情報を主とし クラウドネイティブの全体像 及び クラウドネイティブ・プラットフォームの1つ Kubernetes について 体系的に 基礎とベストプラクティス を学ぶことが出来ます!! Container 利点 : Benefits VMとの比較 : VM vs Container 仕組み ( Linux kernel namespaces, cgroups Deep Dive) 課題について Kubernetes 利点・特徴 : The Benefits of K8s 高速配信モデル : Velocity delivery 障害自己回復 : Self healing インフラの抽象化 : Infrastructure abstraction リソースの有効利用 : Resource efficiency Service Discovery The Fifteen Factors について クラウドネイティブ像

ソリューションアーキテクト101 : クラウドネイティブ #kubernetes on devops Read More »

【学習用Excel資料付!】1日集中Excel入門セミナー

【学習用Excel資料付!】1日集中Excel入門セミナー

こんな悩みはありませんか・・・ ★人並みに、エクセルを使いたい! ★普段Excelを使っているけど、どのような便利機能があるのかよく知らない! ★思った通りにならずに、いつもイライラが溜まる! ★独学でExcelを勉強しようと本を買ったけど、分厚くてどこを読めばいいのかわからない! ★日常業務を、もっと効率化したい! ★エクセルを使えなければ、仕事に支障が出てしまう! 本コースが終わったら、、、 今までExcelを使うのが苦手だったが、資料を作成するのが楽しくなります。 ・同僚や上司から「なんで先週までできなかったのに、こんなにうまく使えるようになったの?」って言われるようになります。 ・知らなかった機能や使い方を活用することで、日常業務で使うExcel作業が数倍も効率よくなります。

【学習用Excel資料付!】1日集中Excel入門セミナー Read More »

Flutter × FirebaseでTwitterみたいなSNSアプリを作成する【ログイン機能】【画像保存】

Flutter × FirebaseでTwitterみたいなSNSアプリを作成する【ログイン機能】【画像保存】

※この動画コースは、Flutter学習サービス『Flutterラボ』でも公開しています。 概要 簡易版Twitterの作成が学習できる動画コースです。 実践的なUI作成と機能の実装が幅広く学ぶことができます。 主なUI実装 リスト表示 ストリーミング通信 プロフィール画像の円形表示 ボトムメニュー ログイン画面 投稿画面 機能実装 サインアップ・ログイン Firebase Authentication(Email, Google Account) メッセージ投稿・閲覧 Cloud Firesore アカウント管理 Cloud Firesore プロフィール画像保存 Cloud Storage

Flutter × FirebaseでTwitterみたいなSNSアプリを作成する【ログイン機能】【画像保存】 Read More »

【サイバーセキュリティハンズオン】IoTホワイトハッキングの始め方(無線通信編)

【サイバーセキュリティハンズオン】IoTホワイトハッキングの始め方(無線通信編)

根強い人気のある【サイバーセキュリティハンズオン】シリーズから、第3弾が登場! 今回は、無線通信を利用したIoTのホワイトハッキングの始め方を学習します。 近年、IoT(Internet of Things)の本格導入に伴い、無線通信技術を介したIoTへのサイバー攻撃がますます増加しています。 本コースでは、IoTの無線通信に焦点をあて、IoTのハッキング技術を基本を学びます。 コース内で学ぶ主なハッキング技術は以下です。 リプレイ攻撃 盗聴 なりすまし 改ざん 中間者攻撃 暗号解読 受信妨害 ソフトウェア無線ツールや無線モジュールを用いて環境構築を行い、基本的なホワイトハッキング(脆弱性検査)をハンズオンで演習します。 本コースの受講により、関連ツールの使用スキルや、ハッキングの進め方を修得することが可能です。 【本コースのポイント】 IoTの無線通信技術を対象に、ホワイトハッキングの基本スキルをハンズオンで演習します。 コース内で取り扱う主な無線通信技術は以下です。 特定小電力無線 Bluetooth Zigbee RFID GPS 【ホワイトハッキングとは】 ホワイトハッキングとは「許可された条件のもとで実施されるITシステムに対する攻撃行為」を意味します。 企業などが情報システムに実施している脆弱性検査や警察機関などがサイバー犯罪捜査の一環として行っているインターネット追跡調査も、ホワイトハッキングに相当します。

【サイバーセキュリティハンズオン】IoTホワイトハッキングの始め方(無線通信編) Read More »

Active Directory実践(Windows Server2022対応版)

Active Directory実践(Windows Server2022対応版)

この講座では、VirtualBox内に構築したWindowsServerにActiveDirectory環境をインストールして進めていきます。講座動画はWindowsOSをベースに作成していますが、MacOSでも操作可能です。 ActiveDirectoryはMicrosoft製のサーバOSであるWindowsServerに含まれるディレクトリサービスです。下記講座を章立てしています。 インストール ドメイン参加 機能・設定 グループポリシー バックアップ・リストア DNS よろしくお願いいたします!

Active Directory実践(Windows Server2022対応版) Read More »

Google Cloud 認定 Professional Cloud Developer 模擬問題集

Google Cloud 認定 Professional Cloud Developer 模擬問題集

Professional Cloud Developer は、Google の推奨する実践方法とツールを使用しながら、スケーラブルで可用性の高いアプリケーションを構築します。また、クラウドネイティブ アプリ、デベロッパー ツール、マネージド サービス、次世代データベースを利用した経験もあります。さらに、少なくとも 1 つの汎用プログラミング言語に精通していて、コードのデバッグとトレースを行うための有意義な指標やログを生成できます。

Google Cloud 認定 Professional Cloud Developer 模擬問題集 Read More »

現役シリコンバレーエンジニアが教える NeoVim(VIM) + Tmux + Zsh 入門

現役シリコンバレーエンジニアが教える NeoVim(VIM) + Tmux + Zsh 入門

今回、NeoVIM, Tmux, Zshで作業効率を高める講座を担当させていただきます酒井潤です。現在、私はシリコンバレーでソフトウェアエンジニアとして15年勤務しておりますが、シリコンバレーのエンジニアも日々の作業効率を高めるため多くのツールを使っております。 世界で一番使われているEditorはVIMです。もちろん開発にはVS CodeやPycharmなどのIDEが使われますが、プラグインとしてインストールできるので、IDEを用いたコーディングでもVIMの機能で素早くコーディングする人が多いです。 また、ターミナルでのコマンド操作もTmuxの画面分割やZshの便利なプラグインなどで作業効率のスピードが速くなりますので、Vimだけではなく、Tmuxだけではなく、Zshだけではなく、組み合わせ、シームレスなナビゲーションを行って、作業時間を効率的に短縮できることかと思います。 また、作業時間を短縮することも重要ですけども、なるべくマウスを使わないような、コマンド作業を覚えてくと 手をマウスまで動かす稼働範囲も減りますので、肩こりなどの体への負担は軽減され、長期に仕事をするエンジニアには非常に重要なことかと思います。 さらに、画面やターミナルを見やすくすることも作業上でのストレスをなくしますので、毎日使うものは初期の段階で見栄えも含めてカスタマイズすると良いかと思います。 この作業効率ですが数秒でも遅いと、その数秒が日に日に積み重なって、効率よく仕事をしている人とどんどん差が開いていきますので、面倒くさがらずに初期に覚えることです。もし覚えきれなかったら、どんな設定があるのかだけでも頭の片隅に追いおき、いざというときには調べて使えるようにしておくと良いかと思います。 全ての便利なコマンドを覚えるのは不可能です。VIMだけでも組み合わせで2000はあると言われていますので、今回は、私の設定はもちろん、特に覚えておくと便利なコマンド等に注力してご紹介できればと思っております。 皆様が無駄なコマンドを覚えずに、最短の時間で重要なコマンド等が学べるようなコースになっていると自負しております。それではコースでお会いできる日を楽しみにております。

現役シリコンバレーエンジニアが教える NeoVim(VIM) + Tmux + Zsh 入門 Read More »

Scroll to Top