andatoshiki/toshiki-notebook
1
0
Fork 0
mirror of https://github.com/andatoshiki/toshiki-notebook.git synced 2026-06-06 04:34:16 +00:00
Code Issues Actions Packages Projects Releases Wiki Activity
ade0a72c79
toshiki-notebook/assets/development_aws_handson-serverless.md.90659dae.js

220 lines
96 KiB
JavaScript
Raw Blame History

This file contains invisible Unicode characters

This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

import{_ as s,a,b as n,c as l,d as p,e,f as o,g as t,h as r,i as c,j as i,k as y,l as d}from"./chunks/s3_bucket_filelist.89f3f384.js";import{_ as b,c as m,o as u,R as A}from"./chunks/framework.ade46834.js";const S=JSON.parse('{"title":"Hands-on #5: サーバーレス入門","description":"","frontmatter":{},"headers":[],"relativePath":"development/aws/handson-serverless.md","filePath":"development/aws/handson-serverless.md","lastUpdated":1694652899000}'),h={name:"development/aws/handson-serverless.md"},B=A('<h1 id="hands-on-5-サーバーレス入門" tabindex="-1">Hands-on #5: サーバーレス入門 <a class="header-anchor" href="#hands-on-5-サーバーレス入門" aria-label="Permalink to &quot;Hands-on \\#5: サーバーレス入門&quot;">​</a></h1><p>前章ではサーバーレスアーキテクチャの概要の説明を行った． 本章では，ハンズオン形式でサーバーレスクラウドを実際に動かしながら，具体的な使用方法を学んでいこう． 今回のハンズオンでは Lambda, S3, DynamoDB の三つのサーバーレスクラウドの構成要素に触れていく． それぞれについて，短いチュートリアルを用意してある．</p><h2 id="lambda-ハンズオン" tabindex="-1">Lambda ハンズオン <a class="header-anchor" href="#lambda-ハンズオン" aria-label="Permalink to &quot;Lambda ハンズオン&quot;">​</a></h2><p>まずは， Lambda を実際に動かしてみよう． ハンズオンのソースコードは GitHub の <a href="https://github.com/andatoshiki/toshiki-notebooktree/main/handson/serverless/lambda" target="_blank" rel="noreferrer">handson/serverless/lambda</a> に置いてある．</p><p>このハンズオンで使用するアプリケーションのスケッチを <a href="#fig:lambda_deploy">figure_title</a> に示す． STEP 1 では，AWS CDK を使用して Python で書かれたコードを Lambda に登録する． 続いて STEP 2 では， Invoke API を使用して，同時にいくつもの Lambda を起動し，並列な計算を行う． Lambda のワークフローを体験する目的で最小限の設定である．</p><p><img src="'+s+`" alt="Lambda チュートリアルの概要"></p><p>このハンズオンは，基本的に <a href="https://aws.amazon.com/free/?all-free-tier.sort-by=item.additionalFields.SortRank&amp;all-free-tier.sort-order=asc" target="_blank" rel="noreferrer">AWS Lambda の無料枠</a> の範囲内で実行することができる．</p><p><a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/lambda/app.py" target="_blank" rel="noreferrer">app.py</a> にデプロイするプログラムが書かれている． 中身を見てみよう．</p><div class="language-python vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">python</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#586E75;font-style:italic;">#</span></span>
<span class="line"><span style="color:#CB4B16;">FUNC</span><span style="color:#839496;"> </span><span style="color:#859900;">=</span><span style="color:#839496;"> </span><span style="color:#2AA198;">&quot;&quot;&quot;</span></span>
<span class="line"><span style="color:#2AA198;">import time</span></span>
<span class="line"><span style="color:#2AA198;">from random import choice, randint</span></span>
<span class="line"><span style="color:#2AA198;">def handler(event, context):</span></span>
<span class="line"><span style="color:#2AA198;"> time.sleep(randint(2,5))</span></span>
<span class="line"><span style="color:#2AA198;"> sushi = [&quot;salmon&quot;, &quot;tuna&quot;, &quot;squid&quot;]</span></span>
<span class="line"><span style="color:#2AA198;"> message = &quot;Welcome to Cloud Sushi. Your order is &quot; + choice(sushi)</span></span>
<span class="line"><span style="color:#2AA198;"> print(message)</span></span>
<span class="line"><span style="color:#2AA198;"> return message</span></span>
<span class="line"><span style="color:#2AA198;">&quot;&quot;&quot;</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-weight:bold;">class</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">SimpleLambda</span><span style="color:#839496;">(</span><span style="color:#6C71C4;">core</span><span style="color:#839496;">.</span><span style="color:#6C71C4;">Stack</span><span style="color:#839496;">):</span></span>
<span class="line"></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#93A1A1;font-weight:bold;">def</span><span style="color:#839496;"> </span><span style="color:#268BD2;">__init__</span><span style="color:#839496;">(self, scope: core.App, name: </span><span style="color:#859900;">str</span><span style="color:#839496;">, </span><span style="color:#859900;">**</span><span style="color:#839496;">kwargs) -&gt; </span><span style="color:#B58900;">None</span><span style="color:#839496;">:</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#859900;">super</span><span style="color:#839496;">().</span><span style="color:#268BD2;">__init__</span><span style="color:#839496;">(scope, name, </span><span style="color:#859900;">**</span><span style="color:#839496;">kwargs)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#586E75;font-style:italic;">#</span></span>
<span class="line"><span style="color:#839496;"> handler </span><span style="color:#859900;">=</span><span style="color:#839496;"> _lambda.Function(</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#268BD2;">self</span><span style="color:#839496;">, </span><span style="color:#2AA198;">&#39;LambdaHandler&#39;</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> runtime</span><span style="color:#859900;">=</span><span style="color:#839496;">_lambda.Runtime.</span><span style="color:#CB4B16;">PYTHON_3_7</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> code</span><span style="color:#859900;">=</span><span style="color:#839496;">_lambda.Code.from_inline(</span><span style="color:#CB4B16;">FUNC</span><span style="color:#839496;">),</span></span>
<span class="line"><span style="color:#839496;"> handler</span><span style="color:#859900;">=</span><span style="color:#2AA198;">&quot;index.handler&quot;</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> memory_size</span><span style="color:#859900;">=</span><span style="color:#D33682;">128</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> timeout</span><span style="color:#859900;">=</span><span style="color:#839496;">core.Duration.seconds(</span><span style="color:#D33682;">10</span><span style="color:#839496;">),</span></span>
<span class="line"><span style="color:#839496;"> dead_letter_queue_enabled</span><span style="color:#859900;">=</span><span style="color:#B58900;">True</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> )</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#93A1A1;font-style:italic;">#</span></span>
<span class="line"><span style="color:#CB4B16;">FUNC</span><span style="color:#657B83;"> </span><span style="color:#859900;">=</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">&quot;&quot;&quot;</span></span>
<span class="line"><span style="color:#2AA198;">import time</span></span>
<span class="line"><span style="color:#2AA198;">from random import choice, randint</span></span>
<span class="line"><span style="color:#2AA198;">def handler(event, context):</span></span>
<span class="line"><span style="color:#2AA198;"> time.sleep(randint(2,5))</span></span>
<span class="line"><span style="color:#2AA198;"> sushi = [&quot;salmon&quot;, &quot;tuna&quot;, &quot;squid&quot;]</span></span>
<span class="line"><span style="color:#2AA198;"> message = &quot;Welcome to Cloud Sushi. Your order is &quot; + choice(sushi)</span></span>
<span class="line"><span style="color:#2AA198;"> print(message)</span></span>
<span class="line"><span style="color:#2AA198;"> return message</span></span>
<span class="line"><span style="color:#2AA198;">&quot;&quot;&quot;</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-weight:bold;">class</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">SimpleLambda</span><span style="color:#657B83;">(</span><span style="color:#6C71C4;">core</span><span style="color:#657B83;">.</span><span style="color:#6C71C4;">Stack</span><span style="color:#657B83;">):</span></span>
<span class="line"></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#586E75;font-weight:bold;">def</span><span style="color:#657B83;"> </span><span style="color:#268BD2;">__init__</span><span style="color:#657B83;">(self, scope: core.App, name: </span><span style="color:#859900;">str</span><span style="color:#657B83;">, </span><span style="color:#859900;">**</span><span style="color:#657B83;">kwargs) -&gt; </span><span style="color:#B58900;">None</span><span style="color:#657B83;">:</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#859900;">super</span><span style="color:#657B83;">().</span><span style="color:#268BD2;">__init__</span><span style="color:#657B83;">(scope, name, </span><span style="color:#859900;">**</span><span style="color:#657B83;">kwargs)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#93A1A1;font-style:italic;">#</span></span>
<span class="line"><span style="color:#657B83;"> handler </span><span style="color:#859900;">=</span><span style="color:#657B83;"> _lambda.Function(</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#268BD2;">self</span><span style="color:#657B83;">, </span><span style="color:#2AA198;">&#39;LambdaHandler&#39;</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> runtime</span><span style="color:#859900;">=</span><span style="color:#657B83;">_lambda.Runtime.</span><span style="color:#CB4B16;">PYTHON_3_7</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> code</span><span style="color:#859900;">=</span><span style="color:#657B83;">_lambda.Code.from_inline(</span><span style="color:#CB4B16;">FUNC</span><span style="color:#657B83;">),</span></span>
<span class="line"><span style="color:#657B83;"> handler</span><span style="color:#859900;">=</span><span style="color:#2AA198;">&quot;index.handler&quot;</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> memory_size</span><span style="color:#859900;">=</span><span style="color:#D33682;">128</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> timeout</span><span style="color:#859900;">=</span><span style="color:#657B83;">core.Duration.seconds(</span><span style="color:#D33682;">10</span><span style="color:#657B83;">),</span></span>
<span class="line"><span style="color:#657B83;"> dead_letter_queue_enabled</span><span style="color:#859900;">=</span><span style="color:#B58900;">True</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> )</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br><span class="line-number">8</span><br><span class="line-number">9</span><br><span class="line-number">10</span><br><span class="line-number">11</span><br><span class="line-number">12</span><br><span class="line-number">13</span><br><span class="line-number">14</span><br><span class="line-number">15</span><br><span class="line-number">16</span><br><span class="line-number">17</span><br><span class="line-number">18</span><br><span class="line-number">19</span><br><span class="line-number">20</span><br><span class="line-number">21</span><br><span class="line-number">22</span><br><span class="line-number">23</span><br><span class="line-number">24</span><br><span class="line-number">25</span><br><span class="line-number">26</span><br><span class="line-number">27</span><br></div></div><ul><li><p>ここで， Lambda で実行されるべき関数を定義している． これは非常に単純な関数で，2-5 秒のランダムな時間スリープした後，[&quot;salmon&quot;, &quot;tuna&quot;, &quot;squid&quot;] のいずれかの文字列をランダムに選択し， &quot;Welcome to Cloud Sushi. Your order is XXXX&quot; (XXXX は選ばれた寿司のネタ) というメッセージをリターンする．</p></li><li><p>次に， Lambda に &lt;1&gt; で書いた関数を配置している． パラメータの意味は，文字どおりの意味なので難しくはないが，以下に解説する．</p><ul><li><p><code>runtime=_lambda.Runtime.PYTHON_3_7</code>: ここでは， Python3.7 を使って上記で定義された関数を実行せよ，と指定している． Python3.7 のほかに， Node.js, Java, Ruby, Go などの言語を指定することが可能である．</p></li><li><p><code>code=_lambda.Code.from_inline(FUNC)</code>: 実行されるべき関数が書かれたコードを指定する． ここでは， <code>FUNC=...</code> で定義した文字列を渡しているが，文字列以外にもファイルのパスを渡すことも可能である．</p></li><li><p><code>handler=&quot;index.handler&quot;</code>: これは，コードの中にいくつかのサブ関数が含まれているときに，メインとサブを区別するためのパラメータである． <code>handler</code> という名前の関数をメイン関数として実行せよ，という意味である．</p></li><li><p><code>memory_size=128</code>: メモリーは 128MB を最大で使用することを指定している．</p></li><li><p><code>timeout=core.Duration.seconds(10)</code> タイムアウト時間を 10 秒に設定している． 10 秒以内に関数の実行が終了しなかった場合，エラーが返される．</p></li><li><p><code>dead_letter_queue_enabled=True</code>: アドバンストな設定なので説明は省略する．</p></li></ul></li></ul><p>上記のプログラムを実行することで， Lambda 関数がクラウド上に作成される． 早速デプロイしてみよう．</p><h3 id="デプロイ" tabindex="-1">デプロイ <a class="header-anchor" href="#デプロイ" aria-label="Permalink to &quot;デプロイ&quot;">​</a></h3><p>デプロイの手順は，これまでのハンズオンとほとんど共通である． ここでは，コマンドのみ列挙する (<code>#</code> で始まる行はコメントである)． それぞれの意味を忘れてしまった場合は，ハンズオン 1, 2 に戻って復習していただきたい． シークレットキーの設定も忘れずに (<a href="#aws_cli_install">???</a>)．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#586E75;font-style:italic;"># プロジェクトのディレクトリに移動</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cd</span><span style="color:#839496;"> </span><span style="color:#2AA198;">handson/serverless/lambda</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-style:italic;"># venv を作成し，依存ライブラリのインストールを行う</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python3</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">-m</span><span style="color:#839496;"> </span><span style="color:#2AA198;">venv</span><span style="color:#839496;"> </span><span style="color:#2AA198;">.env</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">source</span><span style="color:#839496;"> </span><span style="color:#2AA198;">.env/bin/activate</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">pip</span><span style="color:#839496;"> </span><span style="color:#2AA198;">install</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">-r</span><span style="color:#839496;"> </span><span style="color:#2AA198;">requirements.txt</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-style:italic;"># デプロイを実行</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#839496;"> </span><span style="color:#2AA198;">deploy</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#93A1A1;font-style:italic;"># プロジェクトのディレクトリに移動</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cd</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">handson/serverless/lambda</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-style:italic;"># venv を作成し，依存ライブラリのインストールを行う</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python3</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">-m</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">venv</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">.env</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">source</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">.env/bin/activate</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">pip</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">install</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">-r</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">requirements.txt</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-style:italic;"># デプロイを実行</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">deploy</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br><span class="line-number">8</span><br><span class="line-number">9</span><br><span class="line-number">10</span><br></div></div><p>デプロイのコマンドが無事に実行されれば， <a href="#handson_04_lambda_cdk_output">figure_title</a> のような出力が得られるはずである． ここで表示されている <code>SimpleLambda.FunctionName = XXXX</code> の XXXX の文字列は後で使うのでメモしておこう．</p><p><img src="`+a+'" alt="CDKデプロイ実行後の出力"></p><p>AWS コンソールにログインして，デプロイされたスタックを確認してみよう． コンソールから，Lambda のページに行くと <a href="#handson_04_lambda_console_func_list">figure_title</a> のような画面から Lambda の関数の一覧が確認できる．</p><p><img src="'+n+'" alt="Lambda コンソール - 関数の一覧"></p><p>今回のアプリケーションで作成したのが <code>SimpleLambda</code> で始まるランダムな名前のついた関数だ． 関数の名前をクリックして，詳細を見てみる． すると <a href="#handson_04_lambda_console_func_detail">figure_title</a> のような画面が表示されるはずだ． 先ほどプログラムの中で定義した Python の関数がエディターから確認できる． さらに下の方にスクロールすると，関数の各種設定も確認できる．</p><p><img src="'+l+`" alt="Lambda コンソール - 関数の詳細"></p><p>Lambda で実行されるコードは， Lambda のコンソール画面 (<a href="#handson_04_lambda_console_func_detail">figure_title</a>) のエディターで編集することもできる． デバッグをするときなどは，こちらを直接いじる方が早い場合もある． その場合は， CDK のコードに行った編集を反映させなおすことを忘れずに．</p><h3 id="lambda-関数の実行" tabindex="-1">Lambda 関数の実行 <a class="header-anchor" href="#lambda-関数の実行" aria-label="Permalink to &quot;Lambda 関数の実行&quot;">​</a></h3><p>それでは，作成した Lambda 関数を実行 (invoke) してみよう． AWS の API を使うことで，関数の実行をスタートすることができる． 今回は， <a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/lambda/invoke_one.py" target="_blank" rel="noreferrer">handson/serverless/lambda/invoke_one.py</a> に関数を実行するための簡単なプログラムを提供している． 興味のある読者はコードを読んでもらいたい．</p><p>以下のコマンドで，Lambda の関数を実行する． コマンドの <code>XXXX</code> の部分は，先ほどデプロイしたときに <code>SimpleLambda.FunctionName = XXXX</code> で得られた XXXX の文字列で置換する．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">invoke_one.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">invoke_one.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p>すると， <code>&quot;Welcome to Cloud Sushi. Your order is salmon&quot;</code> という出力が得られるはずだ． とてもシンプルではあるが，クラウド上で先ほどの関数が走り，乱数が生成されたうえで，ランダムな寿司ネタが選択されて出力が返されている． このコマンドを何度か打ってみて，実行ごとに異なる寿司ネタが返されることを確認しよう．</p><p>さて，このコマンドは，一度につき一回の関数を実行したわけであるが， Lambda の本領は一度に大量のタスクを同時に実行できる点である． そこで，今度は一度に 100 個のタスクを同時に送信してみよう． <a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/lambda/invoke_many.py" target="_blank" rel="noreferrer">handson/serverless/lambda/invoke_many.py</a> のスクリプトを使用する．</p><p>次のコマンドを実行しよう． XXXX の部分は前述と同様に置き換える． 第二引数の <code>100</code> は 100 個のタスクを投入せよ，という意味である．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">invoke_many.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#839496;"> </span><span style="color:#D33682;">100</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">invoke_many.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#657B83;"> </span><span style="color:#D33682;">100</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p>すると次のような出力が得られるはずだ．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">....................................................................................................</span></span>
<span class="line"><span style="color:#268BD2;">Submitted</span><span style="color:#839496;"> </span><span style="color:#D33682;">100</span><span style="color:#839496;"> </span><span style="color:#2AA198;">tasks</span><span style="color:#839496;"> </span><span style="color:#2AA198;">to</span><span style="color:#839496;"> </span><span style="color:#2AA198;">Lambda!</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">....................................................................................................</span></span>
<span class="line"><span style="color:#268BD2;">Submitted</span><span style="color:#657B83;"> </span><span style="color:#D33682;">100</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">tasks</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">to</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">Lambda!</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br></div></div><p>実際に，100 個のタスクが同時に実行されていることを確認しよう． <a href="#handson_04_lambda_console_func_detail">figure_title</a> の画面に戻り， &quot;Monitoring&quot; というタブがあるので，それをクリックする． すると， <a href="#handson_04_lambda_console_monitoring">figure_title</a> のようなグラフが表示されるだろう．</p><p><img src="`+p+'" alt="Lambda コンソール - 関数の実行のモニタリング"></p><p><a href="#handson_04_lambda_console_monitoring">figure_title</a> のグラフの更新には数分かかることがあるので，なにも表示されない場合は少し待つ．</p><p><a href="#handson_04_lambda_console_monitoring">figure_title</a> で &quot;Invocations&quot; が関数が何度実行されたかを意味している． たしかに 100 回実行されていることがわかる． さらに， &quot;Concurrent executions&quot; は何個のタスクが同時に行われたかを示している． ここでは 96 となっていることから，96 個のタスクが並列的に実行されたことを意味している (これが 100 とならないのは，タスクの開始のコマンドが送られたのが完全には同タイミングではないことに起因する)．</p><p>このように，非常にシンプルではあるが， Lambda を使うことで，同時並列的に処理を実行することのできるクラウドシステムを簡単に作ることができた．</p><p>もしこのようなことを従来的な serverful なクラウドで行おうとした場合，クラスターのスケーリングなど多くのコードを書くことに加えて，いろいろなパラメータを調節する必要がある．</p><p>興味がある人は，一気に 1000 個などのジョブを投入してみるとよい． Lambda はそのような大量のリクエストにも対応できることが確認できるだろう． が，あまりやりすぎると Lambda の無料利用枠を超えて料金が発生してしまうので注意．</p><h3 id="スタックの削除" tabindex="-1">スタックの削除 <a class="header-anchor" href="#スタックの削除" aria-label="Permalink to &quot;スタックの削除&quot;">​</a></h3><p>最後にスタックを削除しよう． スタックを削除するには，次のコマンドを実行すればよい．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#839496;"> </span><span style="color:#2AA198;">destroy</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">destroy</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><h2 id="dynamodb-ハンズオン" tabindex="-1">DynamoDB ハンズオン <a class="header-anchor" href="#dynamodb-ハンズオン" aria-label="Permalink to &quot;DynamoDB ハンズオン&quot;">​</a></h2><p>続いて， DynamoDB の簡単なチュートリアルをやってみよう． ハンズオンのソースコードは GitHub の <a href="https://github.com/andatoshiki/toshiki-notebooktree/main/handson/serverless/dynamodb" target="_blank" rel="noreferrer">/handson/serverless/dynamodb</a> に置いてある．</p><p>このハンズオンで使用するアプリケーションのスケッチを <a href="#fig:dynamodb_deploy">figure_title</a> に示す． STEP 1 では，AWS CDK を使用して DynamoDB のテーブルを初期化し，デプロイする． 続いて STEP 2 では， API を使用してデータベースのデータの書き込み・読み出し・削除などの操作を練習する．</p><p><img src="'+e+`" alt="DynamoDB チュートリアルの概要"></p><p>このハンズオンは，基本的に <a href="https://aws.amazon.com/free/?all-free-tier.sort-by=item.additionalFields.SortRank&amp;all-free-tier.sort-order=asc" target="_blank" rel="noreferrer">AWS DynamoDB の無料枠</a> の範囲内で実行できる．</p><p><a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/dynamodb/app.py" target="_blank" rel="noreferrer">handson/serverless/dynamodb/app.py</a> にデプロイするプログラムが書かれている． 中身を見てみよう．</p><div class="language-python vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">python</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#93A1A1;font-weight:bold;">class</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">SimpleDynamoDb</span><span style="color:#839496;">(</span><span style="color:#6C71C4;">core</span><span style="color:#839496;">.</span><span style="color:#6C71C4;">Stack</span><span style="color:#839496;">):</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#93A1A1;font-weight:bold;">def</span><span style="color:#839496;"> </span><span style="color:#268BD2;">__init__</span><span style="color:#839496;">(self, scope: core.App, name: </span><span style="color:#859900;">str</span><span style="color:#839496;">, </span><span style="color:#859900;">**</span><span style="color:#839496;">kwargs) -&gt; </span><span style="color:#B58900;">None</span><span style="color:#839496;">:</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#859900;">super</span><span style="color:#839496;">().</span><span style="color:#268BD2;">__init__</span><span style="color:#839496;">(scope, name, </span><span style="color:#859900;">**</span><span style="color:#839496;">kwargs)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#839496;"> table </span><span style="color:#859900;">=</span><span style="color:#839496;"> ddb.Table(</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#268BD2;">self</span><span style="color:#839496;">, </span><span style="color:#2AA198;">&quot;SimpleTable&quot;</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#586E75;font-style:italic;">#</span></span>
<span class="line"><span style="color:#839496;"> partition_key</span><span style="color:#859900;">=</span><span style="color:#839496;">ddb.Attribute(</span></span>
<span class="line"><span style="color:#839496;"> name</span><span style="color:#859900;">=</span><span style="color:#2AA198;">&quot;item_id&quot;</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> type</span><span style="color:#859900;">=</span><span style="color:#839496;">ddb.AttributeType.</span><span style="color:#CB4B16;">STRING</span></span>
<span class="line"><span style="color:#839496;"> ),</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#586E75;font-style:italic;">#</span></span>
<span class="line"><span style="color:#839496;"> billing_mode</span><span style="color:#859900;">=</span><span style="color:#839496;">ddb.BillingMode.</span><span style="color:#CB4B16;">PAY_PER_REQUEST</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#586E75;font-style:italic;">#</span></span>
<span class="line"><span style="color:#839496;"> removal_policy</span><span style="color:#859900;">=</span><span style="color:#839496;">core.RemovalPolicy.</span><span style="color:#CB4B16;">DESTROY</span></span>
<span class="line"><span style="color:#839496;"> )</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#586E75;font-weight:bold;">class</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">SimpleDynamoDb</span><span style="color:#657B83;">(</span><span style="color:#6C71C4;">core</span><span style="color:#657B83;">.</span><span style="color:#6C71C4;">Stack</span><span style="color:#657B83;">):</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#586E75;font-weight:bold;">def</span><span style="color:#657B83;"> </span><span style="color:#268BD2;">__init__</span><span style="color:#657B83;">(self, scope: core.App, name: </span><span style="color:#859900;">str</span><span style="color:#657B83;">, </span><span style="color:#859900;">**</span><span style="color:#657B83;">kwargs) -&gt; </span><span style="color:#B58900;">None</span><span style="color:#657B83;">:</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#859900;">super</span><span style="color:#657B83;">().</span><span style="color:#268BD2;">__init__</span><span style="color:#657B83;">(scope, name, </span><span style="color:#859900;">**</span><span style="color:#657B83;">kwargs)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#657B83;"> table </span><span style="color:#859900;">=</span><span style="color:#657B83;"> ddb.Table(</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#268BD2;">self</span><span style="color:#657B83;">, </span><span style="color:#2AA198;">&quot;SimpleTable&quot;</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#93A1A1;font-style:italic;">#</span></span>
<span class="line"><span style="color:#657B83;"> partition_key</span><span style="color:#859900;">=</span><span style="color:#657B83;">ddb.Attribute(</span></span>
<span class="line"><span style="color:#657B83;"> name</span><span style="color:#859900;">=</span><span style="color:#2AA198;">&quot;item_id&quot;</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> type</span><span style="color:#859900;">=</span><span style="color:#657B83;">ddb.AttributeType.</span><span style="color:#CB4B16;">STRING</span></span>
<span class="line"><span style="color:#657B83;"> ),</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#93A1A1;font-style:italic;">#</span></span>
<span class="line"><span style="color:#657B83;"> billing_mode</span><span style="color:#859900;">=</span><span style="color:#657B83;">ddb.BillingMode.</span><span style="color:#CB4B16;">PAY_PER_REQUEST</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#93A1A1;font-style:italic;">#</span></span>
<span class="line"><span style="color:#657B83;"> removal_policy</span><span style="color:#859900;">=</span><span style="color:#657B83;">core.RemovalPolicy.</span><span style="color:#CB4B16;">DESTROY</span></span>
<span class="line"><span style="color:#657B83;"> )</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br><span class="line-number">8</span><br><span class="line-number">9</span><br><span class="line-number">10</span><br><span class="line-number">11</span><br><span class="line-number">12</span><br><span class="line-number">13</span><br><span class="line-number">14</span><br><span class="line-number">15</span><br><span class="line-number">16</span><br></div></div><p>このコードで，最低限の設定がなされた空の DynamoDB テーブルが作成される． それぞれのパラメータの意味を簡単に解説しよう．</p><ul><li><p><code>partition_key</code>: すべての DynamoDB テーブルには Partition key が定義されていなければならない． Partition key とは，テーブル内の要素 (レコード) ごとに存在する固有の ID のことである． 同一の Partition key をもった要素がテーブルの中に二つ以上存在することはできない (注: Sort Key を使用している場合は除く．詳しくは <a href="https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/HowItWorks.CoreComponents.html" target="_blank" rel="noreferrer">公式ドキュメンテーション &quot;Core Components of Amazon DynamoDB&quot;</a> 参照)． また， Partition key が定義されていない要素はテーブルの中に存在することはできない． ここでは， Partition key に <code>item_id</code> という名前をつけている．</p></li><li><p><code>billing_mode</code>: <code>ddb.BillingMode.PAY_PER_REQUEST</code> を指定することで， <a href="https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/HowItWorks.ReadWriteCapacityMode.html#HowItWorks.OnDemand" target="_blank" rel="noreferrer">On-demand Capacity Mode</a> の DynamoDB が作成される． ほかに <code>PROVISIONED</code> というモードがあるが，これはかなり高度なケースを除いて使用しないだろう．</p></li><li><p><code>removal_policy</code>: CloudFormation のスタックが消去されたときに， DynamoDB も一緒に消去されるかどうかを指定する． このコードでは <code>DESTROY</code> を選んでいるので，すべて消去される． ほかのオプションを選択すると，スタックを消去しても DynamoDB のバックアップを残す，などの動作を定義することができる．</p></li></ul><h3 id="デプロイ-1" tabindex="-1">デプロイ <a class="header-anchor" href="#デプロイ-1" aria-label="Permalink to &quot;デプロイ&quot;">​</a></h3><p>デプロイの手順は，これまでのハンズオンとほとんど共通である． ここでは，コマンドのみ列挙する (<code>#</code> で始まる行はコメントである)． シークレットキーの設定も忘れずに (<a href="#aws_cli_install">???</a>)．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#586E75;font-style:italic;"># プロジェクトのディレクトリに移動</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cd</span><span style="color:#839496;"> </span><span style="color:#2AA198;">handson/serverless/dynamodb</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-style:italic;"># venv を作成し，依存ライブラリのインストールを行う</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python3</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">-m</span><span style="color:#839496;"> </span><span style="color:#2AA198;">venv</span><span style="color:#839496;"> </span><span style="color:#2AA198;">.env</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">source</span><span style="color:#839496;"> </span><span style="color:#2AA198;">.env/bin/activate</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">pip</span><span style="color:#839496;"> </span><span style="color:#2AA198;">install</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">-r</span><span style="color:#839496;"> </span><span style="color:#2AA198;">requirements.txt</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-style:italic;"># デプロイを実行</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#839496;"> </span><span style="color:#2AA198;">deploy</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#93A1A1;font-style:italic;"># プロジェクトのディレクトリに移動</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cd</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">handson/serverless/dynamodb</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-style:italic;"># venv を作成し，依存ライブラリのインストールを行う</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python3</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">-m</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">venv</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">.env</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">source</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">.env/bin/activate</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">pip</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">install</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">-r</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">requirements.txt</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-style:italic;"># デプロイを実行</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">deploy</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br><span class="line-number">8</span><br><span class="line-number">9</span><br><span class="line-number">10</span><br></div></div><p>デプロイのコマンドが無事に実行されれば， <a href="#handson_04_dynamodb_cdk_output">figure_title</a> のような出力が得られるはずである． ここで表示されている <code>SimpleDynamoDb.TableName = XXXX</code> の XXXX の文字列は後で使うのでメモしておこう．</p><p><img src="`+o+'" alt="CDKデプロイ実行後の出力"></p><p>AWS コンソールにログインして，デプロイされたスタックを確認してみよう． コンソールから， DynamoDB のページに行き，左のメニューバーから &quot;Tables&quot; を選択する． すると， <a href="#handson_04_dynamodb_table_list">figure_title</a> のような画面からテーブルの一覧が確認できる．</p><p><img src="'+t+'" alt="DynamoDB のコンソール (テーブルの一覧)"></p><p>今回のアプリケーションで作成したのが <code>SimpleDynamoDb</code> で始まるランダムな名前のついたテーブルだ． テーブルの名前をクリックして，詳細を見てみる． すると <a href="#handson_04_dynamodb_table_detail">figure_title</a> のような画面が表示されるはずだ． &quot;Items&quot; のタブをクリックすると，テーブルの中のレコードを確認できる． 現時点ではなにもデータを書き込んでいないので，空である．</p><p><img src="'+r+`" alt="DynamoDB のコンソール (テーブルの詳細画面)"></p><h3 id="データの読み書き" tabindex="-1">データの読み書き <a class="header-anchor" href="#データの読み書き" aria-label="Permalink to &quot;データの読み書き&quot;">​</a></h3><p>それでは， <a href="#sec:serverless_dynamodb_deploy">デプロイ</a> で作ったテーブルを使ってデータの読み書きを実践してみよう． ここでは Python と <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank" rel="noreferrer">boto3</a> ライブラリを用いた方法を紹介する．</p><p>まずは，テーブルに新しい要素を追加してみよう． ハンズオンのディレクトリにある <a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/dynamodb/simple_write.py" target="_blank" rel="noreferrer">simple_write.py</a> を開いてみよう． 中には次のような関数が書かれている．</p><div class="language-python vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">python</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#859900;">import</span><span style="color:#839496;"> boto3</span></span>
<span class="line"><span style="color:#859900;">from</span><span style="color:#839496;"> uuid </span><span style="color:#859900;">import</span><span style="color:#839496;"> uuid4</span></span>
<span class="line"><span style="color:#839496;">ddb </span><span style="color:#859900;">=</span><span style="color:#839496;"> boto3.resource(</span><span style="color:#2AA198;">&#39;dynamodb&#39;</span><span style="color:#839496;">)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-weight:bold;">def</span><span style="color:#839496;"> </span><span style="color:#268BD2;">write_item</span><span style="color:#839496;">(table_name):</span></span>
<span class="line"><span style="color:#839496;"> table </span><span style="color:#859900;">=</span><span style="color:#839496;"> ddb.Table(table_name)</span></span>
<span class="line"><span style="color:#839496;"> table.put_item(</span></span>
<span class="line"><span style="color:#839496;"> Item</span><span style="color:#859900;">=</span><span style="color:#839496;">{</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#2AA198;">&#39;item_id&#39;</span><span style="color:#839496;">: </span><span style="color:#859900;">str</span><span style="color:#839496;">(uuid4()),</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#2AA198;">&#39;first_name&#39;</span><span style="color:#839496;">: </span><span style="color:#2AA198;">&#39;John&#39;</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#2AA198;">&#39;last_name&#39;</span><span style="color:#839496;">: </span><span style="color:#2AA198;">&#39;Doe&#39;</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#2AA198;">&#39;age&#39;</span><span style="color:#839496;">: </span><span style="color:#D33682;">25</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> }</span></span>
<span class="line"><span style="color:#839496;"> )</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#859900;">import</span><span style="color:#657B83;"> boto3</span></span>
<span class="line"><span style="color:#859900;">from</span><span style="color:#657B83;"> uuid </span><span style="color:#859900;">import</span><span style="color:#657B83;"> uuid4</span></span>
<span class="line"><span style="color:#657B83;">ddb </span><span style="color:#859900;">=</span><span style="color:#657B83;"> boto3.resource(</span><span style="color:#2AA198;">&#39;dynamodb&#39;</span><span style="color:#657B83;">)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-weight:bold;">def</span><span style="color:#657B83;"> </span><span style="color:#268BD2;">write_item</span><span style="color:#657B83;">(table_name):</span></span>
<span class="line"><span style="color:#657B83;"> table </span><span style="color:#859900;">=</span><span style="color:#657B83;"> ddb.Table(table_name)</span></span>
<span class="line"><span style="color:#657B83;"> table.put_item(</span></span>
<span class="line"><span style="color:#657B83;"> Item</span><span style="color:#859900;">=</span><span style="color:#657B83;">{</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#2AA198;">&#39;item_id&#39;</span><span style="color:#657B83;">: </span><span style="color:#859900;">str</span><span style="color:#657B83;">(uuid4()),</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#2AA198;">&#39;first_name&#39;</span><span style="color:#657B83;">: </span><span style="color:#2AA198;">&#39;John&#39;</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#2AA198;">&#39;last_name&#39;</span><span style="color:#657B83;">: </span><span style="color:#2AA198;">&#39;Doe&#39;</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#2AA198;">&#39;age&#39;</span><span style="color:#657B83;">: </span><span style="color:#D33682;">25</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> }</span></span>
<span class="line"><span style="color:#657B83;"> )</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br><span class="line-number">8</span><br><span class="line-number">9</span><br><span class="line-number">10</span><br><span class="line-number">11</span><br><span class="line-number">12</span><br><span class="line-number">13</span><br><span class="line-number">14</span><br></div></div><p>コードを上から読んでいくと，まず最初に boto3 ライブラリをインポートし， <code>dynamodb</code> のリソースを呼び出している． <code>write_item()</code> 関数は， DynamoDB のテーブルの名前 (上で見た SimpleDynamoDb-XXXX) を引数として受け取る． そして， <code>put_item()</code> メソッドを呼ぶことで，新しいアイテムを DB に書き込んでいる． アイテムには <code>item_id</code>, <code>first_name</code>, <code>last_name</code>, <code>age</code> の 4 つの属性が定義されている． ここで， <code>item_id</code> は先ほど説明した Partition key に相当しており， <a href="https://en.wikipedia.org/wiki/Universally_unique_identifier" target="_blank" rel="noreferrer">UUID4</a> を用いたランダムな文字列を割り当てている．</p><p>では， <code>simple_write.py</code> を実行してみよう． &quot;XXXX&quot; の部分を自分がデプロイしたテーブルの名前 (<code>SimpleDynamoDb</code> で始まる文字列) に置き換えたうえで，次のコマンドを実行する．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">simple_write.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">simple_write.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p>新しい要素が正しく書き込めたか， AWS コンソールから確認してみよう． <a href="#handson_04_dynamodb_table_detail">figure_title</a> と同じ手順で，テーブルの中身の要素の一覧を表示する． すると <a href="#fig:dynamodb_table_new_item">figure_title</a> のように，期待通り新しい要素が見つかるだろう．</p><p><img src="`+c+`" alt="DynamoDB に新しい要素が追加されたことを確認"></p><p>boto3 を使ってテーブルから要素を読みだすことも可能である． ハンズオンのディレクトリにある <a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/dynamodb/simple_read.py" target="_blank" rel="noreferrer">simple_read.py</a> を見てみよう．</p><div class="language-python vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">python</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#859900;">import</span><span style="color:#839496;"> boto3</span></span>
<span class="line"><span style="color:#839496;">ddb </span><span style="color:#859900;">=</span><span style="color:#839496;"> boto3.resource(</span><span style="color:#2AA198;">&#39;dynamodb&#39;</span><span style="color:#839496;">)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-weight:bold;">def</span><span style="color:#839496;"> </span><span style="color:#268BD2;">scan_table</span><span style="color:#839496;">(table_name):</span></span>
<span class="line"><span style="color:#839496;"> table </span><span style="color:#859900;">=</span><span style="color:#839496;"> ddb.Table(table_name)</span></span>
<span class="line"><span style="color:#839496;"> items </span><span style="color:#859900;">=</span><span style="color:#839496;"> table.scan().get(</span><span style="color:#2AA198;">&quot;Items&quot;</span><span style="color:#839496;">)</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#268BD2;">print</span><span style="color:#839496;">(items)</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#859900;">import</span><span style="color:#657B83;"> boto3</span></span>
<span class="line"><span style="color:#657B83;">ddb </span><span style="color:#859900;">=</span><span style="color:#657B83;"> boto3.resource(</span><span style="color:#2AA198;">&#39;dynamodb&#39;</span><span style="color:#657B83;">)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-weight:bold;">def</span><span style="color:#657B83;"> </span><span style="color:#268BD2;">scan_table</span><span style="color:#657B83;">(table_name):</span></span>
<span class="line"><span style="color:#657B83;"> table </span><span style="color:#859900;">=</span><span style="color:#657B83;"> ddb.Table(table_name)</span></span>
<span class="line"><span style="color:#657B83;"> items </span><span style="color:#859900;">=</span><span style="color:#657B83;"> table.scan().get(</span><span style="color:#2AA198;">&quot;Items&quot;</span><span style="color:#657B83;">)</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#268BD2;">print</span><span style="color:#657B83;">(items)</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br></div></div><p><code>table.scan().get(&quot;Items&quot;)</code> によって，テーブルの中にあるすべての要素を読みだしている．</p><p>次のコマンドで，このスクリプトを実行してみよう (&quot;XXXX&quot; の部分を正しく置き換えることを忘れずに）．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">simple_read.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">simple_read.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p>先ほど書き込んだ要素が出力されることを確認しよう．</p><h3 id="大量のデータの読み書き" tabindex="-1">大量のデータの読み書き <a class="header-anchor" href="#大量のデータの読み書き" aria-label="Permalink to &quot;大量のデータの読み書き&quot;">​</a></h3><p>DynamoDB の利点は，最初に述べたとおり，負荷に応じて自在にその処理能力を拡大できる点である．</p><p>そこで，ここでは一度に大量のデータを書き込む場合をシミュレートしてみよう． <a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/dynamodb/batch_rw.py" target="_blank" rel="noreferrer">batch_rw.py</a> に，一度に大量の書き込みを実行するためのプログラムが書いてある．</p><p>次のコマンドを実行してみよう (XXXX は自分のテーブルの名前に置き換える)．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">batch_rw.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#839496;"> </span><span style="color:#2AA198;">write</span><span style="color:#839496;"> </span><span style="color:#D33682;">1000</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">batch_rw.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">write</span><span style="color:#657B83;"> </span><span style="color:#D33682;">1000</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p>このコマンドを実行することで，ランダムなデータが 1000 個データベースに書き込まれる．</p><p>さらに，データベースの検索をかけてみよう． 今回書き込んだデータには <code>age</code> という属性に 1 から 50 のランダムな整数が割り当てられている． <code>age</code> が 2 以下であるような要素だけを検索し拾ってくるには，次のコマンドを実行すればよい．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">batch_rw.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#839496;"> </span><span style="color:#2AA198;">search_under_age</span><span style="color:#839496;"> </span><span style="color:#D33682;">2</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">batch_rw.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">search_under_age</span><span style="color:#657B83;"> </span><span style="color:#D33682;">2</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p>上の 2 つのコマンドを何回か繰り返し実行してみて，データベースに負荷をかけてみよう． とくに大きな遅延なく結果が返ってくることが確認できるだろう．</p><h3 id="スタックの削除-1" tabindex="-1">スタックの削除 <a class="header-anchor" href="#スタックの削除-1" aria-label="Permalink to &quot;スタックの削除&quot;">​</a></h3><p>DynamoDB で十分に遊ぶことができたら，忘れずにスタックを削除しよう．</p><p>これまでのハンズオンと同様，スタックを削除するには，次のコマンドを実行すればよい．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#839496;"> </span><span style="color:#2AA198;">destroy</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">destroy</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><h2 id="s3-ハンズオン" tabindex="-1">S3 ハンズオン <a class="header-anchor" href="#s3-ハンズオン" aria-label="Permalink to &quot;S3 ハンズオン&quot;">​</a></h2><p>最後に， S3 の簡単なチュートリアルを紹介する． ハンズオンのソースコードは GitHub の <a href="https://github.com/andatoshiki/toshiki-notebooktree/main/handson/serverless/s3" target="_blank" rel="noreferrer">handson/serverless/s3</a> に置いてある．</p><p><a href="#fig:s3_deploy">figure_title</a> が今回提供する S3 チュートリアルの概要である． STEP 1 として， AWS CDK を用いて S3 に新しい空のバケット (Bucket) を作成する． 続いて STEP 2 では，データのアップロード・ダウンロードの方法を解説する．</p><p><img src="`+i+`" alt="S3 チュートリアルの概要"></p><p>このハンズオンは，基本的に <a href="https://aws.amazon.com/free/?all-free-tier.sort-by=item.additionalFields.SortRank&amp;all-free-tier.sort-order=asc" target="_blank" rel="noreferrer">S3 の無料枠</a> の範囲内で実行することができる．</p><p><a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/s3/app.py" target="_blank" rel="noreferrer">app.py</a> にデプロイするプログラムが書かれている． 中身を見てみよう．</p><div class="language-python vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">python</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#93A1A1;font-weight:bold;">class</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">SimpleS3</span><span style="color:#839496;">(</span><span style="color:#6C71C4;">core</span><span style="color:#839496;">.</span><span style="color:#6C71C4;">Stack</span><span style="color:#839496;">):</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#93A1A1;font-weight:bold;">def</span><span style="color:#839496;"> </span><span style="color:#268BD2;">__init__</span><span style="color:#839496;">(self, scope: core.App, name: </span><span style="color:#859900;">str</span><span style="color:#839496;">, </span><span style="color:#859900;">**</span><span style="color:#839496;">kwargs) -&gt; </span><span style="color:#B58900;">None</span><span style="color:#839496;">:</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#859900;">super</span><span style="color:#839496;">().</span><span style="color:#268BD2;">__init__</span><span style="color:#839496;">(scope, name, </span><span style="color:#859900;">**</span><span style="color:#839496;">kwargs)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#586E75;font-style:italic;"># S3 bucket to store data</span></span>
<span class="line"><span style="color:#839496;"> bucket </span><span style="color:#859900;">=</span><span style="color:#839496;"> s3.Bucket(</span></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#268BD2;">self</span><span style="color:#839496;">, </span><span style="color:#2AA198;">&quot;bucket&quot;</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> removal_policy</span><span style="color:#859900;">=</span><span style="color:#839496;">core.RemovalPolicy.</span><span style="color:#CB4B16;">DESTROY</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> auto_delete_objects</span><span style="color:#859900;">=</span><span style="color:#B58900;">True</span><span style="color:#839496;">,</span></span>
<span class="line"><span style="color:#839496;"> )</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#586E75;font-weight:bold;">class</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">SimpleS3</span><span style="color:#657B83;">(</span><span style="color:#6C71C4;">core</span><span style="color:#657B83;">.</span><span style="color:#6C71C4;">Stack</span><span style="color:#657B83;">):</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#586E75;font-weight:bold;">def</span><span style="color:#657B83;"> </span><span style="color:#268BD2;">__init__</span><span style="color:#657B83;">(self, scope: core.App, name: </span><span style="color:#859900;">str</span><span style="color:#657B83;">, </span><span style="color:#859900;">**</span><span style="color:#657B83;">kwargs) -&gt; </span><span style="color:#B58900;">None</span><span style="color:#657B83;">:</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#859900;">super</span><span style="color:#657B83;">().</span><span style="color:#268BD2;">__init__</span><span style="color:#657B83;">(scope, name, </span><span style="color:#859900;">**</span><span style="color:#657B83;">kwargs)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#93A1A1;font-style:italic;"># S3 bucket to store data</span></span>
<span class="line"><span style="color:#657B83;"> bucket </span><span style="color:#859900;">=</span><span style="color:#657B83;"> s3.Bucket(</span></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#268BD2;">self</span><span style="color:#657B83;">, </span><span style="color:#2AA198;">&quot;bucket&quot;</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> removal_policy</span><span style="color:#859900;">=</span><span style="color:#657B83;">core.RemovalPolicy.</span><span style="color:#CB4B16;">DESTROY</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> auto_delete_objects</span><span style="color:#859900;">=</span><span style="color:#B58900;">True</span><span style="color:#657B83;">,</span></span>
<span class="line"><span style="color:#657B83;"> )</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br><span class="line-number">8</span><br><span class="line-number">9</span><br><span class="line-number">10</span><br></div></div><p><code>s3.Bucket()</code> を呼ぶことによって空のバケットが新規に作成される． 上記のコードだと，バケットの名前は自動生成される． もし，自分の指定した名前を与えたい場合は， <code>bucket_name</code> というパラメータを指定すればよい． その際， バケットの名前はユニークでなければならない (i.e. AWS のデプロイが行われるリージョン内で名前の重複がない) 点に注意しよう． もし，同じ名前のバケットが既に存在する場合はエラーが返ってくる．</p><p>デフォルトでは， CloudFormation スタックが削除されたとき， S3 バケットとその中に保存されたファイルは削除されない． これは，大切なデータを誤って消してしまうことを防止するための安全策である． <code>cdk destroy</code> を実行したときにバケットも含めてすべて削除されるようにするには， <code>removal_policy=core.RemovalPolicy.DESTROY, auto_delete_objects=True</code> とパラメータを設定する． 結果もよく理解したうえで，自分の用途にあった適切なパラメータを設定しよう．</p><h3 id="デプロイ-2" tabindex="-1">デプロイ <a class="header-anchor" href="#デプロイ-2" aria-label="Permalink to &quot;デプロイ&quot;">​</a></h3><p>デプロイの手順は，これまでのハンズオンとほとんど共通である． ここでは，コマンドのみ列挙する (<code>#</code> で始まる行はコメントである)． シークレットキーの設定も忘れずに (<a href="#aws_cli_install">???</a>)．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#586E75;font-style:italic;"># プロジェクトのディレクトリに移動</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cd</span><span style="color:#839496;"> </span><span style="color:#2AA198;">handson/serverless/s3</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-style:italic;"># venv を作成し，依存ライブラリのインストールを行う</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python3</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">-m</span><span style="color:#839496;"> </span><span style="color:#2AA198;">venv</span><span style="color:#839496;"> </span><span style="color:#2AA198;">.env</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">source</span><span style="color:#839496;"> </span><span style="color:#2AA198;">.env/bin/activate</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">pip</span><span style="color:#839496;"> </span><span style="color:#2AA198;">install</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">-r</span><span style="color:#839496;"> </span><span style="color:#2AA198;">requirements.txt</span></span>
<span class="line"></span>
<span class="line"><span style="color:#586E75;font-style:italic;"># デプロイを実行</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#839496;"> </span><span style="color:#2AA198;">deploy</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#93A1A1;font-style:italic;"># プロジェクトのディレクトリに移動</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cd</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">handson/serverless/s3</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-style:italic;"># venv を作成し，依存ライブラリのインストールを行う</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python3</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">-m</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">venv</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">.env</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">source</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">.env/bin/activate</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">pip</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">install</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">-r</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">requirements.txt</span></span>
<span class="line"></span>
<span class="line"><span style="color:#93A1A1;font-style:italic;"># デプロイを実行</span></span>
<span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">deploy</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br><span class="line-number">8</span><br><span class="line-number">9</span><br><span class="line-number">10</span><br></div></div><p>デプロイを実行すると， <a href="#fig:s3_deploy_output">figure_title</a> のような出力が得られるはずである． ここで表示されている <code>SimpleS3.BucketName = XXXX</code> が，新しく作られたバケットの名前である (今回提供しているコードを使うとランダムな名前がバケットに割り当てられる）． これはあとで使うのでメモしておこう．</p><p><img src="`+y+`" alt="デプロイ実行後の出力"></p><h3 id="データの読み書き-1" tabindex="-1">データの読み書き <a class="header-anchor" href="#データの読み書き-1" aria-label="Permalink to &quot;データの読み書き&quot;">​</a></h3><p>スタックのデプロイが完了したら，早速バケットにデータをアップロードしてみよう．</p><p>まずは，以下のコマンドを実行して， <code>tmp.txt</code> という仮のファイルを生成する．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">echo</span><span style="color:#839496;"> </span><span style="color:#2AA198;">&quot;Hello world!&quot;</span><span style="color:#839496;"> </span><span style="color:#859900;">&gt;&gt;</span><span style="color:#839496;"> </span><span style="color:#2AA198;">tmp.txt</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">echo</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">&quot;Hello world!&quot;</span><span style="color:#657B83;"> </span><span style="color:#859900;">&gt;&gt;</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">tmp.txt</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p>ハンズオンのディレクトリにある <a href="https://github.com/andatoshiki/toshiki-notebookblob/main/handson/serverless/s3/simple_s3.py" target="_blank" rel="noreferrer">simple_s3.py</a> に <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank" rel="noreferrer">boto3</a> ライブラリを使用した S3 のファイルのアップロード・ダウンロードのスクリプトが書いてある． <code>simple_s3.py</code> を使って，上で作成した <code>tmp.txt</code> を以下のコマンドによりバケットにアップロードする． <code>XXXX</code> のところは，自分自身のバケットの名前で置き換えること．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">simple_s3.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#839496;"> </span><span style="color:#2AA198;">upload</span><span style="color:#839496;"> </span><span style="color:#2AA198;">tmp.txt</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">simple_s3.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">upload</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">tmp.txt</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p><code>simple_s3.py</code> のアップロードを担当している部分を以下に抜粋する．</p><div class="language-python vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">python</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#93A1A1;font-weight:bold;">def</span><span style="color:#839496;"> </span><span style="color:#268BD2;">upload_file</span><span style="color:#839496;">(bucket_name, filename, key</span><span style="color:#859900;">=</span><span style="color:#B58900;">None</span><span style="color:#839496;">):</span></span>
<span class="line"><span style="color:#839496;"> bucket </span><span style="color:#859900;">=</span><span style="color:#839496;"> s3.Bucket(bucket_name)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#859900;">if</span><span style="color:#839496;"> key </span><span style="color:#859900;">is</span><span style="color:#839496;"> </span><span style="color:#B58900;">None</span><span style="color:#839496;">:</span></span>
<span class="line"><span style="color:#839496;"> key </span><span style="color:#859900;">=</span><span style="color:#839496;"> os.path.basename(filename)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#839496;"> bucket.upload_file(filename, key)</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#586E75;font-weight:bold;">def</span><span style="color:#657B83;"> </span><span style="color:#268BD2;">upload_file</span><span style="color:#657B83;">(bucket_name, filename, key</span><span style="color:#859900;">=</span><span style="color:#B58900;">None</span><span style="color:#657B83;">):</span></span>
<span class="line"><span style="color:#657B83;"> bucket </span><span style="color:#859900;">=</span><span style="color:#657B83;"> s3.Bucket(bucket_name)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#859900;">if</span><span style="color:#657B83;"> key </span><span style="color:#859900;">is</span><span style="color:#657B83;"> </span><span style="color:#B58900;">None</span><span style="color:#657B83;">:</span></span>
<span class="line"><span style="color:#657B83;"> key </span><span style="color:#859900;">=</span><span style="color:#657B83;"> os.path.basename(filename)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#657B83;"> bucket.upload_file(filename, key)</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br></div></div><p><code>bucket = s3.Bucket(bucket_name)</code> の行で <code>Bucket()</code> オブジェクトを呼び出している． そして， <code>upload_file()</code> メソッドを呼ぶことでファイルのアップロードを実行している．</p><p>S3 においてファイルの識別子として使われるのが <strong>Key</strong> である． これは，従来的なファイルシステムにおけるパス (Path) と相同な概念で，それぞれのファイルに固有な Key が割り当てられる必要がある． Key という呼び方は， S3 が <a href="https://en.wikipedia.org/wiki/Object_storage" target="_blank" rel="noreferrer">Object storage</a> と呼ばれるシステムに立脚していることに由来する． <code>--key</code> のオプションを追加して <code>simple_s3.py</code> を実行することで， Key を指定してアップロードを実行することができる．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">simple_s3.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#839496;"> </span><span style="color:#2AA198;">upload</span><span style="color:#839496;"> </span><span style="color:#2AA198;">tmp.txt</span><span style="color:#839496;"> </span><span style="color:#CB4B16;">--key</span><span style="color:#839496;"> </span><span style="color:#2AA198;">a/b/tmp.txt</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">simple_s3.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">upload</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">tmp.txt</span><span style="color:#657B83;"> </span><span style="color:#CB4B16;">--key</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">a/b/tmp.txt</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p>ここではアップロードされたファイルに <code>a/b/tmp.txt</code> という Key を割り当てている．</p><p>ここまでコマンドを実行し終えたところで，一度 AWS コンソールに行き S3 の中身を確認してみよう． S3 のコンソールに行くと，バケットの一覧が見つかるはずである． その中から， <code>simples3-bucket</code> から始まるランダムな名前のついたバケットを探し，クリックする． するとバケットの中に含まれるファイルの一覧が表示される (<a href="#fig:s3_bucket_filelist">figure_title</a>)．</p><p><img src="`+d+`" alt="S3 バケットの中のファイル一覧"></p><p>ここで実行した 2 つのコマンドによって， <code>tmp.txt</code> というファイルと， <code>a/b/tmp.txt</code> というファイルが見つかることに注目しよう． 従来的なファイルシステムと似た体験を提供するため， S3 では Key が <strong>&quot;/&quot; (スラッシュ)</strong> によって区切られていた場合，<strong>ツリー状の階層構造</strong>によってファイルを管理することができる．</p><p>オブジェクトストレージには本来ディレクトリという概念はない． 上で紹介した &quot;/&quot; による階層づけはあくまでユーザー体験向上の目的のお化粧的な機能である．</p><p>次に，バケットからファイルのダウンロードを実行してみよう． <code>simple_s3.py</code> を使って，以下のコマンドを実行すればよい． <code>XXXX</code> のところは，自分自身のバケットの名前で置き換えること．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">python</span><span style="color:#839496;"> </span><span style="color:#2AA198;">simple_s3.py</span><span style="color:#839496;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#839496;"> </span><span style="color:#2AA198;">download</span><span style="color:#839496;"> </span><span style="color:#2AA198;">tmp.txt</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">python</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">simple_s3.py</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">XXXX</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">download</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">tmp.txt</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div><p><code>simple_s3.py</code> のダウンロードを担当している部分を以下に抜粋する．</p><div class="language-python vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">python</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#93A1A1;font-weight:bold;">def</span><span style="color:#839496;"> </span><span style="color:#268BD2;">download_file</span><span style="color:#839496;">(bucket_name, key, filename</span><span style="color:#859900;">=</span><span style="color:#B58900;">None</span><span style="color:#839496;">):</span></span>
<span class="line"><span style="color:#839496;"> bucket </span><span style="color:#859900;">=</span><span style="color:#839496;"> s3.Bucket(bucket_name)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#839496;"> </span><span style="color:#859900;">if</span><span style="color:#839496;"> filename </span><span style="color:#859900;">is</span><span style="color:#839496;"> </span><span style="color:#B58900;">None</span><span style="color:#839496;">:</span></span>
<span class="line"><span style="color:#839496;"> filename </span><span style="color:#859900;">=</span><span style="color:#839496;"> os.path.basename(key)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#839496;"> bucket.download_file(key, filename)</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#586E75;font-weight:bold;">def</span><span style="color:#657B83;"> </span><span style="color:#268BD2;">download_file</span><span style="color:#657B83;">(bucket_name, key, filename</span><span style="color:#859900;">=</span><span style="color:#B58900;">None</span><span style="color:#657B83;">):</span></span>
<span class="line"><span style="color:#657B83;"> bucket </span><span style="color:#859900;">=</span><span style="color:#657B83;"> s3.Bucket(bucket_name)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#657B83;"> </span><span style="color:#859900;">if</span><span style="color:#657B83;"> filename </span><span style="color:#859900;">is</span><span style="color:#657B83;"> </span><span style="color:#B58900;">None</span><span style="color:#657B83;">:</span></span>
<span class="line"><span style="color:#657B83;"> filename </span><span style="color:#859900;">=</span><span style="color:#657B83;"> os.path.basename(key)</span></span>
<span class="line"></span>
<span class="line"><span style="color:#657B83;"> bucket.download_file(key, filename)</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br><span class="line-number">2</span><br><span class="line-number">3</span><br><span class="line-number">4</span><br><span class="line-number">5</span><br><span class="line-number">6</span><br><span class="line-number">7</span><br></div></div><p>S3 からのダウンロードはシンプルで， <code>download_file()</code> メソッドを使って，ダウンロードしたい対象の Key を指定すればよい． ローカルのコンピュータでの保存先のパスを 2 個目の引数として渡している．</p><h3 id="スタックの削除-2" tabindex="-1">スタックの削除 <a class="header-anchor" href="#スタックの削除-2" aria-label="Permalink to &quot;スタックの削除&quot;">​</a></h3><p>以上のハンズオンで， S3 の一番基本的な使い方を紹介した． ここまでのハンズオンが理解できたら，忘れずにスタックを削除しよう． これまでのハンズオンと同様，スタックを削除するには，次のコマンドを実行すればよい．</p><div class="language-shell vp-adaptive-theme line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span><pre class="shiki solarized-dark vp-code-dark"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#839496;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#839496;"> </span><span style="color:#2AA198;">destroy</span></span></code></pre><pre class="shiki solarized-light vp-code-light"><code><span class="line"><span style="color:#268BD2;">$</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">cdk</span><span style="color:#657B83;"> </span><span style="color:#2AA198;">destroy</span></span></code></pre><div class="line-numbers-wrapper" aria-hidden="true"><span class="line-number">1</span><br></div></div>`,125),_=[B];function v(k,g,f,D,X,C){return u(),m("div",null,_)}const z=b(h,[["render",v]]);export{S as __pageData,z as default};
Reference in New Issue View Git Blame Copy Permalink