FingerVision Hackathon Fall 2018

FingerVision ハッカソン 2018 Fall

• 2018-09-03: Sent an e-mail to fvhackathon18 mailing list about the PC for the hackathon.
• 2018-08-27: Added Preparation List by Idea.
• 2018-08-27: Added Steps toward the Hackathon.
• 2018-08-26: Updated the Motion Programming with FingerVision of Preparation.
• 2018-08-20: Updated the schedule and the venue.
• 2018-08-20: Updated the FingerVision Programming of Preparation.
• 2018-08-14: We are still accepting the entries!
• 2018-08-14: Preparation has been prepared (incomplete; send e-mail to the organizers if you have questions!)
• 2018-08-04: Initial announcement

• 2018-09-03: fvhackathon18メーリングリストにハッカソンに持参するPCに関して案内を出しました．
• 2018-08-27: やりたいこと別準備リストを追加しました．
• 2018-08-27: ハッカソン当日までの流れを追加しました．
• 2018-08-26: 事前準備のFingerVisionに基づくモーションプログラミングを更新しました．
• 2018-08-20: 日時・場所を更新しました．
• 2018-08-20: 事前準備のFingerVisionプログラミングを更新しました．
• 2018-08-14: 参加者，まだまだ募集中です！
• 2018-08-14: 事前準備を用意しました (まだ不完全です．ご不明点があれば，主催者にメールを送ってください)
• 2018-08-04: 初回アナウンス

• FingerVision project team of Tohoku University (PI: Akihiko Yamaguchi)

• 東北大学FingerVisionプロジェクトチーム (代表: Akihiko Yamaguchi)

Tactile feedback is useful for robots to manipulate deformable and fragile objects such as food. FingerVision is a vision-based tactile sensor that provides multimodal sensation including force and slip distributions, and proximity vision. This hackathon offers an opportunity to program FingerVision-embedded robots for manipulations and human-robot interactions.

ロボットで食品などの柔軟不定形物を扱う上で，触覚フィードバックは重要です．FingerVisionはビジョンベースの触覚センサであり，力分布や滑り分布といった触覚情報+近視覚を計測できるマルチモーダルセンサです．このハッカソンは，FingerVision搭載ロボットによるマニピュレーションやヒューマンロボットインタラクション実装の機会を提供します．

• Date: Sep 8, Sat, 10:00-20:00 (tentative)
  • Hackathon: 10:00-18:00
  • Social hour: 18:00-20:00
• Venue:Sharebase.InC
  • 1-15-8 Amiteie-Nisiki-Dai1 Bld.6F, Nishiki, Naka-ku Nagoya-shi, Aichi, 460-0003, Japan
  • 15 min by walk from JR Nagoya Station, 7 min by walk from Fushimi Station
  • Access
• Attendance fee: Free (tentative)
  • Please pay the actual fee (drink, food) for the social hour.

• 日時：9月8日（土），10時～20時（予定）
  • ハッカソン: 10:00-18:00
  • 懇親会: 18:00-20:00
• 場所： Sharebase.InC
  • 〒460-0003 名古屋市中区錦1-15-8 アミティエ錦第一ビル6F
  • JR名古屋駅から徒歩 約15分，名古屋市営地下鉄東山線 伏見駅から徒歩 約7分
  • アクセス
• 参加費：無料（予定）
  • 懇親会は実費(食事代)をお支払いください．

• Tactile sensor = Soft Transparent skin + Camera
• Multimodality
  • Force and slip distribution
  • Proximity vision (Object pose, texture, etc.)
• Easy and cheap to manufacture
• Physically strong

For more details: http://akihikoy.net/p/fv

• 透明で柔らかい皮膚+カメラによる触覚センサ
• マルチモーダル
  • 力分布・滑り分布
  • 近視覚（対象物の姿勢・テクスチャなど）
• 安価・容易に製造可能
• 高耐久性

詳細： http://akihikoy.net/p/fv

• Grasping deformable fragile without breaking
• In-hand manipulation
• Human-robot interaction

Demo videos

• 不定形柔軟物を傷つけずに持つ
• インハンドマニピュレーション
• ヒューマンロボットインタラクション

デモ動画

• Objective: Creating new ideas of FV-embedded robots and implementing them
• Expected participants: Developers (professionals, students) with skill(s) or experience(s) of:
  • Robot motion
  • Computer vision, robot vision
  • Tactile sensing, soft robotics
• Activities
  • Motion programming of an FV-embedded robot
  • FV data analysis (Computer vision)
• You can join solely or with your team mates
• What we prepare:
  • FV-embedded robot arm and gripper; Mikata Arm made by ROBOTIS Co. (tentative)
  • FV-embedded gripper
  • FV
  • SDK (motion programming, FV data analysis)
• What you need to prepare:
  • Mobile PC (OS: Ubuntu is assumed. Dual boot is recommended rather than virtual machines)
  • The PC should have an Ethernet port (RJ45)
    • If it doesn't have the port, you can add it by using a USB to Ethernet port converter.
  • USB (Type A) port: Used for connecting with the robot
• Expected skills:
  • Language (explanation, discussion): Japanese or English
  • Much of technical documentation is written in English.
  • Python (motion programming, computer vision)
  • C++ (computer vision)
  • ROS (motion programming, integration of computer vision and motion)
  • Git (downloading SDK)
  • Linux (Ubuntu is recommended)

• 目的： FV搭載ロボットを使って新しいアイディアを創り実装する
• 対象： 以下のいずれかのスキル・経験がある研究開発者（学生・社会人等身分を問いません）
  • ロボットモーション
  • コンピュータビジョン・ロボットビジョン
  • 触覚センシング・ソフトロボティクス
• 内容
  • FV搭載ロボットのモーション開発
  • FVデータ解析（画像処理）
• 1人でもチームでも参加できます！
• 用意されるもの：
  • FV搭載ロボットアーム・グリッパ … ROBOTIS社製Mikata Arm（予定）
  • FV搭載グリッパ
  • FV単体
  • SDK（モーション，FVデータ解析）
• 参加者が持参する必要があるもの：
  • モバイルPC（OSはUbuntuを想定．仮想環境よりもデュアルブート推奨）
  • LANポート(RJ45)による有線接続が可能であること
    • LANポートのないものは，USB→Ethernetポート変換コネクタ等をご用意ください．
  • USBポート(Type A)：ロボットとの接続に使用
• 必要なスキル：
  • 解説・案内・ディスカッション： 日本語・英語
  • 技術資料の多くは英語で記載されています．
  • Python（モーション開発，画像処理）
  • C++（画像処理）
  • ROS（モーション開発，画像処理とモーションの統合）
  • Git（SDKのダウンロード）
  • Linux（Ubuntu推奨）

• Aug 11, JST: Due date of 1st entry submission (*1)
• Aug 25, JST: Due date of 2nd entry submission (*2)
• We will accept the participant after Aug 25 if there is room.
• Aug 11: Announcement of the preparation (installing SDK and practices) (tentative)
• Sep 8: Hackathon

(*1) When there are candidates more than our capacity, we will select the attendee according to the entry information.
(*2) The 2nd entry will be canceled if the number of candidates exceed in the first entry.

• 8月11日： 第1回エントリー締切(*1)
• 8月25日： 第2回エントリー締切(*2)
• 8月25日以降も人数に空きがあれば参加登録を受け付けます．
• 8月11日： 事前準備の案内（SDKインストールと練習）（予定）
• 9月8日： ハッカソン実施

(*1) 定員を超える申込があった場合は，エントリー情報に基づいて審査を行います．
(*2) 第1回エントリーで定員を超えた場合は，第2回エントリーは実施しません．

• Even if you will participate with your team mates, please submit an entry per person.
• Please submit your entry from the following Google Form:
  https://goo.gl/forms/qW3O9fp9IJsksVak2
• We collect your e-mail addresses that will be added to the mailing list FingerVision NEWS (fv-news@akihikoy.net). Further announcements of this hackathon are sent to this list; please do not unsubscribe until the hackathon ends.
• We collect the personal information for the purpose of this hackathon. We will carefully manage the collected personal information, and will not provide it to the third parties.

• チームで参加する場合も，一人ずつエントリーをお願いします．
• エントリーは以下のGoogle Formからお願いします：
  https://goo.gl/forms/qW3O9fp9IJsksVak2
• 頂いたメールアドレスは，メーリングリスト「FingerVision NEWS (fv-news@akihikoy.net)」に登録致します．ハッカソンに関する案内も，このMLを通して行われますので，少なくともハッカソンが終了するまでは退会しないようにお願いします．
• 収集した個人情報は厳正に管理し，ハッカソン開催関係者以外には提供しません．

The details will be described later.

Preparation:

1. System Overview
2. Installing SDK to your mobile PC
   1. Installing all SDK (ay_tools)
   2. Installing only FingerVision SDK
3. Test the Installation
4. Practice of robot motion programming in simulation
5. Data analysis of FingerVision (computer vision) with dummy data
6. Practice of motion programming with FV dummy data

詳細は後日記載．

準備：

1. システムの概要
2. モバイルPCにSDKのインストール
   1. すべてのSDKをインストール (ay_tools)
   2. FingerVision SDKのみインストール
3. インストールのテスト
4. ロボットモーションの作成練習（シミュレーション）
5. FVデータ解析（画像処理）の練習（ダミーデータ使用）
6. FVデータに基づくモーション作成練習（ダミーデータ使用）

• Want to make FV available on Windows and RT Middleware.
  • Installation of Prep 2.ii would be enough.
  • Please follow Prep 5, especially understanding the standalone programs.
  • Starting from the standalone programs, poring them to windows and RT Middleware is an approach.
• Want to experience FingerVision.
  • Please follow the above tutorials according to your interests.
• Interested in a hackathon of robotic manipulation.
  • Please follow Prep 2.i, 4, 6.
• Want to grasp irregular shaped and deformable objects such as food.
  • Please follow Prep 2.i, 4, 6.
  • Grasping irregular shaped and deformable objects is an advanced version of Prep 6. It is difficult to simulate with the dummy data, let's do experiments in the Hackathon.
• Want to apply the FV technology for original tactile sensors and robot hands.
  • Following Prep 5 especially understanding the standalone programs would be good for this idea.
  • Please try the computer vision with dummy data.

• WindowsやRTミドルウェアでも使えるようにしたい．
  • インストールは2.iiで十分です．
  • 準備5を，Standalone programsの理解を中心に進めてください．
  • Standalone programを起点にWindowsやRT Middlewareに移植するのがよいと思います．
• FingerVisionを体験したい．
  • 上記のチュートリアルを，興味のあるところを重点的に進めてください．
• ロボットマニピュレーションのハッカソンに興味がある．
  • 準備2.i, 4, 6を中心に進めてください．
• 不定形物や柔軟物（食材など）を把持したい．
  • 準備2.i, 4, 6を中心に進めてください．
  • 不定形物や柔軟物の把持は，準備6の発展形です．ダミーデータでは実験が難しいので当日やりましょう．
• オリジナルの触覚センサやロボットハンド開発に応用したい．
  • 準備5を，Standalone programsの理解を中心に進めるのがよいと思います．
  • 準備5で，ダミーデータを使用した画像処理に取り組んで見ましょう．

1. Making ideas of what you want to do in Hackathon.
   • You can discuss about your ideas in the fvhackathon18 mailing list.
2. Preparing for Hackathon referring to the Preparation List by Idea.
   • Completing all contents of Preparation is excellent.
   • At least, please prepare Ubuntu PC for bringing to the Hackathon and install SDK.
   • We will add new contents to the tutorials. Please send your requests to the fvhackathon18 mailing list.
3. Hackathon day:
   • A Mikata Arm (rotated wrist) with FingerVision is assigned to a few people.
     • When you participate with team mates, all of you will use the same robot.
     • When you participate alone, we will find your group mate.
   • Time table:
     • First an hour: Lecture of FingerVision overview and SDK.
     • Approx. 6 hours: Implementing your ideas.
     • Last 30-60 min: Presentation (team or solo).

1. ハッカソン当日にやりたいことのアイディアを練る．
   • やりたいことを具体化・精緻化したい場合は，fvhackathon18メーリングリストで相談してください．
2. やりたいこと別準備リストを参考に，準備を進める．
   • 事前準備をすべてやって頂いても結構です．
   • Ubuntu PC の持参，SDKのインストールは全員お願いします．
   • ニーズに応じてチュートリアルを加筆します．ご希望はfvhackathon18メーリングリストに投稿してください．
3. 当日：
   • 数名に1台，FingerVision搭載Mikata Arm (rotated wrist)が割り当てられます．
     • チームメイトと参加される方は，同じロボットを使用できるように配慮します．
     • 単独で参加される方は，マッチングを行います．
   • タイムテーブル：
     • 最初の1時間ほど：FingerVisionの概要，SDKの概要についてチュートリアル．
     • 6時間弱：各自でアイディアに基づいて実装します．
     • 最後の30～60分：発表会（チームまたは単独）．

• FingerVision overview (10:00-)
• FingerVision Tutorial
• Implementing your ideas.
• Presentation (17:30-18:00)
• Social hour (18:00-19:30)

• FingerVisionの概説 (10:00-)
• FingerVisionチュートリアル
• 各自のアイディアに基づいて実装
• プレゼンテーション (17:30-18:00)
• 懇親会 (18:00-19:30)